Tra la fine dell’XI secolo e la fine del XII l’area di Castel di Pietra era sotto il controllo della famiglia degli Aldobrandeschi che dette inizio all’opera di monumentalizzazione dell’area sommitale.

Al momento sappiamo che furono realizzati una torre quadrata con un piccolo recinto.

Il rinvenimento di un muro rasato, all’interno del palazzo, suggerisce che la struttura non fosse isolata.

In un secondo momento la torre fu in parte distrutta ed adibita a cisterna.

La realizzazione di queste strutture fu certamente opera di maestranze itineranti altamente specializzate.