L'edificio principale è una costruzione eclettica con prevalenza di stile orientalista, effetto della ristrutturazione ottocentesca di una grande fattoria edificata nel 1605 per volere della famiglia Ximenes D'Aragona. La storia del luogo è però più antica e viene fatta risalire all'epoca romana. Lo storico Robert Davidsohn, nella sua Storia di Firenze, afferma che nel 780 potrebbe esserci passato Carlo Magno di ritorno da Roma, dove aveva fatto battezzare il figlio dal Papa.
La tenuta di cui fa parte il castello appartenne nei secoli a diverse importanti famiglie: gli Altoviti, poi, per volere del duca Cosimo, a Giovanni Jacopo de' Medici, che infine la vendette a Sebastiano Ximenes.
Tali beni restarono alla famiglia Ximenes d'Aragona fino all'ultimo erede, Ferdinando, che morì nel 1816.
