Concepito come presidio militare, l’edificio, nella prima metà del XVI secolo, assunse l’aspetto di una dimora nobiliare con ampio giardino, di cui si conservano l’arredo, dipinti, maioliche, vari busti di epoca romana e l’intero archivio della famiglia Bufalini. Le volte delle sale ospitano i dipinti di Cristofano Gherardi, artista toscano di formazione manierista che, fra il 1542 ed il 1552, riprodusse favole mitologiche e decorazioni a grottesca nella torre maestra, nella Sala degli Dei e nella Stanza di Apollo. Il Castello ha ospitato manifestazioni (tra le quali il Presepe vivente), convegni (tra i quali quello su Francesca Turini Bufalini), fiere (come Sapori e mestieri), presentazioni di libri, attività didattiche anche in relazione all’alternanza scuola-lavoro.