Il Castello, costruito dai vescovi di Orvieto verso l’anno Mille su resti romani, si sviluppa su una struttura a cinque piani, la cui facciata principale è rivolta verso la valle del Chiani. Al centro dell’edificio c’è un’alta torre e all’angolo destro, una più bassa, entrambe merlate alla ghibellina. Quest’ultima, come quella sull’odierna piazza, e ora mozzata, dovevano far parte della vecchia cerchia urbana. Ha subito un grande ampliamento e rimaneggiamento verso la metà del Settecento dovuto al marchese Francesco Ruspoli-Marescotti, il quale lo volle trasformare da fortilizio a residenza signorile. L’antico accesso che all’epoca era posto in fondo alla scala della chiesa parrocchiale, davanti alla torre civica, fu spostato sull’odierna piazza, attraverso un grande portale bugnato munito di passaggio per le carrozze. L’architetto Andrea Selva da Milano realizzò una grande scala elicoidale che dal piano terreno, consente l’accesso ai piani superiori, nonché ai vasti saloni del piano nobile. Negli anni settanta del Novecento, il marchese Franco Fantauzzi lo fece restaurare dal famoso architetto di Varese Tommazo Buzi, facendo liberare dalle costruzioni che gli furono addossate nel tempo. Nel 2008 è stato acquistato dall’architetto Roberto Soldera che lo sta sottoponendo ad un sapiente e radicale restauro. Sempre, ad opera del Selva, fu ritrutturato tutto il borgo.