Il Castello dei Conti Guidi risale al 1191. L'edificio è stato ristrutturato a partire dal 1274 per volontà del conte Simone Guidi e di suo figlio Guido. Il castello è stato teatro di un avvenimento storico: l'11 giugno 1289, davanti al monumento, si è svolta la battaglia di Campaldino. Incerta la paternità dell'edificio: la parte più antica è attribuita non univocamente a Lapo di Cambio, mentre la più recente, databile alla fine del XIII secolo, sarebbe di Arnolfo di Cambio.