Il castello è circondato da una massiccia cinta muraria di forma ellittica dello spessore di ben 2 metri, intervallata da 15 torri e due porte, che cinge un colle chiamato monte Ala. Le torri, oggi, si elevano al di sopra delle mura per 6,5 metri, con uno spessore di 4x6 metri, e ne sono visibili soltanto 11: le altre quattro sono state ridotte al livello delle mura (sono state cimate) le 11 rialzate sono state, per così dire, restaurate negli anni venti, in occasione del centenario dantesco del 1921, perché visibili dall'allora via di transito principale, la Cassia. Sopra la cinta muraria correva un camminamento che percorreva l'intero perimetro. Nel 2005 sono state ricostruite alcune parti del camminamento, da cui è possibile osservare il panorama.