Alle sue spalle il palazzo Masson, costruito alla fine del XIX secolo, su progetto di Antonio Salvetti (architetto colligiano), nel luogo dove sorgeva la Porta al Canto. La porta fu demolita nel 1876 nonostante le aspre polemiche, proprio per far posto al palazzo, di proprietà della facoltosa famiglia del proprietario delle ferriere. Oggi la struttura è occupata dalla congregazione delle Ancelle del Sacro Cuore di Gesù che la utilizza come scuola per l'infanzia intitolata a Santa Caterina Volpicelli.

Poco più in la del Baluardo, si diramano la Costa, una via ripida che conduce alla parte bassa della città, e Via del Muro Lungo, che costeggia parte del centro storico.

In prossimità svetta la Casa-Torre di Arnolfo di Cambio (una delle tante case-torri che abbellivano il centro storico di Colle Val d'Elsa, ed oggi una delle poche rimaste in piedi) il cui ingresso è su Via del Castello. La leggenda vuole che dall'alto della Torre la nobildonna e fuoriuscita senese Sapia (ricordata da Dante Alighieri nella Divina Commedia, XIII Canto del Purgatorio) assistesse, nel 1269, alla sconfitta dei ghibellini senesi nella Battaglia di Colle.