Porto Ercole bleef altijd een belangrijke plaats aan de kust van Toscane. In de Middeleeuwen (1296) liet Margherita Aldobrandeschi, gravin van Sovana, er een vierkante toren bouwen, de Torre di Terra. In de vijftiende eeuw werd de stad geannexeerd door de Republiek Siena, die de muren rond de stad liet bouwen en een aantal van de kusttorens toevoegde aan de verdedigingslinie rond het schiereiland. Een eerste fort, de Rocca Aldobrandeschi werd op de heuvel boven de stad gebouwd. Onder de Stato dei Presìdi werd het fort uitgebreid, binnen de muren verrees het Fortezza Spagnola.
Het fort heeft een onregelmatig stervorm die zich aanpast aan de orografie van het gebergte. Aan de noordoostelijke hoek van de Rocca Aldobrandeschi staat de negentiende-eeuwse vuurtoren, de Faro di Porto Ercole.
Het loont de moeite even naar het hoogste punt van de te klimmen. Je wordt er beloond met een weergaloos uitzocht over de baai en de drie landtongen die Monte Argentario met het vasteland verbinden. De trap vertrekt net voorbij de Porta Pisana aan de Corso Principe Amedeo. Halverwege de lange trap staat links de Chiesa Sant'Erasmo.

Het majestueuze Rocca aldobrandesca domineert de baai en de haven van Porto Ercole. Het fort werd gebouwd door de Republiek Siena, voltooid door de Spanjaarden onder de Stato dei Presìdi, en herbouwd in de zestiende eeuw door Cosimo I dei Medici, groothertog van Toscane.