Die Burg oder Rocca di Castiglione della Pescaia erhebt sich im höchsten Teil des mittelalterlichen historischen Zentrums auf dem Gipfel des Hügels, der das Meer überblickt. Die Burg besteht aus drei Türmen, von denen einer, der Pisa-Turm im Osten, der älteste und bedeutendste Kern der Anlage ist. Die drei Türme sind im Dreieck angeordnet, mit einem großen Innenhof in der Mitte.
Das Gebäude befindet sich derzeit in Privatbesitz und ist daher nur schwer zu besichtigen. Dennoch lohnt sich der Ausflug, denn dank seiner erhöhten Lage bietet es einen herrlichen Blick auf das darunter liegende Panorama. Die Burg mit ihrer mächtigen und charakteristischen Konstruktion ist der Ausgangspunkt für einen Besuch in den Gassen der Altstadt, denn nicht nur die Aussicht gilt es zu bewundern, sondern auch einige historische Gebäude wie die Porta Urbica, die Kirche der Madonna del Giglio, den Uhrenturm und den Palazzo Centurioni.
