Il Castello o Rocca di Castiglione della Pescaia si trova sulla sommità della collina che si affaccia direttamente sul mare, nella sezione più alta del centro storico medievale. Il Castello è composto da tre torri, una delle quali, la Torre Pisa a est, rappresenta il nucleo più antico e significativo della struttura. Le tre torri sono disposte per formare un triangolo e al centro vi è un grande cortile interno.
Attualmente l’edificio è di proprietà privata e, dunque, difficilmente visitabile. Tuttavia, merita di essere raggiunto perché, grazie alla sua posizione soprelevata, offre una splendida vista sul panorama sottostante. Il castello, con la sua struttura potente e caratteristica, risulta essere il punto di partenza per una visita nei vicoli del borgo antico per ammirarne non solo gli scorci, ma anche alcuni edifici storici come: la Porta Urbica, la Chiesa della Madonna del Giglio, la Torre dell’Orologio e il Palazzo Centurioni.