Bajo el castillo, el casco antiguo es un laberinto de calles empedradas, casas encaladas con balcones azules y miradores al mar, cerrado por murallas de tres épocas al que se entra por el Portal Fosc —la puerta de Felipe II— o por el Portal de Sant Pere, abierto por orden del Papa Luna y todavía con su escudo en piedra. El paseo clásico bordea la roca: el Bufador, un túnel natural en la piedra por el que el mar respira y, con oleaje, escupe espuma bajo las casas; el Museo del Mar, pequeño y gratuito, sobre el baluarte del Príncipe; la Casa de las Conchas, cuya fachada cubrió de conchas marinas una familia local en los años cincuenta —la de Justa, recordada como la primera guía turística de la ciudad—; y el faro de 1899, pegado al castillo, con la ermita de la Ermitana y la iglesia de Santa María completando el conjunto.