Zu den bekanntesten natürlichen Sehenswürdigkeiten gehören zwei Meeresgrotten: die Grotta Azzurra, die sich in einer Felswand auf Palmaria öffnet und mit einem Ruderboot besichtigt werden kann, und die Grotta Byron, die vor der Kirche San Pietro liegt und auch zu Fuß über das Tor in der Stadtmauer erreichbar ist, das von der Piazza Spallanzani zum Castelletto führt. Sie liegt genau in der Bucht zwischen Punta San Pietro und dem Bergsporn, auf dem das Castello Doria steht. Von den Einheimischen wird sie Cala dell’Arpaia genannt, erhielt aber später den Namen des britischen Dichters George Byron, der an diesem Ort Inspiration für seine Werke fand und angeblich nach seiner Schwimmüberquerung des Golfo della Spezia von Lerici bis nach Porto Venere hier anlegte.