L’abbazia sorge nell’omonima baia, all’interno del parco terrestre e marino del monte di Portofino, attorniata da un borgo quasi disabitato nei mesi invernali. La prima chiesa venne edificata, secondo la tradizione, nel 711 dal vescovo di Tarragona Prospero, qui riparato dopo l’invasione araba della Spagna, per deporvi le reliquie di san Fruttuoso, martire del secolo III, nella località detta Chiesa Vecchia, nella quale sono in effetti visibili alcuni resti della costruzione.