E ls seus orígens es perden en els segles. A l’Arxiu Diocesà de Girona hi ha documents que expliquen que fou construïda a l’horta del castell de Palafolls. Recordem que l’ermita va pertànyer a Palafolls fins el 1603, quan s’incorpora al terme municipal de Blanes. Inicialment era coneguda com a Nostra Senyora del Port o de la Riera, tot i que també ha tingut altres noms, com Nostra Senyora dels Socors o el de Santa Maria extramurs, documentat en el segle XVIII. Del seu nom actual ja se’n té constància a finals del segle XVI.
El cronista i frare del segle XVII Joan Gaspar Roig i Jalpí ens va regalar una minuciosa descripció de l’aspecte que tenia una part de l’ermita a la seva època. La profusió d’imatges de què parla el text posa de manifest la gran devoció que tenien els blanencs per aquesta petita ermita. Sabem que l’altar major el presidia una talla de la Verge Maria, acompanyada per les imatges de sant Narcís i Sant Pau. A l’esquerra de l’altar hi havia un altre altar, més petit, presidit per la Verge dels Desemparats i Sant Francesc i un altre dedicat al Sant Crist i a Sant Josep. Tampoc faltava a l’ermita una imatge de Sant Elm, patró de mariners, pelegrins i navegants.