Il santuario della Madonna dell'Olmo si trova sulle pendici del Monte Santa Croce, il colle che sovrasta il paese di Fabiano, sul lato occidentale dell'ampio Golfo della Spezia, a circa 280 m sul livello del mare.

L'inizio del culto verso l'immagine della Madonna dell'Olmo risale al 1640 circa, quando un'effigie della Vergine con il Bambino, dipinta su una lastra d'ardesia, era collocata su un muro a secco lungo la via: qui i viandanti sostavano per la preghiera. La località è chiamata Cepo probabilmente dal nome di una famiglia del luogo.
Del quadro (cm 47 × cm 63) non si conoscono né l'autore, né l'epoca d'origine, che, tuttavia, può collocarsi intorno alla suddetta data d'inizio della pubblica venerazione: esso raffigura la Madonna che tiene in braccio il bambino Gesù; alla sua destra vi è san Giuseppe e alla sinistra, un altro santo che fu identificato, originariamente, in San Giovanni; più tardi si pensò a sant'Antonio da Padova o a san Tommaso d'Aquino. La più recente tradizione parrocchiale, infine, ha potuto identificarlo in san Nicola da Tolentino, a causa dei segni iconografici con i quali egli è rappresentato, ovvero la stella sul petto ed il giglio sulla mano sinistra.

In origine, e poi per molto tempo, la Madonna venerata in quest'effigie, non è conosciuta come "Madonna dell'Olmo", bensì con il titolo di "Madonna del Monte", perché il luogo ove è posta si trova sul Monte Santa Croce, o anche "Madonna della Costa", da allora nome della località. Il titolo dell'Olmo si afferma in epoca molto tarda, quando già esiste la primitiva Chiesa: esso deriva, secondo le testimonianze dei parroci di allora, da una grossa pianta d'olmo, che si trovava nel piazzale del tempio.

Verso la metà del Seicento, il quadro inizia ad essere venerato, tanto che il Vescovo dell'epoca, Prospero Spinola, scrive al Rettore di Fabiano Don Giovambattista Carassale chiedendogli ragguagli scritti e, disponendo che il quadro sia custodito meglio, lo fa chiudere in una custodia di legno. Di questa lettera non si ha più traccia, mentre presso la Curia di Sarzana è conservata la risposta del Rettore al Vescovo datata Fabiano 27 maggio 1659. 

Sempre presso lo stesso Archivio esiste una lettera (da Sarzana datata 28 maggio 1659) che il Vescovo Spinola scrisse all'Arciprete e Vicario Foraneo di Marinasco Antonio M. Ravecca, a cui faceva capo la località di Fabiano, invitandolo ad andare sul posto e verificare i fatti, fare chiudere l'immagine da tavole ed apporre un iscrizione del seguente tenore: D'ordini di Mons. Ill.mo e Rev.mo Vescovo di Sarzana anco come Delegato Apostolico, niuno ardisca di levare la tavola e scoprire l'Immagine sotto pena di Scomunica maggiore, latae sententiae, riservata a' Superiori maggiori, et alla Santità di N. Signore. È pure conservata nello stesso luogo la lettera datata Marinasco 30 maggio 1659 con cui l'arciprete mons. Ravecca con grande sollecitudine risponde al vescovo dando precisi ragguagli circa i luoghi ed i fatti (che meriterebbe essere riportata). Nel tempo la venerazione dei contadini pone la lastra di ardesia dipinta in un nicchio di un vecchio muro a secco, o come allor diceasi maciera nella strada che da Fabiano mette a Biassa, poco al di sopra dell'abitato che, ancor oggi, si chiama il Ceppo.

Poiché la venerazione e le offerte aumentano, si decide di erigere un tempietto a maggior protezione e decoro della lastra. Il 6 giugno 1659, con un atto notarile, il sindaco A. Carassale e alcuni agenti della corte di Fabiano, si impegnano, in nome della popolazione, a costruire una Chiesa in onore della Beata Vergine Maria; la costruzione della Chiesa dura otto anni e il 18 settembre 1667 il parroco Don Giulio Carassale, su delega vescovile, finalmente la benedisce.

Per oltre centosettanta anni il numero dei pellegrini va progressivamente crescendo, sicché le dimensioni dell'oratorio si rivelano insufficienti. È così che, il 1º giugno 1838, in una storica riunione, tutti i capifamiglia della parrocchia, convocati dal parroco Don Giovanni Battista Borachia, futuro Vescovo di Massa Marittima e dal presidente della Fabbriceria, il conte Gerolamo Federici, all'unanimità prendono la decisione di costruire una chiesa più grande e più bella, un santuario, appunto, anche per riconoscenza alla Madonna, per la sua intercessione nell'epidemia di peste del 1817.

Fu deciso che ogni mese i più ricchi avrebbero dato centesimi 80, quei di mediocre fortuna 40, e gli altri 20 per tutto il tempo della costruzione, e che ogni famiglia avrebbe lavorato gratuitamente una giornata al mese, e nei giorni festivi avrebbero gratuitamente trasportato i materiali necessari.

La costruzione ha inizio il 9 aprile 1839 e dura cinque anni (è il tempo che i capofamiglia locali, che costruiscono il santuario in autofinanziamento, si sono impegnati con il Vescovo a rispettare). Il terreno è donato dal Marchese Cattaneo e dalle Famiglie Bertucelli di La Spezia e Paganini di Carpena. La Direzione dei lavori è di Nicola Svanascini con l'aiuto dei capimastri fabianesi Gerolamo Godani di Domenico e Biagio Bertagna di Antonio. L'8 aprile 1844, lunedì di Pasqua, mons. Filippo Farina, abate parroco di San Maria di La Spezia, su delega del Vescovo Mons. Francesco Agnini, benedice il Santuario ed il successivo 5 maggio il quadro è portato dalla Parrocchia al Santuario.

All'interno della Chiesa, a sinistra di chi entra, è apposta una lapide marmorea con la seguente iscrizione: Il Sac. Gio-Batta Borachia/ Parroco di Fabiano/ ed il Conte Gerolamo Federici/ Idearono e promossero/ La fabbrica di questa Chiesa/ Dal popolo desiderata/ Gerolamo Godani fu Domenico/ E Biagio Bertagna fu Antonio/ Coll'aiuto degli altri Fabianesi/ La eseguirono/ 1890.

La Chiesa però assunse l'attuale aspetto solo nel 1849 ed il fatto è ricordato in una lapide murata nella facciata anteriore con la seguente iscrizione: SACRA ALLA MADONNA DELL'OLMO/ IN LUOGO/ PER MIRACOLI INSIGNE/ DALLA PIETA' DEI POVERI CONTADINI/ CHE ABITANO/ LA SOTTOPOSTA TERRA/ EBBE LA PRESENTE FORMA E IL COMPIMENTO/ NELL'ANNO MDCCCXLIX.

La Chiesa anticamente aveva solo due piccole campanelle. Nel 1962 la Parrocchia di Fabiano Alto decide di dotarsi di un nuovo concerto di campane in sostituzione delle vecchie campane che non erano legate fra loro a concerto. La campana maggiore, dedicata a Sant'Andrea, del peso di circa cinque quintali, e che è anche la più vecchia perché fusa sul posto nel 1865 con l'utilizzo anche di anelli ed oggetti d'oro dei fedeli di Fabiano da tale Giuseppe Ferri, essendo Parroco di Fabiano Giovanni Battista Borachia, fu deciso di utilizzarla nel Santuario della Madonna dell'Olmo . Nel 1963 la campana fu portata al Santuario e posta sul tetto. Il 6 giugno 1988, anche per ragioni di stabilità, è rimossa dal tetto, collocata su apposito traliccio e automatizzata. Dal 16 giugno 1988 suona l'Angelus.

La Chiesa è, specialmente nel dopoguerra, ma anche tuttora, oggetto di culto e di venerazione. Nella chiesa di Fabiano alto esiste un grande gruppo ligneo che raffigura tutti i personaggi presenti nella lastra di ardesia. La vigilia della Festa il gruppo ligneo viene trasportato in solenne processione nel Santuario della Madonna dell'Olmo. La seconda domenica di maggio, i devoti della Madonna del'Olmo, sono soliti effettuare un pellegrinaggio. Un tempo la salita era percorsa a piedi, partendo dalla località dei Buggi o da Fabiano Basso e percorrendo un viottolo in salita, fino ad arrivare al Santuario. Oggi il percorso si abbrevia arrivando ad oltre la metà del cammino, salendo per la Strada Litoranea sino nei pressi della Chiesa di Fabiano Alto, là dove la strada incrocia l'antico sentiero. La domenica successiva il gruppo ligneo viene riportato, in processione, nella Chiesa di Fabiano Alto e lì rimane sino all'anno successivo.