Data fundacji pierwszego kościoła w Swarzewie nie jest znana. Prawdopodobnie wzniesiono go przed 1421 r. Nie wiemy również, kto był fundatorem pierwszego swarzewskiego kościoła. Nieco światła na tę sprawę rzuca zapis wizytacyjny z roku 1687, który podaje, że kościół jest dziełem wotywnym, wystawionym w Swarzewie przez żeglarzy, którzy w ten sposób wypełnili złożone ślubowanie dziękczynienia za ocalenie życia. Możliwe jest też, że fundatorami kościoła byli po prostu tutejsi rybacy.

Obecny kościół parafialno - sanktuaryjny w Swarzewie jest trzecią z kolei świątynią zbudowaną w tym miejscu. Wizytujący parafię swarzewską w 1766 roku wysłannik biskupi Ks. Bazyli Złocki – archidiakon pomorski – odnotował, że słynna figurka umieszczona jest w ołtarzu głównym (wzniesionym w 1747 r.). Mowa tu już o drugim z kolei kościele w Swarzewie. Była to budowla szachulcowa, którą wzniesiono na miejscu najstarszego, drewnianego kościoła. Mimo braku dokumentalnego zapisu, kościół ten uważany był za konsekrowany, a rocznicę konsekracji obchodzono w Swarzewie w pierwszą niedzielę po św. Michale (29.09.). Ten kościół nie dotrwał do naszych czasów. Z powodu złego stanu, rozebrano go w 2 poł. XIX w.

W latach 1877-1880 wzniesiono nowy, obecnie istniejący, kościół. Jest to budowla w stylu neogotyckim z bardzo solidnej cegły licowej i murami wzmocnionymi dookoła przyporami dwuuskokowymi. Smukła wieża, o bardzo charakterystycznym, neogotyckim zwieńczeniu, wtopiona jest w bryłę kościoła, którą od strony wschodniej zamyka trójboczne prezbiterium. Nowy kościół został uroczyście konsekrowany 14 września 1930 r. przez biskupa Konstantyna Dominika z okazji 50-lecia ukończenia budowy. Nie wiadomo, czy wezwanie kościoła - Narodzenia Najświętszej Marii Panny - jest tytułem pierwotnym, czy też nadanym dopiero drugiej świątyni, tej zbudowanej na przełomie XVI i XVII wieku.

Budowla, długa na 43 metry i szeroka na 16 metrów, mieści około 1500 osób. Jej wieża o wysokości 40 metrów widoczna jest z drogi łączącej Puck z Władysławowem z odległości około 10 kilometrów. Wnętrze ma neogotycki charakter. Jednonawowa hala kościoła rozpina się wewnątrz na sześciu przęsłach z otwartą, zdobioną więźbą dachową. Światło daje piętnaście okien, a dwie blendy nad bocznymi wejściami i dwie w prezbiterium uzupełniają ich rytm. Prezbiterium z pięknym, wywołującym wrażenie sfery nieba, sklepieniem gwiaździstym oraz posadzką wyłożoną łamanym marmurem, wypełnione jest bogatymi malowidłami z licznymi ornamentami, które stanowią też obramienia pięciu ostrołukowych otworów okiennych.