Pierwsze wzmianki o Przywidzu pochodzą z 1294 r., z dokumentu darowizny księcia pomorskiego Mszczuja II na rzecz opactwa cysterskiego w Eldenie. Staraniem nowych właścicieli powstał we wsi drewniany kościół, planowano też budowę klasztoru, którą zarzucono. Od połowy XIV w. Przywidzem władali Krzyżacy, począwszy zaś od wieku XV miał on wielu właścicieli. Po koniec XV w. drewniany kościół się zawalił; wybudowano w jego miejscu murowany, ten jednak został zrujnowany w czasie wojny o Gdańsk 1576-1577.
Na przełomie XVI i XVII w. ludność w większości przeszła na luteranizm i kościoła nie odbudowano, postawiono jednak nad jeziorem drewnianą kaplicę dla tej wspólnoty. Za sprawą katolickiej właścicielki Przywidza świątynia ta została w 1701 r. przekazana katolikom (należała do parafii Mierzeszyn). W 1720 r. kaplicę zburzono stawiając w pobliżu (w miejscu obecnego kościoła św. Franciszka Ksawerego) nowy, drewniany kościół. Budynek ten pełnił swą funkcję do 1851 r., gdy zamknięto go ze względu na grożące zawalenie. Dopiero na początku XX w. zbudowano w Przywidzu staraniem garstki ofiarnych katolików nowy kościół.
Murowaną z cegły, neogotycką bryłę ukończono w 1904 r.; opiekę duszpasterską sprawował proboszcz z Mierzeszyna. Dziś świątynia ta pełni funkcję kaplicy cmentarnej, parafialnym jest dawny (pochodzący z 1909 r.) kościół luterański.