Oksza leży w obszarze Parku Krajobrazowego Ujścia Warty (w otulinie Parku Narodowego „Ujście Warty”). Jej najstarsza część (Vietzer Holländer) powstała w 1726 r., a więc 40 lat przed falą kolonizacji Błot Warciańskich nazwaną kolonizacją fryderycjańską (1767–1785). Drugi człon nazwy miejscowości wskazuje wyraźnie na związek z kolonizacją olęderską (olenderską). Stopniowo pojawiały się wokół niej kolejne folwarki i antypryzy (duże prywatne zagrody z okazałym domem - dworem). W 1783 r.- w ramach osadnictwa zainicjowanego przez króla Prus Fryderyka II zwanego Wielkim – trzy niewielkie osady o różnych nazwach plus dwie antypryzy zostały połączone w jedną wieś. Nazwano ją Woxholländer (w czasach przed regulacją rzeki, mianem Wox określano jeden z cieków delty Warty, Vietzer Holländer założono u jego ujścia).
Ryglowy kościół pobudowano tu w latach 1779-1781, więc jeszcze przed połączeniem się kolonii w jedną wieś. Miał szachulcowe (wypełnione gliną) ściany i dach kryty trzciną. Ponieważ z upływem czasu służył coraz większej ilości wiernych, rozbudowywano go kilkakrotnie (XVIII, XIX i XX w.). W 1934 r. gliniane wypełnienie ścian zastąpiono cegłą (mur pruski) i tak pozostaje do dziś. Po wojnie skrócono empory i zdemontowano ambonę ołtarzową. W 1951 r. konsekrowano go pod wezwaniem Matki Bożej Częstochowskiej. Jest filią parafii św. Antoniego Padewskiego w Krzeszycach. Z dawnego wyposażenia zachowała się w nim płyta epitafijna braci Reeków, mieszkańców Okszy, którzy polegli w wojnie francusko-pruskiej (w 1871 r.)
Świątynia stoi na dawnej wydmie, nieco poniżej biegnącej wałem drogi (przy samym nasypie). W 1787 r. wybudowano obok szkołę (dziś świetlica wiejska). Pomiędzy obydwoma budynkami, w kierunku pól biegnie gruntowa droga. Warto wybrać się nią na spacer, ponieważ po kilkuset metrach dojdziemy do sztucznie usypanego wzniesienia (terp), na którym ulokowano cmentarz. Zachował się właściwie w stanie szczątkowym.
Warto wiedzieć: W 1945 r. przez krótki okres Oksza razem z Boguszyńcem nosiły wspólną nazwę Wroniny. Od listopada stanowiły już oficjalnie dwie odrębne miejscowości. Dziś na granicy między nimi jest pompownia Oksza. Można przy niej zobaczyć odcinek dawnego starorzecza o nazwie Głuszynka (pierwotnie Wox)
Źródła: Zbigniew Czarnuch „Ujarzmianie rzeki. Człowiek i woda w rejonie ujścia Warty” oraz Zbigniew Czarnuch „Nad Wartą i wśród lasów. O dawnych i współczesnych mieszkańcach witnickich wsi”