Rajgród jako miejscowość pograniczna był wielokrotnie ciężko doświadczany przez historię. Niezwykłe walory obronne cypla oblanego wodami jeziora pierwsi dostrzegli Jaćwingowie, którzy wznieśli tu jeden z najważniejszych swoich grodów. Jego zadaniem była obrona Jaćwieży przed zakusami Mazowszan i Litwinów. O tym, jakie niebezpieczeństwa im groziły świadczy fakt, że w 1282 r. litewski książę Trojden, zdobywszy tutejszy gród, wymordował całą jego załogę. Zbudowany przez Trojdena zamek był wielokrotnie najeżdżany przez Mazowszan i Krzyżaków. Ci ostatni zdobyli go, zniszczyli, a załogę wymordowali.
W drugiej połowie XIV w. sięgnęła tu władza polskiego króla Kazimierza Wielkiego, który zbudował w Rajgrodzie kolejny zamek. Po jego śmierci zamek znów trafił w litewskie ręce, by niebawem paść łupem Krzyżaków. Załoga podzieliła los poprzednich warowni stojących w tym miejscu. Bezpieczniej w tych stronach zrobiło się dopiero po 1410 r. Krzyżacy po klęsce grunwaldzkiej przestali niepokoić ziemie Polski i Litwy, mające teraz wspólnego władcę. Prawie 250 lat spokojnej egzystencji przerwał w 1656 r. najazd Tatarów, którzy sprowadzeni do walki ze Szwedami "przy okazji" splądrowali i zniszczyli Rajgród.
Strategiczne położenie góry zamkowej docenił w 1831 r. rosyjski generał, który umocnił ją i zaopatrzył w 14 armat. Po dramatycznej i krwawej bitwie zdobyły je polskie oddziały dowodzone przez gen. Henryka Dembińskiego. W okresie międzywojennym większość ludności miasteczka stanowili Żydzi. Podczas okupacji Niemcy urządzili tu getto, by w końcu wymordować jego mieszkańców. Jak widać, Rajgród nie był rajem na ziemi. Ale dlaczego miałby być? Słowo raj w językach bałtyckich (należał do nich jaćwieski) oznacza "wodę zebraną w dolinie"