Gotycki zamek z czerwonej cegły wzniesiony pośrodku jeziornej wysepki o powierzchni prawie dwa hektary, to symbol Trok. Zamek wybudowano za czasów Kiejstuta i Witolda na początku XV w. Była to reprezentacyjna rezydencja wielkich książąt.
W szesnastym wieku litewscy książęta już definitywnie przenieśli się do Wilna. Zamek w Trokach był jednak ciągle oficjalną siedzibą władców Litwy. Całkowicie zniszczony został w czasie wojen z Rosją w latach 1654-1667. W takim stanie przetrwał do pierwszej połowy XX wieku. W 1929 r. rozpoczęła się jego rekonstrukcja. Plany odbudowy opracował profesor Stanisław Lorentz. Odbudowę przerwała wojna. Ostatecznie zakończoną ją dopiero w roku 1987.
Obecnie w zamku funkcjonuje muzeum historyczne. Eksponowane są tu między innymi militaria i rycerskie zbroje, wyroby ze szkła i porcelany, kolekcja piszczałek ludowych. Dla polskiego turysty najważniejsza jest tu jednak wystawa obrazująca życie przedwojennych Trok z wycinkami z gazet czy dokumentami polskiej administracji.
Do zamku na wyspie idziemy przez dwa drewniane mosty. Główny korpus zamku, zwany też pałacem zamkowym (pilies rūmai), jest oddzielony fosą od zamku przedniego (priešpilis), w którego podziemiach funkcjonuje ekspozycja bursztynów. Podstawową część zamku zajmuje stumetrowej szerokości dziedziniec, który otoczony jest dwoma dwupiętrowymi skrzydłami krytymi czerwoną dachówką.
Wejście do zamku wiedzie przez kwadratową wieżę o wysokości 33 metry. Cały kompleks otoczony jest murem obronnym. Częstymi gośćmi na zamku są filmowcy, którzy upodobali scenerię zamku do kręcenia scen historycznych, ale nie koniecznie. Co roku pod koniec lata na dziedzińcu zamku odbywa się przedstawienie opery Pelengi (Popioły), co sprawia na widzach niesamowite wrażenie. Równie rewelacyjne recenzje zebrał koncert fińskiej „Apocalyptica” na dziedzińcu Zamku Trockiego.