W wiekach średnich na wyspie, gdzie wznosiło się wzgórze, Jaćwingowie założyli warowny gród. Gród Raj był główną siedzibą plemienia jaćwieskiego – Zlinców. Strzegł on szlaku handlowego wiodącego z Mazowsza w głąb ziem jaćwieskich. Wzmianki o miejscowości pochodzą już z X wieku i pojawiają się zarówno w źródłach polskich jak i ruskich, a potem krzyżackich. Gród miał prawdopodobnie duże znaczenie. Wielokrotnie zdobywany i niszczony był ponownie odbudowywany. Około 1280 roku został zajęty przez księcia litewskiego Narymunta. Przyjęła się wówczas nazwa Rajgrodu. W 1360 roku Kazimierz Wielki nakazał kasztelanowi wiskiemu budowę w Rajgrodzie zamku. Zamek ten podobno nie został jeszcze ukończony, gdy zniszczył go już najazd krzyżacki.
W początkach XVI wieku w zachodniej części wzgórza – tam gdzie najprawdopodobniej był zbudowany wcześniej gród jaćwieski – wzniesiono rezydencjonalny „wielki dwór”, który funkcjonował do połowy XVII wieku.
Jeszcze w końcu XIX wieku widoczne były na powierzchni ziemi resztki fundamentów i gruz ceglany, obecnie jednak nie ma widocznych śladów po zabudowaniach, a średniowieczne obwałowania ziemne również już znikły.
Grodzisko znajduje się na końcu półwyspu przy wschodnim brzegu Jeziora Rajgrodzkiego, na wysokim wzgórzu, wznoszącym się do 14 metrów ponad poziom jeziora. Teren był kilkukrotnie badany, między innymi w 1916 roku przez B.Ehrucha i w 1969 roku przez Danutę Jaskanis.
