Zamek zbudowany na ruinach dawnego klasztoru augustianów, przypuszczalnie z wykorzystaniem budulca z dawnego klasztoru. Według zachowanych śladów można wnioskować, że powstał w XVII wieku. W 1645 roku majątek Zamku Szarysz trafił w ręce Rakoczych. Wcześniej należał do rodziny Perényi, która posiadała również Zamek Szarysz. Najbardziej znanym właścicielem z rodu Rakoczych był Franciszek II Rakoczy, który został uroczyście mianowany dziedzicznym żupanem żupy szaryskiej i nazywany był „hrabią szaryskim”. W 1701 roku, w związku z przygotowaniami powstania stanowego, został on aresztowany i zabrany na przesłuchanie do Preszowa.
Następnie zamek trafił w ręce siostry Franciszka Rakoczego, Julii de Aspermont, a dalej przeszedł na własność rodu Sirmay. W XIX wieku, za sprawą małżeństwa, przejął go polski szlachcic Józef B. Łużeński de Reglice, którego syn został zastrzelony w pojedynku i pochowany przy tutejszej kaplicy św. Elżbiety. Na przełomie XIX i XX wieku właścicielem zamku był Gejza Pulaský.
Na podstawie fotografii z epoki oraz szkiców z pierwszej połowy XX wieku można zakładać, że była to budowla renesansowa, odpowiadająca typologii renesansowych rezydencji blokowych z narożnymi wieżami. Na frontowej fasadzie wschodniej zamek miał dwie walcowe, narożne wieże, „dostawione” do prostokątnej bryły. Trzecia wieża znajdowała się w obrębie zachodniego skrzydła dziedzińcowego i najprawdopodobniej stanowiła klatkę schodową. Dwór był dwukondygnacyjny, nakryty dachem dwuspadowym, od strony północnej połączony z mansardą. Otynkowane kominy z poziomymi podziałami gzymsowymi wystawały ponad kalenicę. Narożne wieże nakryto dachami dzwonowymi z gontu. Na przyziemiu były częściowo zachowane oryginalne prostokątne, kamienne obramienia okien, zakończone prostym profilowanym gzymsem. Na pierwszym piętrze znajdowały się renesansowe sklepienia kolebkowe z lunetami. Sklepienie z lunetami nad klatką schodową wsparto na kolumnie, która w górnej była kanelowana, i na przyściennym pilastrze. Okna na piętrze były prostokątne, z nieznacznym łukiem. Okna na parterze były zakratowane.
Zamek ucierpiał podczas I wojny światowej, a dzieła zniszczenia dopełnił pożar, który wybuchł we wsi 13.09.1948 roku i dotarł aż do zamku. Ogień doszczętnie strawił budynek, który następnie rozebrano.
Mówi się, że podczas rozbiórki mieszkańcy zabrali budulec, a także meble, które pozostały w zamku. Dziś w jego miejscu znajduje się boisko do piłki nożnej, a budynek gospodarczy został przebudowany na dom. Do zamku przynależała też kaplica św. Kunegundy, aleja, kuźnia i inne budynki gospodarcze.
Na terenie słynnego niegdyś zamku zachowała się studnia i spichlerz. Wedle legendy w studni znajdowało się wejście do tajnego korytarza dochodzącego do zamku.
Zamek był otoczony wspaniałym parkiem i ogrodem, którym opiekowała się Jelena Zrinski, bowiem ogrodnictwo było rodzinną tradycją Rakoczych. W pięknych ogrodach zamkowych uprawiała między innymi figi, rozmaryn, fiołki, goździki, róże, strelicje i aksamitki. Znajdowała się tu także aleja kasztanowa. Do dziś rośnie w tym miejscu lipa drobnolistna, której wiek szacuje się na 350–400 lat.
Zachowało się bardzo mało zdjęć i przedstawień zamku. Sławę zamku Rakoczego potwierdza jedynie pamiątkowy kamień z ryciną dworu i podpisem „Zamek Rakoczego”, przechowywany w miejskim depozycie.
Obiekt znajduje się na Szaryskim Szlaku Zamkowym.
