Pierwsza pisemna wzmianka o wsi Brezovica pochodzi z 1317 roku. Wówczas to rozpoczęto budowę zamku, który był siedzibą rodu Berzeviczych, o co postarał się Michał Berzeviczy. Zamek stał się siedzibą rodową na ponad dwa stulecia. Miejsce to znajduje się obecnie na cmentarzu położonym na wyraźnym wzniesieniu w obrębie miejscowości (470 m n.p.m.). Wzgórze zamkowe było bardzo strome, zwłaszcza od południowej strony, a pozostałe zbocza zostały uregulowane w trakcie budowy. Spłaszczony wierzchołek ułatwił budowę części mieszkalnych fortyfikacji. Położenie zamku jako rezydencji szlacheckiej było bardzo korzystne, ponieważ ułatwiało kontrolę rodowych majątków.
Kompleks zamkowy o wymiarach 50 na 35 metrów składał się z górnego, średniego i dolnego zamku, a całość otoczona była fosą. Zbudowany był pierwotnie na rzucie niemal regularnego trójkąta. W najwyższym punkcie, na płaskowyżu wznoszącym się co najmniej dwa metry nad otaczający teren, znajdował się górny zamek, który prawdopodobnie obejmował także pałac. Inne zabudowania i być może mniejsza wieża znajdowały się na pobliskim terenie tzw. średniego zamku, który od górnego zamku oddzielała głęboka fosa. Dolny zamek był usytuowany na północnym skraju kompleksu, w najniższym miejscu wzniesienia, gdzie znajdowały się tylko drewniane zabudowania gospodarskie. Do zamku wjeżdżało się od północnego wschodu, po moście z bramą, którą chroniło ufortyfikowane przedbramie. Kompleks był otoczony fosą o szerokości dochodzącej do 15 metrów i głębokości 17 metrów.
Po śmierci Michała posiadłość przeszła w ręce jego syna Mikołaja. W 1438 roku zamek przejęło miasto Preszów dla królowej Elżbiety. W 1449 roku zamek trafił w ręce bratrzyków, ale w 1458 roku zajęły go wojska Macieja Korwina. Następnie zamek najwyraźniej opustoszał i pod koniec XV wieku obrócił się w ruinę. Jego właściciele przenieśli się do wygodniejszych siedzib we wsi, a pierwsza z nich została przebudowana na istniejący do dziś klasycystyczny dwór.
Obecnie w miejscu, gdzie znajdował się zamek, można zobaczyć tylko wały i pozostałości fosy. Na zamku nie prowadzono dotychczas żadnych badań archeologicznych. Założenie w tym miejscu cmentarza, budowa kaplicy i dróg spowodowały, że nadziemne pozostałości ruin przestały być czytelne, zachował się jednak charakterystyczny układ terenu. Trzy płaszczyzny oddzielone wewnętrzną fosą świadczą o zróżnicowaniu fortyfikacji. Okrągłe podwyższenie (12 na 9 metra) jest pozostałością oryginalnego ufortyfikowanego wejścia. Szczególnie uderzające są zwłaszcza dawne fosy. Od strony południowej fosa stanowi obecnie część asfaltowej drogi, która omija wzgórze od zachodu i wschodu. Choć teren, na którym znajdują się dawne fortyfikacje znacznie się zmienił, wciąż wyznaczają one obszar, jaki zajmował cały kompleks i ułatwiają jego rozpoznanie w terenie. Najwyraźniejszym elementem jest fosa pod zachodnim zboczem, która nawet dziś ma imponujące wymiary: 15 metrów głębokości i 21 metrów szerokości. Na wschodnim i południowo-wschodnim zboczu fortyfikacji znajduje się duża ilość gruzu kamiennego, co najpewniej świadczy o tym, że zamek, przynajmniej w swoich fundamentach, był murowany, a nie drewniany, jak do niedawna przypuszczano.
Ruiny znajdują się na Szaryskim Szlaku Zamkowym.
