W 1307 roku we wsi Brezovička rodzina Berzeviczych zbudowała klasztor–zamek (prawdopodobnie w lokalizacji „Zámčisko”, powyżej drogi łączącej regiony Spisz i Szarysz), który musiał zostać zburzony w XIV–XV wieku. Od tego zapewne wywodzi się wcześniejsza nazwa wsi – Hamburg. Prawdopodobnie było to połączenie niemieckiego „ham”, czyli cypel i „burg” – zamek, mającego oznaczać „zamek na cyplu”.
Wieś należała pierwotnie do majątku Torysa i w 1316 roku, podczas podziału majątku, przypadła w udziale Kokošowi (który był synem hrabiego Rikolfa z rodu Berzeviczy i miał brata Jana). Kokoš (Kakas) zabił niejakiego Fridricha, syna spiskiego hrabiego Arnolda z Hrhova. W 1307 roku został skazany na karę grzywny w wysokości 200 marek (około 38 kg srebra), zobowiązany do założenia sześciu klasztorów i ufundowania czterech tysięcy mszy dla zbawienia duszy zamordowanego Fridricha. Udało mu się założyć jedynie trzy klasztory. Pierwszym z nich był klasztor kartuzów, znany jako Kláštorisko, nad Letanovcami, drugi to klasztor w Hamborku czy też Hamburgu (w lokalizacji Koscilek, a obecnie Brezovička), trzeci zaś to popularny Czerwony Klasztor.
Ród Berzeviczy, który jako swoje nazwisko przyjął nazwę sąsiedniej wsi, wybudował w Brezovičce dwa dwory. Renesansowy (tzw. górny) dwór ze spichlerzem miał rozległy park i został zbudowany około 1620 roku. Po przeprowadzeniu prac remontowych zachowało się z niego kilka fragmentów, podobnie jak z parku. Dziś znajduje się w nim dom opieki społecznej.
Tzw. dolny dwór ze spichlerzem powstał około 1700 roku. Dziś, na skutek wykonanych w nim ingerencji budowlanych, pozbawiony jest detali architektonicznych i mieści się w nim urząd gminy.
Dwór w Brezovičce leży na Szaryskim Szlaku Zamkowym.
