Brezovica leży jest w dolinie Torysy, pod wschodnimi stokami Gór Lewockich. Wieś powstała przy dawnym szlaku prowadzącym z regionu Szarysz na Spisz, zwanym w źródłach „Via Magna”, czyli duża droga.
Pierwsza pisemna wzmianka o wsi pochodzi z 1317 roku. W tym czasie rozpoczęła się budowa siedziby rodu Berzeviczy. Przyczynił się do tego Michał Berzeviczy, a zamek ów stał się siedzibą rodową na ponad dwa stulecia.
Dwór w Brezovicy pochodzi z XVII wieku. Wówczas to rodzina opuściła zamek i przeniosła się do wsi, w której zbudowała siedem dworów i jeden kasztel.
Dwór został wzniesiony jako obiekt blokowy, dwutraktowy, z ryzalitem po stronie północno-wschodniej i otwartą obszerną klatką schodową. Na fasadzie zachowały się renesansowe okna oraz również renesansowe, dwukolorowe sgraffitowe boniowania o szlifie diamentowym. Nad wejściem znajduje się kamienna płyta z płaskorzeźbą herbów rodowych.
Przodkowie Berzeviczych pochodzili z Tyrolu i przyjęli przydomek od zlatynizowanej nazwy wsi.
Dwór w Brezovicy leży na Szaryskim Szlaku Zamkowym.
