Žipov znajduje się w południowej części Wyżyny Szaryskiej, w dolinie potoku Kanovskiego. Pierwsza pisemna wzmianka o wsi Žipov pochodzi z 1354 roku. W XVIII wieku, wraz z przybyciem szlacheckiej rodziny Rhollów, nastąpił rozkwit wsi. W przeszłości wieś była znana z wytopu żelaza, ale także srebra, miedzi i rtęci. Zachował się tu także budynek dawnej gorzelni. Z pierwszej połowy XIX wieku pochodzi mniejszy budynek sakralny w stylu barokowo-klasycystycznym zbudowany w pobliżu dworu.
Klasycystyczny dwutraktowy dwór został wzniesiony na starszych renesansowych fundamentach. Jest to jednopiętrowy budynek na planie prostokąta. Pośrodku fasady artykułowany podwyższonym ryzalitem (występem z lica) i tympanonem. Pierwotnie nad kamiennym portalem wejściowym znajdował się balkon wsparty na kanelowanych kolumnach, które zostały usunięte w latach 60. XX wieku. W pomieszczeniach przyziemia, które w przeszłości zajmowała służba, a także mieściły się w nich kuchnia i magazyny, można zauważyć sklepienia krzyżowe; pokoje na pierwszym piętrze mają sklepienia kolebkowe i lunety. W pierwszej połowie XIX wieku rodzina Rhollów wybudowała klasycystyczny dwór w pobliżu południowo-zachodniego narożnika dworu. Nowy dwór zamknął przestrzeń od strony zachodniej. W ten sposób powstał dziedziniec z małym eliptycznym parkiem, pośrodku którego znajduje się głęboka studnia i stary wiąz. Dziedziniec otoczony był kamiennym murem. Od wschodu znajdowała się brama, zwana do dziś potocznie „kapura” (narzeczowe określenie wejścia lub bramy). Nie sposób nie wspomnieć o zabudowaniach folwarcznych, które znajdują się na zachód i południe od dworu w lokalizacji zwanej do dziś „Ribnik”. Wśród starszych zachowanych obiektów na uwagę zasługuje willa, nazywana „Mošareň” w lokalizacji Ribnički.
Dwór został zrewitalizowany w 1985 roku, ale jego wygląd ucierpiał na licznych, niezgodnych ze sztuką ingerencjach budowlanych z okresu jego użytkowania w ubiegłym stuleciu.
Dwór w Žipovie leży na Szaryskim Szlaku Zamkowym.
