Hrad Lipovec leží v západnej časti Slanských vrchov na zalesnenej strmej vyvýšenine s miestnym názvom Varhoška.
Hrad bol správnym centrom panstva Lipovec, ktoré existovalo už v roku 1229. Prvá písomná zmienka o ňom je z roku 1282, kde vystupuje pod názvom Ostrý Kameň. V roku 1543 bol hrad dobytý a poškodený. Pri jeho obrane zahynul aj Ambróz Kecer z rodu Aba, jeho vlastník. Následne bol hrad jeho synom opravený, avšak v roku 1567 sa už spomína ako zbúraný. Úplne ho zničili prívrženci Jána Zápolského v roku 1591.
Hrad Lipovec má dĺžku asi 35 metrov a šírku od 8 do 15 metrov. Dolný pás opevnenia chránil hrad len z troch strán, nakoľko severný svah od potoka je veľmi strmý. Hrad obchádza dolná hradba s rozmermi asi 110 m a 60 m.
Na vrchole kopca je nápadná kruhová vyhĺbenina. Na jej vrchole pravdepodobne stála obranná veža spojená s hradným mostom a chránila objekt hradu Lipovec z východnej strany. Rovnako je vidieť, že tu niekedy boli jednotlivé nádvoria, hradná priekopa s vonkajším valom, ktorá chránila hrad z troch strán.
Hrad Lipovec je súčasťou Šarišskej hradnej cesty
