A falu felett a Várhegyen ma is láthatók egy középkori település maradványai. Az első a Sároskőszeg feletti várról szóló írásos jelentés 1335-ből származik. A vár az Abovi somosi ághoz tartozott és valószínűleg az volt a feladatuk, hogy őrizzék a Hornád szűk völgyében átvezető átjárót. Valószínűleg a 13. század második felében épült. Nem tudjuk, mikor szűnt meg a vár. De úgy véljük, hogy valamikor a 15. század végén a család kihalása után amikor is a kastély királyi tulajdonba került. Szükséges megemlíteni, hogy az írásos dokumentumokban, valamint az emberek tudatában, Sároskőszeg várát gyakran hozzák kapcsolatba a Magyarország uralkodójával, Korvin Mátyásall, aki gyakran vadászott itt. Az 1991-1993-as években régészeti kutatást is végeztek, minden talált kerámia és fémtöredéket szakszerűen megőriztek (konzerválták), és szakkiállításokon mutatják be. A falu felett ma is láthatók a vármaradványok, kirajzolhatók az erődítmény és a lakóterületek körvonalai.
A Sároskőszeg-i vár a Sáros várút része.
