Na samém okraji Starozámeckého vrchu (681 m n. m.), v západním cípu skal, najdete zříceninu hradu Adršpach, postaveného nejspíš v polovině 13. století. Výšlap stojí za to také díky vyhlídce, která se nachází na samém úpatí skal. Odměnou za desítky schodů a prudší stoupání je krásný výhled na celé skalní město, Křížový vrch a větší část Dolního Adršpachu.
Hrad hrál důležitou roli za časů krále Jana Lucemburského při jeho výpravách do Slezska. První zmínka o hradu se objevuje v zákoníku Karla IV., kde se uvádí jako královský majetek. Ve stejném čase ale význam hradu klesá, protože Slezsko se stalo součástí zemí Koruny české.
Po válkách doby husitské hrad Adršpach roku 1447 vykoupili Slezané a nechali jej zbořit. Hrad se tak na dlouhá léta ztratil v zapomnění a místní ho znali jen jako hrad loupežníků nebo starý hrad bez historie.
Od parkoviště u skalního města se vydáte po červené značce kolem adršpašského zámku a Umlaufova statku. Jakmile se dostanete na křižovatku turistických cest, tak odbočíte vlevo. Po žluté značce dojdete až na Starozámecký vrch.