Hrad byl postaven na skalnatém útesu na počátku 15. století. Byl gotickou pevností, kterou se mohli pyšnit páni Vartemberští, Smiřičtí i Valdštejnští. Nejvyšší skalní věž byla využita pro stavbu strážní věže.

František Zachariáš Römisch, jeden z pozdějších majitelů hradu, jej na počátku 19. století nechal přestavět na Pantheon – památník slavných. Nechal zřídit desítky pomníků a pamětních desek a na místě původní hradní kaple nechal postavit dnešní novogotický letohrádek. Vranov – Pantheon tak v sobě spojuje kouzlo středověké zříceniny s duchem evropského romantismu.

Většina staveb bývala dřevěná, i proto se kromě letohrádku do dnešního dne dochovalo pouze velké množství místností a sklepů, které byly do pískovcové skály vytesány.

Prohlídkový okruh návštěvníky provede každým koutem tohoto komplikovaného hradu. Po úzkém skalním schodišti je zavede také na nejvyšší bod útesu, zvaný Věž u Kříže, odkud se mohou kochat nádherným výhledem. Hradní galerie nabízí také výstavy i kavárenské pohoštění.