Hrad Sloup byl dlouhou dobu považován za nedobytný, nejen kvůli svému umístění na skále, ale i díky soustavě rybníků, které se v těsném okolí nacházejí. Přesto kvůli loupeživým výpadům Pancířů ze Smojna, kterým tehdy hrad patřil, byl hrad obléhán a nakonec vypálen.

Pancířové museli přislíbit, že hrad neobnoví, ovšem opak byl pravdou - nejen že hrad byl znovuobnoven, šlechtici dokonce dál pokračovali ve svém loupení.

Hrad byl později dobyt a zničen znovu, a to během 30leté války švédskými vojsky. Až rod Kokořovců (a také Kinských) se zasloužil o to, aby se Hrad Sloup stal poutním místem.

Postupné úpravy od 17. až 19. století a přistavování dalších objektů vtisklo středověkému hradu barokní ráz. I proto je dnešním turistům hrad zpřístupněn a je oprávněně velkým lákadlem pro svou magickou atmosféru, rozlehlost a nádhernou vyhlídku ze skalního vrcholku.