Vrch je z odkrytého boku tvořen štíhlými pravidelnými (čtyř až šestibokými) čedičovými sloupy, které jsou až 15 m dlouhé. A protože jsou uspořádány podle výšky jako píšťaly varhan, říká se skále lidově Varhany.

Panská skála má statut národní přírodní památky a je nejnavštěvovanějším geologickým útvarem v Čechách. Z jejího vrcholu je pak pěkný výhled do okolí.

Panská skála posloužila také jako kulisa při natáčení pohádky Pyšná princezna.