Celá oblast podél říčky Svitávky mezi obcemi Svitava a Velenicemi je protkaná jeskyněmi, které zde v čase vznikaly. Někde údajně žili středověcí mniši a je pravděpodobné, že některé z jeskyní sami hloubili. Jiné jeskyně pak vznikaly v 18. století kvůli písku na výrobu zrcadel, nebo jako sklady či výrobny.

Na jedné ze skal poblíž jeskyně je vytesaný obraz Ukřižovaného Krista, u něhož klečí Panna Maria a Maří Magdalena.

V jeskyních Pusté kostely (kousek od Pusté kostely 2) se v roce 1984 natáčela pohádka S čerty nejsou žerty. Kromě "interiérů pekla" je zde k vidění i váha na hříšníky.

POZOR: Kvůli značnému zvětrávání nestabilního pískovce je doporučeno se v bývalém lomu zdržovat co možná nejméně.