Původně neslo údolí jméno Smolný důl (Pechgraben), protože zde uhlíři měli své milíře a smolné pece, v nichž vařili kolomaz.

O místním dole se tradovalo několik pochmurných pověstí, jejichž motivem byla láska a smrt. V roce 1704 proto čeledín z blízkého statku pověsil v údolí obrázek Panny Marie a Ježíše. V roce 1760 sem pomocník sládka ze svojkovského pivovaru pověsil obrázek nový, již vysvěcený.

Modlivý důl postupně začali navštěvovat pocestní a začali šířit pověsti o zázracích. Roku 1772 zbožná hraběnka Cervelliová (paní Czerwelli ze Svojkova) nechala postavit dřevěnou kapličku a do ní pověsit proslulý obrázek. Koncem 18. století tuto původní kapličku nechala hraběnka Alžběta Kinská nahradit kapličkou vytesanou ve skále.

Okolní skály jsou vyhledávaným místem horolezců, kteří naproti kapli na jedné ze skal založili malý horolezecký hřbitov.

Po cestě do Modlivého dolu narazíte také na malou jeskyni (Hlídková jeskyně) nebo studánku U Strážce. Skalní vrcholky pak nabízí nádherné výhledy do širokého okolí.