Po zrušení kostela Panny Marie a odlivu poutníků se budova využívala jako sýpka a její stav se postupně zhoršoval. Bez nutných oprav kostel rychle chátral a v roce 1870 z něj byla z bezpečnostních důvodů odstraněna již značně poškozená střecha. Veškerý dochovalý inventář byl pak rozprodán v dražbě.

Torzo původně barokního chrámu zrušeného za Josefínských reforem se ukrývá na zalesněném vrchu Kopeček, na který nevede žádná značená cesta. Pokud však ze Zdoňova vyrazíte po žlutě značené stezce ke Křížovému vrchu, cestu ke kostelu Panny Marie nemůžete nenajít.

Když se navíc vydáte na vrcholek Křížového vrchu (667 m), odměnou vám kromě zajímavé křížové cesty bude i nádherný výhled do okolí.