V průběhu husitských válek byl zdejší klášter vypálen a řeholníci vyhnáni. V roce 1496 se stal klášter majetkem Jednoty bratrské, která udělala z kostela bratrský sbor a z bývalého kláštera sborový dům. Místo nazvali horou Karmel.

V 18. století zde sídlilo piaristické gymnázium a kolej. Ve 20. století byl kostel poničen a sloužil jako sklad. Až velká rekonstrukce roku 2007 přeměnila kostel na místo, které dnes slouží k pořádání výstav, svateb a společenských akcí.