Původní gotický kostel svatého Prokopa byl postaven ve 13. století. Během své historie utrpěl řadu neduhů - během třicetileté války byl pobořen, po přestavbě sloužil svému účelu až do roku 1891, kdy kvůli poddolování místa již další využití kostela nebylo bezpečně. Definitivně o střechu a krovy přišel v roce 1939, kdy kostel zcela vyhořel. A tak dnes návštěvníci a kolemjdoucí mohou spatřit pouze torzo původního kostela, který je chráněnou památkou.

Kostel byl zasvěcen svatému Prokopovi, patronovi rolníků, horníků, vinařů a poustevníků.

Zajímavé je, že v blízkosti kostela svatého Prokopa byly objeveny archeologické nálezy hornické vesničky Kirchlice, která pravděpodobně zanikla v průběhu 17. století - tedy zhruba v období třicetileté války, kdy byl kostel částečně zničen. Nalezené artefakty pocházejí jak ze 16. století, tak dokonce i z období pravěku.

V Krupce najdete také zříceninu hradu.