Břístevská hůra byla v dávných dobách spojována s nadpřirozenými jevy a podle místních povídaček se zde konaly sabaty čarodějnic. Z toho důvodu zde farář Karel Skřivan nechal na počátku 18. století vztyčit velký kříž jako ochranu před těmito ďábelskými jevy. Až jeho nástupce, Karel Ignác Heisler, prosadil stavbu barokní kaple Povýšení sv. Kříže. Postavena byla na křížovém půdorysu v roce 1714 z darů farníků.

Kaple Povýšení sv. Kříže ale nepřinesla kýženou dlouhodobou ochranu. Již v roce 1764 do kaple udeřil blesk, jehož následkem kaple vyhořela. Oprava proběhla až v roce 1816, ovšem co čert nechtěl - již o dva roky později kaple vyhořela znovu. Stalo se tak během oslav svatojakubské noci, kdy místní mládež pálila čarodějnice. Jeden z hořících oharků způsobil vznícení nové šindelové střechy. Finance na další obnovu již nezbyly. Do dnešních dnů se dochovaly pouze části obvodového zdiva.

Zdá se tedy, že pohanské síly vrátily sakrální stavbě nejeden ničivý úder. Ostatně po těchto "ohnivých znameních" lidé nabyli dojmu, že je celé místo prokleté.

I dnešní návštěvníci by se ale měli mít na pozoru - podle pověsti se v troskách kaple nachází duch, který ztrestá každého, kdo by chtěl zbytkům kaple škodit. Na to údajně doplatil již jeden sedlák, který si chtěl svůj domov vybavit dlaždicemi ze zničené kaple. Když do kaple dorazil s tímto úmyslem, zjevila se mu děsivá bytost. Se strachem v očích muž z místa utekl a brzy nato náhle zemřel.