Hrad založili páni z Pařezu v druhé polovině 14. století. Historie hradu ovšem měla krátkého trvání, byť okolnosti jeho zániku jsou stále předmětem bádání.

Pravděpodobnou verzí je, že byl Pařez dobyt a pobořen během husitských válek, čemuž nasvědčuje i nalezená kamenná (dělová) koule. Je ovšem také možné, že byl hrad opuštěn již několik let před tímto násilným útokem. Útroby hradu poté využívali ke svému úkrytu loupežníci.

Do dnešních dnů se zachovaly skalní světničky a zbytky čtvercové kamenné věže. Po výstupu na skalní plošinu se vám naskytne romantický výhled na nejbližší okolí zříceniny. K památce skalního hradu je možné dojít po červené značce z centra Prachovských skal, či dojet autem přes Pařezskou Lhotu.