Hrad Neuberg byl založen pravděpodobně na samém počátku 13. století, a to pány z Neubergu, po nichž hrad nesl své jméno. Neubergové často hrad využívali k loupeživým výpravám do Saska, jejich konání ovšem nezůstalo bez odezvy - vojska Karla IV. tomu učili přítrž a hrad částečně pobořili.

Hrad Neuberg ovšem přežil a byl znovu obnoven. Od poloviny 14. století pak majetek Neubergů postupně skupuje jeho spřízněný německý rod, páni Zedtwitzové. Právě Zedtwitzové vlastní zdejší panství až do roku 1945. Svého času byl Neuberg centrálním sídlem jejich vlády v Ašském výběžku - tedy až do osudného požáru roku 1610. Hrad Neuberg zcela vyhořel, Zedtwitzové se rozdělili a přestěhovali se do různých zámku, jež vlastnili v okolí.

Hradu Neuberg se ovšem nevzdali. Byť hrad Zedtwitzové znovu neobnovili, v blízkosti hradní věže nechali postavit nový objekt, nazývaný Horní zámek. Zámek byl z velké části postaven ze stavebního materiálu zničeného hradu. I proto je původní vzhled hradu Neuberg dodnes neznámý.

Jakoby ale hradní kameny pamatovaly na svůj neblahý osud, stejná zkáza potkala i renesanční zámek. Zámek roku 1902 také vyhořel a nikdy již nebyl zrekonstruován. Hradozámecký areál zchátral a stal se vyhledávaným místem vandalů a hledačů pokladů. Do dnešních dnů tak zůstala zachována věž hradu a ruiny zámku.