Kamenice byla založena na nepřístupném kopci, jako mnoho tehdejších hradů, které během husitských válek představovaly především mocenské opěrné body. Až později byl hrad rozšířen na pohodlnější panské sídlo.

Roku 1440 vypálilo Kamenici lužické Šestiměstí. Není však jisté, zda šlo o městečko či samotný hrad. V roce 1515 koupili panství páni ze Salhausenu, kteří si ve městě pod hradem založili nový zámek a hrad již nevyužívali. Už za pár let, v roce 1535, patřila Kamenice opět Vartenberkům. Ti už ale samotný hrad neudržovali.

Během třicetileté války, kdy byl hrad snad částečně obnovený, se o něj v roce 1639 strhla potyčka a Švédi jej znovu vypálili a pobořili.

V roce 1995 byly zpevněny a očištěny zdi a zřícenina byla opět zpřístupněna. Od roku 1998 zde stojí i nová rozhledna.

Na Zámecký vrch vede zelená turistická trasa z České Kamenice (cca 1 km), která dále pokračuje do Kamenického Šenova vzdáleného asi 2,5 kilometru.