Původní hrad založil na počátku 14. století Zdislav z Lemberka, pocházející ze starobylého a mocného rodu Markvarticů. Jeho následovníci poté na základě vlastnictví hradu přijali přízvisko „ze Zvířetic".

Renesanční styl vtiskl gotickému hradu rod Vartemberků. Do jejich vlastnictví přešel v 16. století a s tím také započaly rozsáhlé přestavby. Renesanční zámek plnil obytnou funkci až do roku 1720, kdy po úderu blesku a následném požáru utrpěl devastující škody. Poté byl zámek zcela opuštěn a nebyl obnovován.

Z bývalého zámku se tak dochovaly zdi paláců, zbytky hradeb a zejména část věže, která skýtá nádherný výhled na celou zříceninu i blízké okolí.