Původ šlechtického sídla sahá až do poloviny 13. století. Zakladatelem tvrze byl pravděpodobně Častolov ze Žitavy, český šlechtic z významného rodu Ronovců, který za vlády Přemysla Otakara I. zastával úřad nejvyššího lovčího Českého království. Pravděpodobně odtud také zámek nese své jméno. Tvrz zažila mnoho majitelů, jmenujme tedy pouze nejznámější z nich - Jiří z Poděbrad, Vilém z Pernštejna, anebo na krátko také Rudolf II.

Vodní tvrz nechali na přelomu 16. a 17. století přestavět Oppersdorfové. Zámek prošel nejprve přestavbou renesanční, v 19. století novogotickou (během níž byl založen také zámecký park), jež byla později nahrazena rekonstrukcí v novorenesančním duchu. Zámek byl v restituci navrácen posledním majitelům - rodině Sternbergových, kterým byl majetek zabrán nejprve Němci, poté českým státem. Současná majitelka hraběnka Diana Phipps Sternbergová zámek zvelebuje, ale také na něm pobývá.

Zajímavé a v mnohém ohledu jedinečné jsou zámecké interiéry, ve kterých návštěvníci mohou obdivovat nejen bohaté sbírky obrazů i zbraní, ale také osobitě malované kazetové stropy s biblickými a římskými motivy. Jen hlavní zámecký sál zdobí celkem 24 nástropních maleb.