Původ šlechtického sídla sahá až do poloviny 13. století. Zakladatelem tvrze byl pravděpodobně Častolov ze Žitavy, český šlechtic z významného rodu Ronovců, který za vlády Přemysla Otakara I. zastával úřad nejvyššího lovčího Českého království. Pravděpodobně odtud také zámek Častolovice nese své jméno. Tvrz zažila mnoho majitelů, jmenujme tedy pouze nejznámější z nich - Jiří z Poděbrad, Vilém z Pernštejna, anebo na krátko také Rudolf II.

Vodní tvrz nechali na přelomu 16. a 17. století přestavět Oppersdorfové. Zámek Častolovice prošel nejprve přestavbou renesanční, v 19. století novogotickou (během níž byl založen také zámecký park), jež byla později nahrazena rekonstrukcí v novorenesančním duchu. Zámek Častolovice byl v restituci navrácen posledním majitelům - rodině Sternbergových, kterým byl majetek zabrán nejprve Němci, poté českým státem. Současná majitelka hraběnka Diana Phipps Sternbergová zámek zvelebuje, ale také na něm pobývá.

Zajímavé a v mnohém ohledu jedinečné jsou zámecké interiéry, ve kterých návštěvníci Častolovic mohou obdivovat nejen bohaté sbírky obrazů i zbraní, ale také osobitě malované kazetové stropy s biblickými a římskými motivy. Jen hlavní zámecký sál zdobí celkem 24 nástropních maleb.