Hrad byl založen již ve 13. století významným rodem Markvarticů a původně nesl pouze název Rohozec. První problémy nastaly v době, kdy hrad vlastnil Markvart z Vartenberka. Ten totiž kvůli osobním sporům napadal své sousedy, což se znelíbilo tehdejšímu králi Václavovi IV. Král tak nechal Rohozec (a také další hrady tohoto šlechtice Žleby a Zbiroh) obsadit. Rohozec tedy krátce patřil i Lucemburkům.

Přestavba gotického hradu na bělostný zámek započala v 15. století a o výzdobu se mimo jiné zasloužili i Vartenberkové, kteří hrad znovu získali do svého vlastnictví. Od 17. století pak Albert z Valdštejna, kterému zámek připadl po porážce českých vojsk na Bílé hoře, zámek daroval svému válečníkovi Mikuláši Desfoursovi z francouzského šlechtického rodu.

Právě za vlastnictví Desfoursů dostal Rohozec přídomek Hrubý, a to kvůli odlišení se od nedaleké vsi Malý Rohozec. Desfoursové se podepsali na současné podobě zámku, která odkazuje ke klasicistním a empírovým úpravám z 19. století.

Zámek je dodnes ve vlastnictví Desfoursů s výjimkou období komunismu. K zámku náleží také menší anglický park s řadou vzácných stromů, umělou jeskyní a sochami z 18. a 19. století. Zámek Hrubý Rohozec nabízí celkem tři prohlídkové okruhy, ve kterých návštěvníky seznamuje s životním stylem šlechty různých historických epoch.