Renesanční zámek stojí na místě původní vodní tvrze. Vrchlabské panství zakoupil roku 1533 od Jana Tetaura z Tetova královský rada Kryštof Gendorf z Gendorfu. Právě on nechal zámek vystavět. Původní zámek byl obklopen dvanáct metrů širokým vodním příkopem, vstup do zámku byl umožněn třemi padacími mosty.

Přírodní krajinářský park v okolí zámku skýtá uměle vytvořená jezírka, cizokrajné dřeviny i naučnou stezku, vedoucí celým parkem. Dnešní romantickou podobu parku má na svědomí zahradník Fuchs, který nechal park rozšířit a zrušil vodní příkop kolem zámku.

Park je volně přístupný veřejnosti. Zámecké prostory dnes slouží potřebám městského úřadu a Správě Krkonošského národního parku. Návštěvníci ovšem mohou zavítat do vstupní haly zámku a obdivovat zdobené motivy a obrazy krkonošských medvědů.

Nejvzácnější památkou zámku jsou bezpochyby renesanční kachlová kamna v bývalém rytířském sále. Kamna jsou jediným předmětem, který se dochoval z původního honosného zařízení zámku.