Jako první stála na místě dnešního zámečku kaple svatého Jiljí, patrona lesů. Zámeček Karlštejn byl následně postaven kolem roku 1770 na pokyn hraběte Filipa Kinského.

Své jméno zámeček nezískal po Karlu IV., jako je tomu u hradu Karlštejna u Berouna. Nazýván je podle nedalekého Zkamenělého zámku, jehož skalisko místní nazývali Kahlstein, což v překladu znamená holý kámen. Shoda jmen je proto čistě náhodná.

Zámeček Karlštejn sloužil knížecímu dvoru Kinských, později rodu Thurn-Taxisů. Až do roku 1925 obklopovala zámeček jelení obora. Od roku 2020 je zpřístupněn veřejnosti - v areálu se nachází restaurace, salonek, apartmány, galerie i reprezentativní sál.