Vodní hrad Bor byl založen zhruba v polovině 13. století potomky Ratmíra ze Skviřína. Pevnost s mohutnou válcovou věží byla zničena během husitských válek a tak se nějakou dobu mluvilo o pustém hradu. Rod Švamberků ovšem na hrad Bor nezanevřel.

Na počátku 16. století se původně středověká stavba v Boru mění na velkolepý zámecký areál. I hradní věž se dočkala rekonstrukce, zároveň je také dodnes nejvýznamnějším prvkem připomínajícím staré časy středověku. O tom, jak vypadal původní vodní hrad Bor, toho příliš nevíme. Sice se jeho větší část zachovala v původním rozsahu, pozdější přestavby jej ovšem natolik proměnily, že o podobě původní pevnosti se můžeme dnes již jen dohadovat.

Zámek Bor dobře posloužil rozrůstajícímu se rodu Švamberků. A nejenom jim. Na Borském zámku se vystřídaly další šlechtici - třeba Zikmund Bedřich von Götzen, který panství následně prodal rodu Löwensteinům. Löwensteinové by si zde pravděpodobně žili spokojeně i nadále, kdyby je zestátnění jejich majitku v roce 1945 z panství nevyhnalo. A tím započala zkáza zámku Bor.

Sídlila zde krátce americká armáda, národní výbor, Vojenská správa a další instituce a orgány státu. Zámek Bor upadal do neutěšeného stavu. V 50. letech proto byly nutně potřeba stavební úpravy, které se ovšem zachovaly velmi nešetrně k historickým prvkům zámku. Dodnes jsou moderní zásahy v některých zámeckých interiérech patrné.

Po majetkových tahanicích a postupujícímu chátrání zámku se nakonec Borská památka navrací městu v roce 1997, a to s příslibem obnovy a záchrany této nádherné stavby. A konečně - obnova zámku Bor sice ještě probíhá, velká část je ale úspěšně u konce. A tak si dnešní návštěvníci zámku Bor mohou se zaujetím prohlížet zámecké interiéry, hradní kapli sv. Vavřince, vydat se mohou i za vyhlídkou na hradní věž. Zajímavostí je, že se v hradní kapli nachází otisky dlaní v renesanční omítce - k nim se mimochodem váže také jedna legenda.