Na místě dnešního kostela Nejsvětější Trojice stála ještě ve 13. století královská tvrz, později hrad. Po dlouhé době, co hrad nebyl obýván, vyžadoval výraznou přestavbu - tu inicioval roku 1577 Rudolf II. Burjan Trčka z Lípy. Hrad byl přestavěn na renesanční zámek s pivovarem, další majitel poté nechal přistavět dnešní kostel.

Od roku 1640 se zámek dostává do rukou Albrechta Libštejnského z Kolowrat. Právě rod Kolovratů vlastní zámek dodnes. Rychnovské Hradčany, jak se zámku někdy přezdívá, nesou osobitý otisk Jana Blažeje Santiniho-Aichela, pravdou ovšem je, že přímý důkaz o podílu tohoto významného architekta své doby není znám. Rychnovský zámek je ovšem příkladem Santiniho typického architektonického řešení a mimo to Santini přímo s rodem Kolovratů již dříve spolupracoval například při stavbě jejich rodového paláce v Praze.

V interiérech zámku si můžete prohlédnout nejen stylový nábytek šlechtického rodu Kolovratů, ale také střelné zbraně z 18. století a hlavně - významnou zámeckou obrazárnu s jednou z největších sbírek obrazů českého i světového malířství u nás. V části zámku se nachází také Muzeum a galerie Orlických hor.