Roku 1618 rod Drnovských vymírá po mužské linii, poslední následovnicí je tak Johanna Drnovská. Ta se později provdala za štýrského hraběte Georga Ehrenreicha z Roggendorfu a rájecké panství se tak dostalo do majetku Roggendorfů.

V roce 1763 koupil Rájec Antonín Karel ze Salm-Reiffercheidtu. Zámek, který zde páni z Drnovic zbudovali, ovšem tou dobou již nestál. Několik let před tím totiž kompletně vyhořel. Antonín Karel tak nechal na jeho základech postavit zámek nový.

Stavba trojkřídlé patrové budovy s mansardovou střechou ve stylu rokokového klasicismu probíhala mezi roky 1763 až 1769. Dokončení zámku se zakladatel Antonín Karel již nedožil. Zámek Rájec nad Svitavou patřil rodině Salmů až do roku 1945, kdy byl znárodněn.

Zámek Rájec nad Svitavou je dodnes v majetku státu a návštěvníkům nabízí prohlídku reprezentačního přízemí s jednou z největších zámeckých knihoven na Moravě, prohlídku prvního poschodí zámku s obytnými apartmány a hostinskými pokoji z 2. poloviny 19. století a prohlídku zámecké kaple v klasicistním a empírovém stylu.

Zámek Rájec nad Svitavou se také chlubí unikátní sbírkou kaméliových keřů (na čtyři sta odrůd) a zámeckým zahradnictvím se skleníky, které jsou veřejnosti přístupné v únoru a v březnu, kdy kamélie kvetou.