Po roce 1346 vlastnil hrad Žampach rytíř Jan ze Smojna, řečený "Pancíř". Pancíř hrad využíval jako své útočiště při loupeživých výpravách po okolí. Pancířovo počínání zastavila až trestná výprava Karla IV. někdy kolem roku 1355, který hrad dobyl, celé panství si podřídil a Jana Pancíře nechal popravit.

Následující rok Karel IV. věnoval panství Žampach Čeňkovi z Potštejna náhradou za hrad Potštejn, zkonfiskovaný jeho otci, loupeživému rytíři Mikulášovi z Potštejna. Ve druhé polovině 15. století postihly rod Žampachů z Potštejna finanční obtíže a přistoupili tak k zástavě celého žampašského panství Burianovi Trčkovi z Lípy.

Poté se v rychlém sledu zástavní právo k hradu Žampach i panství přesouvalo od Lichtenburků k Pernštejnům. V té době na hradě působila dokonce penězokazecká dílna, kde žampašský kovář vyráběl falešné mince pravděpodobně i s vědomím vrchnostenských úředníků, což jeho komplicové po mučivém výslechu roku 1542 přiznali. Za padělání peněz je následně čekal trest smrti upálením.

Zástavu hradu Pernštejnům vyplatil roku 1539 Zdeněk Žampach z Potštejna a jednotlivé části někdejšího panství opět sjednotil. Později připadl Žampach Adamovi Bukovskému z Hustířan, který si ve vsi pod hradem nechal vystavět novou tvrz a hrad tak ponechal svému osudu. Zkázonosnou tečku poté přinesli Švédové během drancování a v roce 1648 následné konečné obsazení hradu císařským vojskem.

Dnes je hradní areál prorostlý stromy a z předhradí se dochovaly pouze nevýrazné zbytky zdí hospodářských budov a obvodové hradby. Ze samotného hradního jádra mohou dnešní návštěvníci zříceniny hradu Žampach rozpoznat zbytky klenutých přízemních prostor obytného paláce, relikt brány a pozůstatky hradeb na severní straně paláce.