Vilémův syn (Vilém) roku 1350 prodal Egerberk pánům ze Šumburka, od kterých ho roku 1384 koupil Jindřich Škopek z Dubé. Tento významný rádce krále Václava IV. nechal hrad přestavět a udělal z něj reprezentativní sídlo.

Páni z Dubé později hrad Egerberk prodali a dalšími známými majiteli byli až Illburkové. Vend z Illburka se ale kolem roku 1435 dostal do velkých majetkových sporů s Vilémem ze Šumburka. Ten se lstí hradu zmocnil a zajatého Venda na něm umučil hlady.

Posledními majiteli byli Štampachové, kteří Egerberk nevyužívali a hrad tak koncem 16. století začal chátrat.

Do současnosti se z Egerberka dochovaly hradby hradního jádra, část obvodových zdí a palácové části s nádvořím a věží.