Roku 1443 se mu Venda podařilo přelstít a zmocnil se jeho hradu Egerberka. Venda zajal a uvěznil ve věži, kde ho umučil hlady.

V roce 1449 prodal Šumburk s Kláštercem nad Ohří Vilémovi z Illburka, který ho už za čtyři roky přenechal (pro dluhy) Fictumům.

Když byl hrad ve vlastnictví bratři Jiřího, Hanuše, Volfa a Opla z Fictumu, zřídil si Opl na Šumburku penězokazeckou dílnu. Po prozrazení, a následném útěku Opla ze země, král jeho podíl zabavil.

Roku 1543 koupili část Šumburka bratři ze Šumburka na Glouchově a Waldenburku, a hrad se tak vrátil k potomkům zakladatele.

V 60. letech 16. století hrad vyhořel a poté zpustl.