Následně přešel spolu s pěti vesnicemi, které k Sionu náležely, do vlastnictví římskoněmeckého císaře a českého krále Zikmunda Lucemburského. Jeho nástupce Albrecht II. Habsburský ho následně zastavil.

Poté Sion několikrát vystřídal majitele. Poslední písemná připomínka pak jako vlastníka zmiňuje Jiřího z Hrušova, který byl roku 1580 popraven kvůli lichvářství a jeho pozemky spolu se zbytky hradu Sion připadly králi Rudolfovi II.

Hrad Sion ve své době patřil k předním výdobytkům husitského stavitelství a svými fortifikačními prvky stál na počátku vývoje novověkých evropských opevňovacích systémů. Na Sionu se například poprvé využila polookrouhlá zemní bašta, která umožňovala použití děl.

Dodnes se v památkově chráněném a archeologicky významném areálu dochovaly zbytky hradebního jádra a předhradí nebo tábor obléhatelů a palební postavení.

Ke zřícenině hradu Sion dnes návštěvníky kromě pohnuté historie objektu láká i místní zalesněná krajina. Vedou sem modře a červeně značené turistické trasy i cyklotrasa.