K jeho zániku totiž přispělo rozhodnutí krále Ferdinanda III. z roku 1648 nařizující pobořit hradby, aby se hradu Lichnice nezmocnil nepřítel či se nestal ohniskem odporu. V dalších letech pak hrad posloužil jako zdroj kamene na výstavbu okolních domů a postupně zpustl.

V roce 2017 byla v torzu severní věže vybudována ocelová rozhledna Milada, ze které je možné pozorovat okolní krajinu a při dobré viditelnosti i Krkonoše, Bezděz nebo Milešovku.