Hrad Milštejn byl pravděpodobně založen rodem Berků z Dubé ve 13. století, aby chránil Lipskou obchodní stezku. Svého času zde bývali zbrojnoši, kteří doprovázeli kupecké vozy a měli na starost výběr cla. Roku 1456 byl hrad Milštejn dobyt Lužickým vojskem, ale i přes tuto nemilou událost hrad v 15. století nejvíce prosperoval.

O století později získává hrad Zdislav Berka z Dubé, jež tou dobou vlastní již panství zákupské. Zámek Zákupy se Zdislavovi pochopitelně jevil jako pohodnější příbytek, a tak význam hradu Milštejn rychle upadá. Vybavení takřka opuštěného hradu je záhy ukradeno a jeho postupné chátrání umocnilo ničivé tažení švédských vojsk.

Dnešní zřícenina Milštejn je tvořena výrazným skalním útvarem se zlomkem původního hradního zdiva. Pod hradem je několik podzemních prostor, jež byly v důsledku dolování pískovce zavaleny.

Těžba kamene nejprve probíhala jen v okolí hradu Milštejn, po jeho opuštění se ovšem stále rostoucí zájem o kamenec podepsal i na samotném hradu. Lom pohltil mnohé - i zdivo a část skály, na níž hrad stával. Obě původní hradní věže postupně zanikly, aby neohrožovaly dělníky při práci. Ti ještě během 19. století pomocí železných klínů ručně vyráběli a opracovávali přímo na místě na 600 kamenů ročně. Některé nedokončené mlýnské kameny jsou dodnes v okolí k nalezení.