Na poměrně nepřístupné skále byl zhruba ve 13. století postaven hrad zvaný Chlum, pravděpodobně na popud rodu Markvarticů. Jméno Kozlov patřilo zdejšímu kopci a nakonec se vžilo i pro skalní hrad.

Historie hradu Chlum-Kozlov je poměrně nejasná. Posledním držitelem skalního hradu byl v roce 1362 Hynek z Lomnice, jenž byl příslušníkem známého rodu Valdštejnů. Další zprávy o hradu mlčí, a tak se předpokládá, že velmi brzy poté zpustl a zanikl.

Dnes zde najdeme pouze skromné pozůstatky skalního hradu Chlum-Kozlov. Patrné jsou světničky, studna a sklepy vytesané do skály, nad nimiž byly vystavěny dřevěné budovy hradu.

Ke skalnímu hradu Chlum se dostanete pěšky z obce Všeň, anebo od hradu Valdštejn, a to po žluté turistické značce.