Hrad Rýzmberk byl vybudován ve 13. století pravděpodobně na přání krále Přemysla Otakara II. Jeho účel byl ale jasný - měl strážit Všerubský průsmyk, kudy procházela důležitá zemská stezka vedoucí do bavorského Řezna. Jak bylo tehdy módním zvykem, získal hrad název německého původu - Rýzmberk, v překladu Obří hora.

Hrad Rýzmberk byl během 15. století výrazně rozšířen a opevněn. Tehdy Rýzmberk odolal i husitské armádě. V 17. století byl přeci jen dobyt, byť se tak stalo lstí císařské armády, respektive jejich vojevůdce dona Baltazara Marradase. Ten během obléhání hradu roku 1620 nařídil hrstce svých mužů, aby bubnovali a pokřikovali tak silně, že v posádce Rýzmberka vyvolali představu několika set hlavé armády. V domnění přicházející katastrofické hrozby se tak raději vzdali bez boje.

Ovšem skutečná pohroma přišla až o pár let později - švédská armáda. Ti se hradu Rýzmberk zmocnili jen na krátko, za tu chvíli ale stihli napáchat obrovské škody. Švédy byl Rýzmberk roku 1641 vypálen. A hned v roce 1655 byla zkáza dokonána. Na základě nařízení Ferdinanda III. o likvidaci hradních pevností, které by mohly být zneužitelné cizí armádou, byl hrad Rýzmberk zničen.

Od té doby je uváděn jako zřícenina, které znovu vdechl život až romantismus 19. století. Tehdy vznikla rozhledna, hospoda, a ještě později i amfiteátr.