Nejznámějšími vlastníky Svojkovského hradu byli Páni z Chlumu. Pamětní cedulka zde připomíná narození Jana z Chlumu, zvaného Kepka, který byl členem doprovodu Mistra Jana Husa na koncil do Kostnice. Během této cesty se Kepka stal Husovým přítelem a stoupencem, na koncilu svědčil dokonce v jeho prospěch, byť neúspěšně.

Svojkovský hrad byl během 16. století opuštěn a začal chátrat, jeho dřevěné části byly strženy a spáleny. Přesto dochované zdi a vytesané místnosti se schodišti po vnějším obvodu stavby působí romanticky a krásně dotváří kouzlo nedalekého parku.