Roku 1302 hrad získali Rožmberkové, kteří zde v roce 1394 věznili krále Václava IV. Rožmberkům patřil (s krátkou přestávkou v období husitských válek) do začátku sedmnáctého století.

Vítkův hrádek byl používán asi do poloviny 18. století, poté co vyhořel i osiřel. V roce 1869 hrad nechali zčásti opravit Schwarzenbergové, kteří také hradní věž (největší dochovaná obytná věž v ČR) upravili na rozhlednu.

Po 2. světové válce sloužil Vítkův kámen jako vojenská pozorovatelna v pohraničním území. Po roce 1989 zřícenina v havarijním stavu připadla obci Přední Výtoň a po statickém zajištění roku 2005 byla zpřístupněna veřejnosti.