Roku 1302 Vítkův kámen získali Rožmberkové, kteří zde v roce 1394 věznili krále Václava IV. Rožmberkům hrad patřil (s krátkou přestávkou v období husitských válek) do začátku sedmnáctého století.

Vítkův hrádek byl používán asi do poloviny 18. století, poté co vyhořel a osiřel. V roce 1869 hrad nechali zčásti opravit Schwarzenbergové, kteří také hradní věž (největší dochovaná obytná věž v ČR) upravili na rozhlednu.

Po 2. světové válce sloužil Vítkův kámen jako vojenská pozorovatelna v pohraničním území. Po roce 1989 zřícenina v havarijním stavu připadla obci Přední Výtoň a po statickém zajištění roku 2005 byla zpřístupněna veřejnosti.