Podle legendy, když zeď vznikala, panoval v Praze hladomor (vypukl v roce 1361) a Karel IV. na její výstavbu zaměstnal městskou chudinu, které tím pomohl k obživě. Proto se zdi prý začalo říkat „Hladová“. Ve skutečnosti byl však záměr výstavby zdi čistě strategický, nehledě na to, že hladomor přišel až poté, kdy zeď již byla rozestavěna.

Jedna z dochovaných předsunutých věží je součástí hlavní kopule dnešní Štefánikovy hvězdárny.