Zámek vznikl na místě původní gotické tvrze, z níž je dodnes dochované sklepení a západní křídlo. Tvrz, stejně jako celá obec Libeň, patřila ve 14. století bohatému měšťanskému rodu Rotvelů. V roce 1595 tvrz zakoupila jistá Eliška Hoffmannová, která na jejích základech nechala vystavět barokní zámek.

Libeňský zámek pamatuje také velké dějinné události - roku 1608 zde byl podepsán Libeňský mír, jímž Rudolf II. v zájmu zamezení konfliktu přenechal svému bratru Matyášovi oblast Uher a Rakous.

Když do Prahy vtrhla pruská vojska během sedmileté války, zámek a jeho okolí byla zdecimováno. V té době zámek patřil Starému městu pražskému. Proto se tehdejší primátor Václav Fridrich z Friedenbergu rozhodl pro rokokovou přestavbu zámečku a spolu s ní obnovil i kapli Početí panny Marie s freskami od malíře Ignáce Raaba. Z interiéru zámku toho mnoho nezbylo, ovšem právě tyto fresky se dochovaly do dnešních dnů. Přestavbu financovala Marie Terezie, která mimochodem také na zámku příležitostně pobývala.