Další zkázu zámku způsobil velký požár, který v roce 1820 zasáhl město. Na konci 18. století byl pak na místě chátrajícího zámku postaven cukrovar, při jehož stavbě byl zámek téměř zničen.

Od roku 1995 se zbytky původního hradu upravují a jeho areál se využívá pro kulturní akce města. 

Zřícenina hradu Lipý vám představí unikátní gotické sklepy (mučírnu), 2 brány, část hradeb či trosky paláce. Hradní expozice pak nabízí ukázku toho, jak hrad vypadal v minulosti. Prohlídky probíhají každou celou hodinu.