Synagoga byla postavena na konci 19. století, ovšem původní plán vídeňského architekta Maxe Fleischera, který počítal s gotickým designem a dvěma vysokými věžemi, sklidil nelibost u tehdejší městské rady.

Problém byl zejména kvůli výšce věží, které by soupeřily s dominující katedrálou svatého Bartoloměje, ale také podobnost stavby ke křesťanským kostelům. Přepracování se tak ujal místní stavitel Emanuel Klotz, který synagoze snížil věže a dodal jí románské a orientální prvky.

Velká synagoga byla během druhé světové války využívána jako skladiště a poté dlouhou dobu chátrala. Poslední pravidelná bohoslužba se zde konala v roce 1973. Až v roce 1992, kdy byla synagoga prohlášena národní kulturní památkou, začaly částečné opravy. Další řadu oprav absolvuje do konce roku 2021, v současnosti je tedy veřejnosti nepřístupná.