Postoji podatak da je Marija Terezija svojom odlukom 1753. godine dozvolila Jevrejima da žive u Zemunu i da imaju svoju opštinu. Pre toga se Jevreji u Zemunu nisu izjašnjavali, a od tada se spominju Aškenazi, nemački jevreji i Sefardi, turski Jevreji. Broj Jevreja u Zemunu se kretao u zavisnosti od opšteg stanja i odnosa između velikih sila. Najveći broj Jevreja bi dolazio iz Srbije bežeći pred turskim terorom i naseljavao se u Zemunu.
Sinagoga kakvu danas imamo je nastala 1850. godine i napravili su je Aškenazi.
Pored sinagoge je škola koja je takođe podignuta u tom periodu. Sefardi su podigli svoju sinagogu 1871. godi- ne, međutim ova sinagoga je 1944. godine porušena, ironije radi, od strane savezničkih bombardera. Broj Jevreja se u Zemunu posle Drugog svetskog rata sveo na minimum, dok su mnogi svoj dom potražili u novoosnovanoj državi Izrael. Jevrejska opština je zbog nemogućnosti održavanja 1956. godine prodala opštini Zemun sinagogu u ulici Rabina Alkalaja.
Treba napomenuti da je Rabin Juda Alkalaj (1798-1878), za vreme života u Zemunu napisao više važnih dela vezanih za život Jevreja, između ostalog i delo u kome piše o osnivanju Izraela i povratku Jevreja u Palestinu i sveti grad Jerusalim. Roditelji Doktora Teodora Hercla, tvorca novog Izraela, živeli su u Zemunu, a osnovnu ideju za stvaranje nove države može se reći poneo je odavde iz Zemuna. Danas se na zemunskom groblju mogu videti grobovi dede i babe čuvenog doktora Teodora Hercla tvorca savremenog Izraela.
