Mikulov v minulosti představoval centrum moravských Židů. Místní ješiva byla proslulá a těšila se mimořádnému věhlasu. Od poloviny 16. století do roku 1851 byl i sídlem moravských zemských rabínů. Působili zde rabíni Jehuda Löw ben Becalel (Maharal), zvaný rabi Löw, významný učenec, pedagog, kabalista, podle pověsti tvůrce Golema a David ben Avraham Oppenheimer, původem z Wormsu. Oba se stali vrchními pražskými rabíny.
Židovská čtvrť se nachází na Zámeckém vrchu. Dochovalo se z ní na 90 domů, polovina z nich je státem chráněnou kulturní památkou. Horní synagoga, přestavěná na barokní, pochází z roku 1550.
Židovský hřbitov byl založen v 15. století. Nalezneme na něm 4000 náhrobků, nejstarší čitelný je z roku 1605. Na rabínském vršku jsou pochováni proslulí rabíni, jako Menachem Mendel ben Avraham Krochmal, původem z Krakova (autor systému zákonů Shai takanot) a Šmu'el Šmelke ben Hirš ha-Levi Horovic s Mordechajem ben Avrahamem Benetem, od nichž se odvozují dvě slavné chasidské dynastie v USA. Hroby rabínů jsou uctívány návštěvníky z celého světa.
V Mikulově se narodil právník a spisovatel Josef von Sonnenfelse nebo publicista a básník Hieronymus Lorm (Heinrich Landesmann), autor Lormovy dotykové abecedy pro hluchoslepé.