Gedurende de zestiende eeuw ervaarde de OLV-basiliek een tijd van spanning en verval. In deze eeuw werd de leer van Maarten Luther (1483-1546) en Johannes Calvijn (1509-1564) steeds populairder in Zwolle. Dit had tot gevolg dat de omstandigheden waaronder katholieken bij elkaar kwamen steeds onzekerder werd. Uiteindelijk leidde dit in 1590 tot het verbod op de uitoefening van het katholieke geloof in het openbaar. De Onze-Lieve-Vrouwe-kapel werd ontruimd en functioneerde van 1590 tot 1809 niet meer als gebedshuis, wel werden er waarschijnlijk nog begrafenissen gehouden [1].

Hoewel het gebouw niet meer gebruikt werd als kerk, kan men in deze periode het gebouw zeker niet bestempelen als ‘onnuttig’. In de twee eeuwen dat de kerk niet in het bezit was van de katholieken, heeft het gebouw meerdere functies gehad.

In de zeventiende eeuw profiteerde men van de grote dimensies van de kerk door de kerk als militaire opslagplaats te gebruiken. In de kerk werd in deze tijd militaire voertuigen en uitrustingen gestald. Niet heel verrassend was dan ook dat de kerk in deze tijd flink beschadigd werd: het in- en uitgaan van voertuigen en dieren zorgde ervoor dat de vloer in de kerk met de daarin ingevoegde grafstenen ernstig versleet. Daarnaast waren er in 1612 ook nog poorten uitgehouwen in de muren van de dwarsbeuken, waarvan tot op de dag van vandaag nog sporen van zijn te vinden [2].