При тюремном замке, стоящем на Рыбной площади, в районе Михайловской улицы (ныне Шевченко) и Дворцового переулка (ныне Некрасовский) в 1806 была устроена Покровско-Острожная церковь. В церкви проводили службы, богослужения, читались проповеди и молитвы, крестили детей и отпевали умерших, а одно время и регистрировали браки. Церковь обслуживала не только узников, но и местное население. После того как острог закрыли и перевели в новое отстроенное здание тюрьмы, помещение использовали под больницу. Впоследствии на этом месте долго стояла колонна с крестом.