La Iglesia de La Merced substituye a otro templo que estuvo ubicado en la intersección entre la Avenida Central y la calle 4 de San José, donde se levanta actualmente la sede central del Banco Central de Costa Rica. Esta primera iglesia surgió en 1816 por iniciativa de un grupo de vecinos de la villa de San José que deseaban erigir un oratorio dedicado a la Virgen de las Mercedes, patrona de la ciudad de Barcelona. Los vecinos recolectaron de su propio bolsillo el dinero y edificaron un templo de adobes y tejas en un sitio cercano a la antigua Factoría de Tabacos de San José.

En 1822, un terremoto produjo una grieta en la fachada de la Parroquia de San José, por lo que la Iglesia de La Merced se volvió el lugar elegido para asistir a los servicios religiosos. En 1824, el templo fue el lugar donde se hizo la juramentación de los miembros del Primer Congreso Constituyente del Estado Libre de Costa Rica. Tras la Guerra de la Liga, la imagen o una réplica de la Virgen de los Ángeles fue traída de Cartago y alojada en este templo hasta 1842, cuando fue devuelta a aquella ciudad.

En 1871, monseñor Anselmo Llorente y Lafuente promovió su restauración tras declararla temporalmente Catedral de San José. La reconstrucción finalizó en 1874 y en 1881, siendo obispo de Costa Rica monseñor Bernardo Augusto Thiel, se procedió a delimitar la jurisdicción de esta iglesia y la de Nuestra Señora del Carmen.

En 1888, fue destruida por un sismo. Para su reconstrucción, la Iglesia Católica y el Gobierno costarricense intercambiaron terrenos, por lo que La Merced sería reconstruida en el terreno que ocupaba el Teatro Municipal y en el lugar donde estaba la primera iglesia se edificó el Banco Central. Esta es la razón por la que la actual Iglesia de La Merced no se encuentra dentro del distrito Merced, cuyo nombre proviene del primer templo.

La construcción del primer templo inició en 1894, gracias a una donación del gobierno costarricense. El diseño arquitectónico, de estilo neogótico, fue decidido por los constructores, el ingeniero Lesmes Jiménez y el arquitecto Jaime Carranza, y por monseñor Thiel, como una respuesta a los estilos neoclásicos, barrocos y mediterráneos que predominaban en los edificios construidos por los liberales, dándose de esta forma un vuelco hacia el estilo más nórdico y medieval en la arquitectura de las iglesias. La construcción finalizó hacia 1907 con la colocación del reloj de la torre.