C’est par une lettre patente de Louis XIV, qu’est autorisée en 1646, la construction d’une chapelle au Bureau des pauvres valides. Inaugurée en 1651, c’est une bâtisse de taille moyenne, d’environ 80 m2, avec une charpente en bois, aménagée à partir de bâtiments déjà existants et située en bordure de l’actuelle rue de Germont où se trouve son entrée dite « Porte des Dames ». Ce sont d’abord des religieuses de la congrégation des Filles de la Croix qui en sont chargées avant d’être remplacées, en 1714, par des religieuses de la Congrégation Notre Dame de Charité, fondée la même année. Elle comporte deux tribunes séparées pour les hommes et les femmes, car elle accueille également du public. Le niveau du rez-de-chaussée légèrement plus bas que celui de la rue rend l’église humide. Menaçant ruine et devenue dangereuse, elle est détruite en 1849 et remplacée par une nouvelle chapelle privée, située au rez-de-chaussée d’un nouveau bâtiment construit rue de Germont la même année, pratiquement à l’emplacement de l’ancienne, mais côté cour.
De cette chapelle privée qui est inaugurée en 1855 par Monseigneur l’Archevêque de Rouen, il ne subsiste plus que les trois colonnes d’entrée rondes en pierres qui servent désormais d’accès au service de dermatologie.