Au 14ème siècle, est construit le troisième et dernier élargissement de la ville de Rouen pour cette période. Au niveau de ce que l’on a appelé à une époque les terrains maraîchers de l’Hospice Général (jadis baignés par une déviation du Robec), l’enceinte est alors composée de simples palissades, car dans cette zone marécageuse, les attaques ne sont guère craintes.
Dès le début du 15ème siècle, en 1408, la pierre remplace le bois et la Tour du Colombier est la première tour à sortir de terre pour compléter les fortifications. Construite sur pilotis, d’un diamètre de 9 mètres, comportant un rez-de-chaussée et deux étages, elle est « ronde par dehors et en pente par-dedans » telle que décrite dans les documents contemporains. La plateforme du sommet est entourée de gargouilles et de mâchicoulis, des pièces d’artillerie y étant installées plus tard. Car devant les progrès de ce type d’armement, il est décidé, au début du 16ème siècle, entre 1514 et 1547, de construire une deuxième tour, d’un diamètre de 30 mètres, avec des murs d’une épaisseur d’environ 5 mètres, percés de meurtrières et englobant la première tour aux deux-tiers. Un radier, sorte de plateforme à canon, est élevé en 1584 près de cette 2ème tour, complétant l’ensemble et affirmant ainsi son rôle défensif et militaire. Au fil du temps, d’autres modifications sont apportées : une tourelle d’escaliers côté nord élargissant le diamètre de la tour ainsi qu’un cavalier (élément de fortification permettant de placer de l’artillerie à un niveau plus élevé que les murailles).
Durant la Guerre de Cent ans cette tour ne sera pas directement attaquée par les anglais lors du siège de la ville, un chroniqueur rapportant même que ses canons ont mis hors d’usage les canons anglais. Elle ne sera prise d’assaut et partiellement démantelée qu’une seule fois dans toute son histoire, en 1562, lors du siège de Rouen par les troupes du roi Charles IX. En partie démolie en 1748, elle entre alors dans les donations faites au Bureau des Pauvres Valides, futur Hospice Général. Puis, elle est définitivement rasée en 1812. Au début du 19ème siècle, une sorte de pavillon à pans de bois est construit sur ses fondations qui servira d’abord à loger des infirmières, puis des internes à partir de 1977. Ce bâtiment est encore aujourd’hui l’Internat du CHU de Rouen.
Le nom de Tour du Colombier provient d’un colombier situé dans le domaine de Chantereine appartenant au duc de Normandie sis sur ce lieu bien avant la construction des fortifications