Le gouvernement de l’Ontario crée un réseau de collèges communautaires en 1967. Un certain nombre de collèges, dont le collège Algonquin, à Ottawa, et le collège St-Lawrence, à Cornwall, offrent des programmes en français. Dès les années 1970, la pertinence du modèle de collège bilingue est remise en question et l’idée de créer un 23e collège en Ontario, de langue française, circule. 

La Cité collégiale ouvre ses portes à 2 300 étudiants en septembre 1990, dans des locaux temporaires du boulevard St-Laurent, à Ottawa. En 1993, le Collège fait l’acquisition, auprès du ministère fédéral des Travaux publics, des terrains de l’ancienne École des langues Carson, tout près de la promenade de l’Aviation. Les travaux débutent la même année et le campus permanent de La Cité collégiale est prêt pour la rentrée de septembre 1995. Situé sur 60 acres de terrain (environ 24 hectares), le campus compte à l’origine huit immeubles conçus par les architectes Brisbin, Brook, Beynon, Panzini, Paquet. Le concept proposé par ceux-ci avait pour thème l’affirmation d’une culture au sein d’une autre, et s’inspirait de La Cité collégiale comme symbole de l’identité franco-ontarienne enchâssée dans une collectivité plus vaste. 

En 2013, « le Collège modifie son image de marque avec un nouveau logo et une nouvelle marque », La Cité. Le nom officiel de l'établissement reste toutefois La Cité collégiale.