De stichting van het Hospitaal van Onze-Lieve-Vrouw ter Potterie dateert van het einde van de 13de eeuw. De verering van het mirakelbeeld van Onze Lieve Vrouw bezorgde de kerk een bedevaartstatuut.
De Potterie is niet het oudste hospitaal. Een eerste reeks dienstverlenende instellingen werd opgericht in de 12de eeuw. De bekendste is het Sint-Janshospitaal waarvan het oudste document refereert naar 1188. In diezelfde eeuw werd het Magdalenagasthuis (leprozentehuis) gesticht waar nu het Zand is. Op het einde van de 13de eeuw verhuisde het naar de Magdalenastraat te Sint-Andries (Brugge). Het Heilig-Geestgasthuis (Goezeputstraat), het Sint-Juliaansgasthuis (Boeveriestraat) en Sint-Joos dateren van dezelfde periode.
De Potterie was vooral een opvanghuis voor de opname van pelgrims en voor de opvang van arme zieken. De "rijke zieken" werden thuis verzorgd. Hoe dan ook een dak boven het hoofd, eten, drinken en warmte was het eerste doel van een verblijf in dergelijk hospitaal. En laten we eerlijk zijn, de gezondheidszorg was niet van die aard dat je er echt kon genezen.
Wanneer de Potterie wordt gesticht ligt het nog steeds buiten de eerste stadsomwalling. Pas op het einde van de 13de eeuw wordt deze uitgebreid. In 1290 bekostigde de stad een deel van de bouw van een kapel. Maar pas in 1354 werd het oude hospitaal vervangen door een nieuw gebouw. Vijf jaar later werd de kerk herbouwd tegen het nieuwe hospitaal. De ziekenzaal gaf dus uit op de kerk en de zieken en ouderlingen konden de vieringen die in de kerk plaats hadden volgen.
Passanten en zieken worden aanvankelijk verzorgd door zusters. Financiële problemen noodzaken hen om de hulp van de stadsmagistraat in te roepen. Als oplossing stelt men voor om de Potterie te laten samensmelten met de stedelijke instelling ‘het Heilige-Geesthuis uit de Goezeputstraat. Deze caritatieve instelling, opgericht in de twaalfde eeuw, verleende hulp aan thuisblijvende arme en zieke mensen, de zogenaamde scamele huusweken, en stond onder rechtstreeks toezicht van de stadsmagistraat.
De broeders van het Heilige-Geesthuis vormen vanaf dan samen met de zusters van de Potterie een dubbelgemeenschap, met als naam "hospitaal van de Heilige-Geest, dat men heet ter Potterie".
In de loop van de veertiende eeuw kent de Potterie een sterke ontwikkeling. Er wordt veel gebouwd en talrijke schenkingen verrijken het patrimonium. Vanaf 1410 evolueert de instelling naar een bejaardentehuis, maar blijft ook onderdak verlenen aan passanten. Pas vanaf het midden van de vijftiende eeuw worden door de broeders en zusters professiegeloften afgelegd en dragen ze een eigen habijt.
In 1529-1530 wordt de hospitaalvleugel gewijzigd en de kerk en de ziekenzaal van elkaar gescheiden. Op het einde van de 16de eeuw verdwijnen, net zoals in het Sint-Janshospitaal, de broeders uit de gemeenschap en van dan af zijn het zusters Augustinessen die instaan voor de verzorging van de bejaarden. Het complex wordt in 1623-1625 uitgebreid met een Mariakapel, speciaal opgericht ter ere van de devotie van het veertiende of dertiende eeuwse beeld dat hier wordt bewaard.
Net zoals bij de andere caritatieve instellingen is het beheer van deze instelling met de Franse revolutie in 1797 overgedragen aan de Commissie voor Burgerlijke Godshuizen (het huidige O.C.M.W.). De functie als bejaardentehuis werd toen verder uitgebouwd.
In 1880 restaureert architect Karel Verschelde (1842-1881) de gebouwen en een deel ervan wordt ingericht als museum. Er wordt ook nog een bescheiden kunstgalerij bijgebouwd om de kunstwerken, die vanaf de negentiende eeuw in de gebouwen zijn bijeengebracht, tentoon te stellen.
Pas in 1976 worden nieuwe ruimere vleugels bijgebouwd in functie van het bejaardentehuis, dat vandaag aan ruim tweehonderd bewoners onderdak biedt. Nog steeds zijn de zusters Augustinessen betrokken bij de instelling, die beheerd wordt door het O.C.M.W..
Ondertussen is ook het deel van 1976 voorbijgestreefd en is er nieuwbouw die in 2015 haar deuren opent.