De oudste geschreven bronnen die naar de Potterie refereren dateren van 1276. Twee documenten uit 1276 laten vermoeden dat een passantenhuis en een hospitaal op die plaats toen reeds goed functioneren. Lambrecht de Wulf en Colaert de Makelare verbinden zich ertoe om jaarlijks zes pond aan de Potterie te schenken. Deze verbintenis is neergepend in een oorkonde vóór de stadsschepenen op 11 oktober 1276. Maar in ditzelfde document wordt verwezen naar het feit dat de Potterie toen al bestond.
Op 22 december van hetzelfde jaar vraagt de toenmalige deken van het Sint-Donaaskapittel aan de bisschop van Doornik om zijn goedkeuring te verlenen aan de instelling, daarenboven wordt een officiële erkenning gevraagd voor een kerk, een kerkhof en twee klokjes. Blijkbaar was spoed nog niet bestaande want het akkoord van de Doornikse bisschop komt er pas in 1289. De aanstelling van een priester maakt het mogelijk om de instelling ook als een afzonderlijke parochie te laten werken.
Verschillende passantenhuizen zijn opgetrokken op invalswegen waarlangs reizigers en handelaars de stad binnenkomen. Ook Blindekens is zo’n voorbeeld. De nabijheid van het water van de Reie is hier bovendien essentieel om de werking als hospitaal te verzekeren.
Aan de Potterierei wonen en werken op dat ogenblik heel wat pottenbakkers, zoals verschillende archeologische opgravingen hebben aangetoond. Aan de overkant van de Potterie ligt de Wijc, een oud havengebied met scheepswerven.
Passanten en zieken worden aanvankelijk verzorgd door vrouwelijke leken. Financiële problemen noodzaken hen om de hulp van de stadsmagistraat in te roepen. Als oplossing stelt men voor om de Potterie te laten samensmelten met de stedelijke instelling ‘het Heilige-Geesthuis uit de Goezeputstraat. Deze caritatieve instelling, opgericht in de 13de eeuw, verleent hulp aan thuisblijvende arme en zieke mensen, de zogenaamde scamele huusweken, en staat onder rechtstreeks toezicht van de stadsmagistraat.
De broeders van het Heilige-Geesthuis vormen vanaf dan samen met de zusters van de Potterie een dubbelgemeenschap, met als naam hospitaal van de Heilige-Geest, dat men heet ter Potterie.
In de loop van de veertiende eeuw kent de Potterie een sterke ontwikkeling. Er wordt veel gebouwd en talrijke schenkingen verrijken het patrimonium. Vanaf 1410 reeds evolueert de instelling naar een bejaardentehuis, maar blijft ook onderdak verlenen aan passanten. Pas vanaf het midden van de vijftiende eeuw worden door de broeders en zusters professiegeloften afgelegd en dragen ze een eigen habijt.
Na de Franse revolutie verhuizen de bejaarden naar een nieuwe zaal. Geleidelijk aan worden er meer en meer zalen bijgebouwd. In 1976 worden ook deze vervangen door een nieuwbouw. Ook deze wordt afgebroken en in 2016 wordt het huidige WZC ter Potterie geopend.
Na de Belgische onafhankelijkheid wordt Brugge geteisterd door verschillende epidemieën. De slachtoffers worden door de zusters verzorgd in de Zeven Gaven langs de Potterierei. Ondertussen worden de gebouwen zoals wasserij en boerderij ook afgebroken. Vanaf begin 1970 wordt Ter Duinen, deel van het Grootseminarie, gebruikt voor de bewoning van de bejaarden. Vanaf dan worden ook mannen opgenomen in de Potterie.