Cette immense propriété a été construite en 1915 sur le site d’une des premières maisons bâties en face de l’église. Une première vente de cette première maison est enregistrée en 1887 par Herménégilde Ruel à Damase Ruel. Mme Marie Audet Brown l’achète en 1909 de Jean-Baptiste Lacroix et c’est elle qui la fera déménager au coin de la rue Principale et de la rue Canac-Marquis vers 1914 pour ériger l’actuelle résidence. La maison déménagée a été habitée par Onésime Beaudoin et Émélie Chabot, la sœur du Dr Chabot, et par la suite par Mlle Zéphira Roy, enseignante retraitée célibataire qui possédait un magnifique jardin décoré de fleurs. Cette maison est disparue aujourd’hui pour faciliter l’entrée sur la rue Canac-Marquis.
Marie Audet, fille de Jules et sœur du boulanger Fortunat Audet, avait épousé Joseph Brown, marchand général du magasin situé au quatre-chemins de Sainte-Claire en 1884. Marie décide en 1915 de construire cette monumentale maison comme résidence privée.
Texte Mario-Georges Fournier, décembre 2023