C'est dans cet établissement que Félix Gaillard séjourne à chacun de ses voyages pour étudier et visiter des sites mégalithiques. Il tombe amoureux d'Héloïse Le Bail, la fille de l'hôtelier et ils se marient le 15 juin 1857, 6 mois après la mort de G. Le Bail. Félix Gaillart a 25 ans et décide de reprendre l'hôtel du Commerce. Des célébrités s'y arrêtent : la princesse Bacciochi, cousine de Napoléon III, y descend en de nombreuses occasions, la comtesse de Ségur, ou même Sarah Bernhardt.  De 1864 à 1872, W.C. Lukis (archéologue, naturaliste et antiquaire britannique) vient prendant 2 mois, chaque été et travaille avec acharnement dans les mégalithes. Avec son ami Henry Dryden (noble britannique, géomètre, et dessinateur)  ils dessinent des plans méticuleux de tous les sites de la région. L'Hôtel du commerce  devient le quartier général et le point de départ des itinéraires décrits dans le "guide touristique des mégalithes" écrit par Lukis en 1875.

De tous les visiteurs connus qui fréquentent l'hôtel, le plus illustre est sans conteste sa majesté Dom Pedro, empereur du Brésil. En 1877, lorsqu'il rend visite à Felix Gaillard, celui-ci a déjà acquis une réputation en tant qu'archéologue. Son hôtel renferme le 1er musée mégalithique exposant des bijoux, de nombreuses poteries et quelques pierres en callaïs. Lorsque l'empereur se rend en train privé jusqu'à Auray, Félix Gaillard a déjà eu quelques escarmouches scientifiques avec le président de la société Polymathique* de l'époque qui ne l'apprécie guère et refuse son admission en tant que membre. 

*société savante créée en 1826 à Vannes. Son activité, qui depuis sa fondation a couvert de multiples domaines, se porte principalement vers l'histoire, l’archéologie, l’art et le patrimoine du département du Morbihan. (source : site web Société Polymathique du Morbihan)