1599年(慶長四)横山山城守長 知(ながちか)が寺地を今の所に拝領して建立した。建立年代は『寺記』では1599年と されているが、『寺社由緒書上』(じしゃゆいしょかきあげ)『皇国地誌』(こうこくちし)では1617年(天和三)と されている。『皇国地誌』には河北郡上田上村(かほくぐんかみたがみむら)に松山寺の寺跡として墓所が在るとされ、また、河北郡鈴見(かほくぐんすずみ)の山には松山寺の開山墓があるとされている。
横山長知は幼少の頃丹波の円通寺に入り網天宗祝(もうてんそうしゅく)和尚の元で学問に励み、その後、越前大野に移ってからも岫慶寺(しゅうけいじ)にて網天和尚の元で同様に学問に励んだ。長知が松山寺を建立する際、長知は網天和尚に開山を依頼するのだが、これが叶わず、網天和尚より同学の融山泉祝和尚を薦められ、融山和尚によって開山される。 寺号の『松山寺』は長知の父、長隆の戒名であった『長隆院殿松山峰祝大居士』(ちょうりゅういんでんしょうざんほうしゅくだいこじ)から採ったものである。 境内に長知が1619年(天和五) 塔頭(たっちゅう)『栄寿院』(えいじゅいん)夫人(前田源峰の妹)の三回忌にあたりその菩提のために建立されたが、1873年(明治六)官命によって廃止された。 金沢市寺町に在る円通山融山院は1623年(天和九)開山融山和尚が松山寺をしりぞいた後、長知の邸内に庵をもっていたものが、1667(寛文七)四世道海正播(どうかいしょうばん)和尚の時、寺地を拝領して現在の地に移した。 越前南條郡湯尾村(なんじょうぐんゆのおむら)に在る融峰山龍洞院は第七世刀外智単(とうがいちたん)和尚が創建した松山寺の末寺である。
創建当時の本堂は1759年(宝暦九)金沢城下の大火に遭い焼失した。 現在の本堂は1788年(天明八)横山家九世隆従(たかより)が八世隆達(たかあきら)の十三回忌法要にあたり再建したものである。本堂の正面には広縁をとり、前面三室境に大虹梁(だいこうりょう)を架け渡し開放する造りであるが、当時としては進歩的な建物といわれている。また、内陣(ないじん)と同様に大間にも折上格天井(おりあげごうてんじょう)が用いられていることは珍しいとされる。
本堂奥に在る開山堂は1913年( 大正二)横山家第十三世横山隆平(よこやまたかひら)、叔父の横山隆興(よこやまたかおき)によって改築寄付された ものである。開山融山和尚の霊牌を安 置してある。 開山堂の両翼にある建物の正面左側は第十三世横山隆俊が二世長知を始め、歴代の祖を祀るために建立したもので、右側の建物は、第十二世の三男の長男章が父隆興を祀るために建立したものである。 現在金沢市内にある寺院の中でもこの様なお霊屋(たまや)をもつ寺は少なく、これらの建物から当時の横山家の隆盛を伺える贅沢なものである。