論文"Rethinking the Relationship between the Power Law and Hierarchical Structures"がTransactions of the Association for Computational Linguisticsに採択された[1]．
ざっくり言うと，言語に普遍的に見られるとある統計的性質に関する仮説の妥当性を，現実の言語データに照らして検証し，否定的な結果を得た，という研究である．言語においては，単語や文字といった要素の間の相関は，それらの間の距離，つまり間にある単語や文字の個数が大きくなるにつれ，冪関数的に減衰することが知られている．これは直観的には，ふたつの要素がどれだけ離れていてもそれらの間の相関が無視できない，ということを意味する．言い換えると，これくらいまでは相関が働くという長さのスケールが無限大に発散している．なぜこのような現象が言語に見られるのか．
Lin & Tegmark (2017)（以下LH）は，この現象を言語の背後にある階層構造に結びつけて説明した[2]．彼らによれば，文字列の背後には階層的な構造があり，その構造の中では相関のスケールは別に発散していない．しかし，ふたつの要素の間の距離は，構造上で見ると，文字列上で見るよりもずっと短くなっている．そのため，文字列上で見ると，相関のスケールが発散する．彼らはさらに，階層構造を表現するシンプルなモデルである確率文脈自由文法（probabilistic context-free grammar, PCFG）においてこのシナリオが成り立つことを証明した．この研究以来，相関の冪関数的減衰は，背後に階層構造があることの証拠とみなされてきた．
ところが，この仮説はきちんと検証されてこなかった．そこで我々は現実の言語データに基づいて仮説の妥当性を検証した．言語の背後にある階層的な構造の代表例は文法構造である．幸い，文法構造のデータはけっこう整備されており，かなり大きなデータも公開されている．それを解析して統計的性質を調べてみると，あらゆる点で仮説と異なっていた．文法構造上でも相関のスケールは発散していたし，要素間の距離は文字列上でも文法構造上でもあまり変わらなかったし，文法構造の統計的性質はPCFGのそれから大きく隔たっていた．したがって，言語においてなぜ相関が冪関数的に減衰するかという問題は，再考される必要がある．
さて，より詳細な内容については論文を読んでもらうことにして，以下では，この研究がどのように始まって論文化されるに至ったかという裏話を書きたい．そんなことを書こうという気を起こした動機はふたつある．ひとつめの動機は，この前の物理学会での雑談中，「皆もっとそういう話をブログとかに書いたほうがいい」という話になったからである．ふたつめの動機は，ここ数年，書くものと言えば論文や研究計画書の類ばかりになっていて，たまには学術的でない文章も書きたくなったからである．そういう動機があるので，あまり肩肘張らずに気楽に書く．
この研究はけっこう紆余曲折あった．そもそもの始まりに遡ると，僕はいわゆる普通の言語ではなく，上でも登場したPCFGという数理モデル（正確には，それをさらに拡張したような統計物理学モデル）を研究していた[3]．そのあと，PCFGを拡張した確率文脈依存文法（probabilistic context-sensitive grammar, PCSG）というモデルの研究を始めた．ところで，PCFGは元を辿ると自然言語の文法構造を表現することを意図して導入されたモデルなのだが，実際にはあまりうまく表現できないことが経験的に知られている（今回採択された論文の結果は，この経験的知見を統計解析によって定量的に裏付けるものでもある）．ではPCFGの拡張であるPCSGはどうなのかというと，これもどうやらあまり良いモデルではないらしいのだが，ほとんど研究されていない．そんなわけで，PCSGと言語の相違が気になってきた．
そこで2023年の夏学期，大関洋平さんに，「PCSGと言語の統計的性質の違いが気になってるんですよね」という話をした．当時僕は統計物理学の研究室である福島孝治研に所属していたのだが，言語に興味があったのでお隣の専攻の言語学の講義も受講しており，その講師が大関さんだった．大関さんは，彼の研究室に所属していた吉田遼さんを紹介してくれた．吉田さんは自然言語処理が専門で，文法構造の解析もできる．そういうわけで，僕がPCSGの解析をし，吉田さんが文法構造の解析をする，という体制になった．
それにしても，今思い返してみると，吉田さんはよく研究に加わってくれたなと思う．今でこそお互いのことを知っているが，当時の吉田さんからしたら，僕は物理学の研究室にいるのになぜか言語学の講義にやってきて，言語のモデルなんだか物理のモデルなんだかよくわからないものを解析している人間である．なぜ興味を持ってくれたのか．不思議である．
話を戻そう．吉田さんという共同研究者を得てPCSGと文法構造の解析結果が揃ったので，それらをまとめて計算言語学の会議に出そうということになった．そのためにはリサーチクエスチョンを設定する必要がある．ここで，LHの仮説の検証というテーマがでてくる．素朴に，PCSGと文法構造の比較をテーマに論文を書けばよいのではないか，というとそうではない．上でも述べたが，PCSGは「どうやら言語のモデルとしてはあまり良くないらしいのでほとんど研究されていないモデル」なのである．そのため，「PCSGと言語を比較しました」と言って計算言語学の会議に持っていっても，十中八九「なんでわざわざ比較したの」と返されるわけである．そこで，計算言語学分野に響きそうなものということで，LHの仮説の検証というテーマが捻り出された．
査読の結果は，そう難しい会議ではなかったにも拘らず，箸にも棒にもかからない感じだった．一応LHの仮説と食い違いそうな結果が見えていたのでそういうテーマを設定したわけだが，言ってしまえば後付けだったので，テーマと解析がいまいち噛み合っていなかった．LHの仮説の検証が目的だとするなら，PCSGを解析する動機もよくわからない．そもそも解析がいろいろと粗くもあった．
どうもこの路線は厳しそうだということで，PCSGの話と文法構造の話を切り離すことにした．まず，PCSGは言語のモデルというよりはそういう数理モデルないし物理モデルだということにして，PCSGの解析結果だけをまとめて物理学の雑誌に投稿した．こちらは一足先に出版されている[4]．
そして，LHの仮説の検証をリサーチクエスチョンとしたうえで，もう一度，言語の文法構造をちゃんと解析し直すことにした．LHの仮説が成り立つのに必要な仮定を整理し，それらをひとつひとつ文法構造の振る舞いと照合していった．データを処理する際に言語学的妥当性をもう一歩踏み込んで考える必要が生じて，吉田さんと同じく当時大関研に所属していた梶川康平さんが新たに研究に加わった．
こうしてできあがったのがこの研究である．大関さんに話を持ちかけた時から数えると，出版までに3年かかっている．ずいぶんかかったが，その甲斐あってけっこう良い研究になったのではないかと思っている．言語の冪関数的振る舞いは非常に良く研究されているのだが，大概は，単に冪関数的振る舞いを観察するか，トイモデルを用いて議論するかの二択であり，背後にあるメカニズムをデータに基づいて問うた例はほとんどない．この研究はそこに踏み込めていると思う．それが可能になったのは，吉田さんと梶川さんという自然言語処理分野の研究者と出会えたことが大きい．彼らと出会う前の僕には，現実の言語データを解析するという発想も手段もなかった．共同研究は大事である．