10 文章中の単語の出現頻度ランク列における負の相関

水口毅,山本卓也(大阪府立大),鈴木岳人(青山学院大)

Zipf則は文章中の単語の出現頻度とそのランクの間に成り立つ分布則であるが,単語の順番については何も述べていない.しかし,文章が意味を成すためには単語の順序も重要である.今回我々は単語の順序に関する解析を行った.英文文章を構成する単語列を出現頻度のランク列に変換し,その帰還写像を解析したところ,頻出単語と希少単語が交互に出る傾向があることが明らかになった.この傾向は英語以外の文章でも見られることが判明した.