第2回勉強会

投稿日: 2015/10/27 4:15:16

日時：2015年11月20日(金) 17:00-19:00

場所：国立情報学研究所 1904室 (19F)

発表者: 田然 (東北大)

タイトル: 加法構成のメカニズム

概要: 機械学習における汎化誤差は、BiasとVarianceに分解できる。Biasは無限の訓練事例を仮定した時にモデルの限られたキャパシティに起因する、「完全に学習しきれない」誤差である。一方でVarianceは、有限個の訓練事例にオーバーフィットすることで生じた誤差である。これまで、フレーズの意味を表す分散表現を構成する手法は数多く提案されたが、「コーパスに現れているフレーズ（とその周辺文脈）」だけを訓練事例にすると非常にスパースゆえオーバーフィットの恐れがある。機械学習の言葉で言い換えれば「Varianceが大きい」のである。逆に、単語ベクトルからフレーズの意味表現を「構成」するアプローチでは、単語がフレーズより遥かに豊富なため単語ベクトルのVarianceが小さい。では、その構成手法のBiasはどうか？これは構成的分布意味論を機械学習の観点から考える上では基本かつ重要な問題であろう。今回は、広く使われている加法構成に関して、そのBiasの上界が証明できたことと、そこから得られた一連の知見を紹介する。

発表者: 持橋大地 (統数研)

タイトル: テキストの対数線形モデルによる教師なし正規化 (論文紹介)

概要: "gimme suttin 2 beleive innnn." のような文を、教師なしで "give me something to believe in."に変換することのできる、Yang and Eisenstein (2013)の "A Log-Linear Model for Unsupervised Text Normalization" の論文を紹介します。

これは観測文sに対して最も高い確率を与える文tを探索する問題と考えることができますが、1) 対数線形モデルの計算に必要な期待値が二重にネストしていること、2) ラベル=単語種がきわめて大きいために、通常の動的計画法がまったく使い物にならないこと、という問題があります。これに対し、論文ではSequential Monte Carlo法を上手に用いることで、上記の二つの問題をエレガントに解決しています。問題が重要なことに加え、この方法は他の自然言語処理のタスクにも使える方法だと思いますので、この論文紹介を選びました。

論文は

http://www.aclweb.org/anthology/D13-1007

にあります。