FAQ (Japanese)

Q1: Koide-Majima論文の新規点はなんですか？

A1: Koide-Majima論文の新規点は大きく2つあります。まず一つ目は、画像の種類を制限することなく、心に思い描いている画像を脳信号から読み出し、可視化（復元）したことになります。想像している画像の復元は、目で実際に見ている画像の復元に比べ難しく、長年の課題となっていました。また、過去の研究では文字や単純な幾何学図形など限られた種類の画像でしか成功例がありませんでした（Senden et al., Brain Structure & Function, 2019; Shen et al., PLOS Computational Biology, 2019; Lee & Kuhl, Journal of Neuroscience, 2016）。 Koide-Majima論文では、画像の種類を限定することなく、想像している画像の復元を試み、ある程度の精度で画像として復元することに成功しました。

二つ目に、先行研究（Shen et al., 2019）の方法を改善し、新しい画像復元の方法を発案したことがあげられます。Koide-Majima論文の研究ではまず、想像している画像の特つ特徴（色、形、質感、概念など600万個以上の多数の特徴）をfMRIで測った脳の信号から推定します。この推定には従来の研究でも使われる標準的な方法を用いました。そして、推定された特徴に合う画像を生成系AIに描かせることで、想起画像の復元に成功しました。この後半の作業では、脳由来の情報と生成系AIとをうまく組み合わせるための工夫が必要であり、ベイズ推定とランジュバン動力学法という数理的な方法でこれを行いました。ベイズ推定の有効性については、Koide-Majima論文の図6において検証しています。

Q2: Shen et al. (2019)と比較した、Koide-Majima論文の新規点はなんですか？

A2: Shen et al. (2019)の方法では心に思い浮かべた単純な幾何学図形（バツや四角など）を復元することができますが、一般の自然画像（みなさんが日常的にみるような画像）を対象に想起画像を復元することはできませんでした。Koide-Majima論文ではそれが可能であることを示しました。Shen et al. (2019)と同一の脳信号データを用いて検証を行ったため、被験者や計測方法の差ではなく、本論文で新たに工夫した画像復元の方法（ベイズ推定とランジュバン動力学法を組み合わせた画像の復元方法）が寄与していると考えられます。

Q3: 復元画像の精度評価はどのように行っていますか？

A3: 「復元画像を参照することで元の画像（被験者の思い浮かべる対象とした画像）を当てることができるか」という二択の選択問題を判別アルゴリズムに課し、その正答率で評価しています。Koide-Majima論文の目的は自然画像を対象とした復元であるため、自然画像のみを対象に正答率の評価を行ったところ、75.6%となり、50%を明らかに超える正答率を確認しました。この正答率の算出には、復元が容易である幾何学図形は一切含まれておらず、厳しい条件下で評価した結果となります。一方で、同一の方法で従来法（Shen et al., 2019）による復元画像を評価したところ、正答率は50.3%でした。

この精度評価の方法は過去の研究でも用いられています（Lee & Kuhl, Journal of Neuroscience, 2016）、また、異なる手法間で比較が公平になるよう、各復元手法に合わせた判別アルゴリズム（復元手法内で使われた画像類似度指標と同じ画像類似度指標に基づく判別アルゴリズム）で評価をしています。これに加え、Koide-Majima論文では多角的な評価を行う目的で、Inception Scoreを用いた画像の自然さの評価も行っています。

Q4: 復元画像の精度評価に人手による評価・アンケートは用いないのでしょうか？

A4: 人手による精度評価は、評価をする人の母集団の性質により結果が大きくことなってしまうという問題があります。もし集中力の高い人々が行えば精度が高くでますし、指示を理解できない赤ちゃんが行った場合、チャンスレベルになります。そのため、再現性の問題を考慮し、Koide-Majima論文では人手による評価方法は採用しませんでした。ただし、これは人手による評価方法を否定するわけではなく、多角的な評価が望ましいと考えています。実際、我々も人手による評価の準備をしていましたが、論文の査読過程においても全く要求されたなかったため、現在の論文では人手による評価結果が含まれていません。本論文の査読に関わった5人の査読者は、現在論文に載せている評価結果のみで十分復元精度が保証されているという見解のようです。

Q5: Koide-Majima論文において、比較対象としたShen et al. (2019) の方法はちゃんと再現できているのでしょうか？

A5: はい、そのはずです。忠実にShen et al. (2019) の方法・結果を再現するために、Koide-Majima論文では、京都大学神谷研究室により公式公開されているコード、デコードされた画像特徴量を用いて検証を行いました。このことはKoide-Majima論文のメソッド欄にも明記されています。Shen et al. (2019) のコードとその実行結果に関心のある方は、下記のGitHubサイトをご覧下さい。

https://github.com/KamitaniLab/DeepImageReconstruction

Q6: メンタルイメージを復元していく過程の動画はどこでみれますか？

A6: 次のリンク先で鑑賞することができます。Mental Image Reconstruction from Human Brain Activity

Q7: 興味を持ちそうな子供や学生にこの研究を紹介したいのですが、教材として画像や動画を利用することは可能でしょうか？

A7: はい。本論文や本サイトの内容はCC BYのライセンスに従って公開しています。そのため、出典の記載をしていただければ、図・動画の利用が、改変や商用利用も含め、可能となっています（許可を尋ねる必要もありません）。出典の記載を忘れずにお願い致します。

出典表記例：

Koide-Majima et al., Neural Networks. 2024.

Koide-Majima, Nishimoto, Majima. Neural Networks. 2024.