具体的な内容：  

●AIは脳を真似てできている！

AI研究の始まり「人工ニューロン」や，AIにおける「学習」の解説，さらにさまざまな深層学習モデルをイラストで解説することで，現代のAIのしくみの基礎を学びます

●トランスフォーマー超入門！

ChatGPT（大規模言語モデル）のしくみを解説します。実践編として生成AIで研究の効率を高めるコツもお伝えします。

日程：

12月8日（月）10:30 ~ 12:00（90 min）

参加費：

無料です！

ご質問への回答：

ウェビナーへのご参加ありがとうございました。当日お受けしたご質問に対しての回答は以下の通りとなります。

＝＝＝

【出席者】      11:19

本日のスライドは頂けますか。

【渡辺】

申し訳ありません。本日のスライドは非公開とさせていただきます。もしなんらかの記録をとられた場合でも個人的な学習の目的以外では非公開としてください。

次回のウェビナーではスライドの公開と動画の記録の配信を積極的に検討させていただきます。

＝＝＝

【出席者】     11:22

トークン列が長くなると限界が来るとおっしゃっていましたが、どのようにして対応するのですか。ChatGPTなら、ある程度で新たなチャットを始めるということでしょうか。

【渡辺】

その通りです。

ChatGPTでしたら「ここまでのチャットの要点をpdfにまとめてください」として、チャットの要点ファイルを作ります。pdfではなくtxtファイルでもいいです。その上で要点ファイルを新しいチャットに投げ込み「添付ファイルの続きを議論しましょう」と始めます。

プログラミングコードの場合、コードの修正をお願いするたびにチャットがどんどん長くなりますので、最終コードを新しいチャットに投げ込んで再スタートをします。

そのうち、このあたりも自動でＬＬＭ側で対応できるようになるかもしれませんが、いまのトランスフォーマーの特性は変わらないとおもいます。

＝＝＝

【出席者】     11:24

金の価値方程式の件ですが、一般的というか平均的な価値値を導出することになるかと思います。一方で、オタクやフェチ（嗜好性の異なる人々）における価値が一般的な価値とは大きくかけ離れていると思います。その差がどの要素が寄与するのかを評価できれば面白いと思います。というのは、生物（と、その生存、そして進化）に置き換えれば、進化モデル構築に応用できそうな「気」がします。ということで質問になってないかも（ｗ）

【渡辺】

とても面白い観点です。きっと生物学者の方ですね。金の価値方程式（いまのバージョン4は、オールマイティの価値方程式）はあくまでも「人間の平均」を示すものです。そのために「有名」というパラメータも入っています。ただし「希少」「耐久性」というパラメータも入っており、有名ではなくても希少だったり耐久性のあるものは点数が高くなるようにしています。このあたりでオタクやフェチの価値観も拾い上げることができるとおもいます。

ただ、そのあたりをもっとダイナミックに変化させることのできる方程式にすれば、進化モデル構築に応用できそうな「気」がします。生物学にフィードバックできれば最高です。よろしかったら引き続き議論を進めましょう。

＝＝＝

【出席者】      11:51

LLMがトークンを確率的に繋げるとき、どこから確率的に最適かを出しているのでしょうか。Web検索しているのでしょうか。

【渡辺】

LLMがトークンを確率的に繋げるときは、学習した結果を元に計算をしています。もうすこし具体的に言うと、学習済みのニューラルネットワークの内部パラメータ（重み）から直接計算されています。文脈においてもっとも最適と判断されたトークンがつぎつぎと繋がっていきます。Web検索はしておりません。

最近ではリサーチモード（Web検索も含めてユーザーの希望したタスクを達成する）が実装されています。この場合はWeb検索した内容も出力に反映されていますが、それでもトークンを確率的に繋げる事に関しては、Web検索の判断は使っていません。

またtemperature設定などのサンプリング方法を使うと、意図的に低い確率のトークンを出力させることもできますし、決定論的にもできます。この設定はAPIで可能です。通常のチャットインターフェースで使用する場合は、サンプリング方法は固定されていると推測します（公開されていない）。その場合でも、ある程度の創造性を担保するために最高確率のものだけを出力する設定にはなっていないとおもわれ、適度なランダム性が確保されています。

＝＝＝

【出席者】     11:58

私の理解が正しいかどうかわかりませんが、「文脈」の正しさが重要であると思いました。全世界のwebの情報から、文脈を学習しているという理解で合っていますか？その場合、正しい文脈もあれば、正しくない文脈もあるような気がします。

【渡辺】

その通りです。非常に重要なポイントです。全世界のwebの情報には「正しくない文脈」も数多く混ざっています。例えば、文法の間違えた文章も数多く混ざっています。そのようなノイズを取り除いて「正しい文脈」を学習することが肝要です。そのためにLLM作りのかなりの労力は「正しいデータセット」を準備することに使われています。これは人間による膨大な作業になることが多いです。また最近では完成したLLMの良し悪しを「強化学習」で修正していくのが主流となっています。LLMの出力が「正しくない文脈」であれば、人間が「正しくないよ」と教えてあげます。これも人間による膨大な作業になることが多いです。ただ最近では、良いデータセットの作成、強化学習にもAIが活用されています。

SNSなどでは通常の文法とは異なる言葉の使い方をすることがあります。通常の文法からすると、一見「正しくない文脈」も実は「正しい文脈」であることもあるので、なかなか難しい問題ですが、そこは大量に学習を行うことでクリアしています。