2023年4月24日

【ITの引っ越し～持っていけば動くわけではありません～】

～話題のChatGPTを使ってみて～

そまずはお試しとして最近調べているWindowsサーバの秘術的な点について質問したところ、かなり信憑性の高いと思える回答を返してきましたが、この回答の論拠や参考になるウェブページ情報について尋ねてみたところ、回答に記されていたリンクは learn.microsoft.com の下にある技術情報のリンクでしたが、「404 - ページが見つかりません」と存在しないリンクも含まれていました。

今まではGoogleやBing、DuckDuckGoなどの検索サイトで調べたい内容について幾つかキーワードを並べて検索し、その結果の中から参考になりそうなページを参照して調べたい内容に合致するかを確認して記憶に留めたりメモに残したりと検索結果を自分で再構築して利用していました。ChatGPTではそういった再構築の作業を省いてまとめた文章として回答が返ってくるのは魅力的なツールと感じました。

しかし、自分の専門領域の範疇の質問と回答であれば回答の妥当性を評価しやすいですが、範疇外の回答の場合はその回答の確度を評価するだけの知識や情報を持ち合わせていないので、この回答に対して追加の質問をしたり根拠の参照先を要求して調べ直すことが必要になります。加えて、AIが回答の論拠として利用できる情報はインターネット上に存在する情報量に依存するため、そもそもインターネット上の情報が少なかったり偏っている場合は回答の確度は相応に低下するだろうと思います。

試しにインターネット上の情報量がそれほど多くなさそうなあるギタリストＮさんとギタリストＲさんの師弟関係について質問してみたところ、部分的に間違っていない内容も含まれていましたが、そのＮさんが全く関係ないバンドの創設メンバーで、Ｒさんはそのバンドに後から参加したとかなり素っ頓狂な回答が返ってきました。ＲさんはＮさんの友人であったシンガーＷさんの息子であるという情報を追加して質問し直してみたところ、無関係なバンドについての記述がなくなって、回答の確度が上がりました。しかし、ＮさんとＲさんではなくＮさんとＷさんの存在しないはずのバックバンドに参加したという双方のファンだった自分が見たことも聞いたこともないバンドの名前が出てきました。ChatGPTが出てきてからTwitterで素っ頓狂な回答がいくつか話題になっていましたが、まさにそれと同類の事例に遭遇しました。

このように現時点ではインターネト上に参照できる情報が少ない場合は回答の確度が怪しくなる可能性があること、質問者がカバーしていない領域の回答は妥当性について別の方法で確認することが欠かせないようです。このサービスに投入された質問とその回答やそのレスポンスなどもChatGPTが参照する情報に追加されていくのでしょうから、進化の途上であること自体は間違いないでしょう。利用する際はこういった点を踏まえて自分の得意な領域であるかないかを問わず、AIからの回答の妥当性評価を行うためのメタな手順を組み込んでおかないと足元をすくわれることがありそうです。

2023年4月