2025年くらいからAIの利用が一般化したことで、負荷の重い動画作成、負荷の軽いテキストチャットなどと誤解されていることがあります。
AIはコンピュートリソースを従来とは比べものにならないほど消費し、テキストチャットですら従来とは考えられないリソースを消費しています。
コンピュータのリソースとは、処理能力全般のことを言いますが、ここではCPUなどがどのくらい演算するかという観点で説明しています。
例えば、1+1の計算をする際、CPUの内部で1に1を加えるという演算を行います。これ自体はCPU内で1回でできるものです。
周波数1GHzのCPUなら1ナノ秒、10億分の1秒です。通常このような単純な計算ではなく、もっと複雑な処理がコンピュータ内では行われています。例えばキーボードでAを入力して、Aを表示するような単純なことですら、大量の演算が内部で行われています。仮に1000万回の演算が行われていたとした場合、0.01秒で処理される計算になります。
例えば、チャットで「こんにちは」と入力して、AIが「こんにちは」と返答を返す場合で考えてみます。
「こんにちは」という入力された内容から、「こんにちは」と返答するまで、「こんにちは」が何かを計算した上で「こんにちは」と返すという処理が動きます。
入力内容が長くなれば長くなるほどこの処理量は膨大になり、使用するAIのモデルなどによりますが「こんにちは」を理解するための演算量はザックリ1兆回くらい、返答する1もじあたり1千億回程度の演算が行われます。
この1千億回の演算とは、一般的なWeb検索1回で使われる演算量です。
これは単純な短いテキストチャットの1回の返答の場合であって、一般の文章生成、映像生成、動画生成などになると処理量は更に跳ね上がります。
例えば、メールの返信文章を代わりに作ってもらうとすると、演算回数は100兆回などになってしまます。10秒の動画生成などになると100京 〜 1,000京回などのレベルで演算回数が増えます。このあたりにくると多すぎて理解出来ないレベルですが、AIというのはこのくらい従来とは比較にならないほどコンピュータリソースを消費します。
テキストチャットはリソースを大して消費しないというのは完全な誤解で、そもそもAIはテキストチャットなどでもリソースを莫大に消費し、さらに動画生成などになるとその消費量は何桁も増えます。
2024年に登場したMicrosoftのCopilot+ PCのようないわゆるAI PCではTOPS値というのが重要な性能の指標になっています。
これはコンピュータ内部のNPUなどがどのくらい演算能力があるかという指標で、1TOPSは1兆回の演算能力があります。1TOPSは1 Tera Operations Per Secondという意味で、2024年のAI PCの性能の指標としておおむね50TOPS程度が必要とされています。
先ほどのメールの返信なら、100兆回の演算が必要なので、50TOPSのAI PCなら2秒で出来る計算ですが、これ以外にも様々な演算、実際の文字出力は順番に行うなど 様々な理由からもっと時間がかかる事を実感している方が多いと思います。
すでにAI PCを使っている方は、AI PCと言っても出来る事が限られる、速度が遅いと感じていると思います。
これは桁違いのクラウドサービスのAIと比較しているからそう感じてしまいます。
消費電力が重要な要素でもある通常のPCと、クラウドサービスで使われているAIサーバーの処理能力は単純にスピードだけでも100倍程度違います。これは商品電力を完全に無視している、電力を使い放題使っているとか、使用しているメモリやストレージ、ネットワーク、通信回路など含めてすべてが一般のPCと比べて爆速なこと、規模がとてつもないからです。
Geminiなどに何気なく打ち込んだチャットが、裏側ではとんでもない莫大な演算回数で、大量に電力を使って出力されていることを理解しましょう。
Geminiを使っているとよく動作が不安定になります。
なぜかエラーになる、チャットの返答がおかしいなども、この膨大な演算が影響していると考えれば理解しやすいでしょう。従来とは何千倍もリソースを消費しているため、従来なら簡単なエラーでたいした影響が無かったものでも、AIでは最終的に大きく影響していしまいます。