1 AI技術の急速な進展と法的倫理的課題
AI技術の急速な発展は、社会における利便性の向上や生産性の向上に寄与する一方で、法的・倫理的な新たな課題も生み出している。特に、AIによるデータの収集と分析は、私たちの生活においてますます影響力を持つようになっており、その過程で生じる偽情報や悪意ある利用が社会的に大きな問題となっている。データ収集とAI分析の過程で発生する「偽情報」や「操作された情報」の問題は、データの正確性やアルゴリズムの偏り、そして情報の意図的な操作といった要素により、社会的な混乱を引き起こすリスクをはらんでいる。
こうしたリスクは、民主主義の基盤に対する脅威として注目されており、政府、規制当局、そして法曹界からも急速に対応が求められている。これにより、法制度の整備やAIガバナンスの確立が急務となりつつあるが、現行の法制度ではこのような課題に十分に対応しきれていない部分も多い。また、AI技術の特性上、データ主権やプライバシー保護に関する国際的な法制度の調和や、責任の所在に関する明確なルールの策定も不可欠である。
本発表では、AIが生み出す偽情報や意図的な情報操作の問題を中心に、データ収集と分析の法的課題を分析し、日本および国際的な法制度を比較検討する。そして、データ主権やプライバシー保護、偽情報対策に向けた法的枠組みの可能性を探ることを目的とする。特に、AIの影響力が今後さらに拡大することを見据え、社会的混乱のリスクを最小化し、健全なデジタル社会の実現に向けた具体的な提案を行う。
2 現状の偽・誤情報の流通・拡散等の課題
近年、AI技術の急速な発展に伴い、「ディープフェイク」という高度な技術も急速に進化しつつある。ディープフェイク（deepfake）とは、「ディープラーニング（深層学習）」と「フェイク（偽物）」を組み合わせた造語であり、AI技術を用いて生成された合成コンテンツを指す。この技術では、実在しない発言や行動を本物そっくりに映し出し、人物が実際に言っていない発言や行動していない動作をあたかも実在するかのように見せることが可能である。そのため、ディープフェイクは偽情報や誤情報の拡散、情報操作、さらには犯罪行為に利用されるケースが急増している。
特に、ディープフェイク技術による偽情報の拡散は、国際社会において大きな課題として認識されており、各国政府や企業、学術機関など多方面から対策が進められているが、技術の進歩と対策の競争はいたちごっこのように続いている。その背景には、ディープフェイク技術が、単なるエンターテインメントの領域を超え、政治や経済、社会に及ぼす影響が増している点が挙げられる。例えば、偽情報による社会の分断、政治的不安定、経済的損失などが懸念されており、対応が急務となっている。
3 AI技術の進展にともなう現実的な課題
（１）動画生成技術等の高度化に伴う課題
AI技術の進展により、自然言語処理や画像・動画生成技術が非常に高精度化されており、信憑性の高い偽情報が作成されやすい環境が整っている。ディープフェイク技術によって、現実に存在しない出来事や発言を映像や音声としてリアルに再現することが可能になっており、一般の視聴者には本物との区別が極めて難しくなっている。こうした技術は、政治家や有名人の映像を不正に利用した偽動画の作成に活用されることが多く、SNSを通じて瞬時に拡散されることから、社会的混乱を引き起こす可能性がある。
日本でも、生成AIを利用して制作された政治家の偽動画がSNS上で広がる事例が報告された。さらに、地震や災害時に過去の被害映像が不正に使用され、実際の出来事と結びつけられて流布されるケースも増加している。また、2020年には、5G技術が新型コロナウイルス感染症の原因とする誤った情報が流布され、通信基地局に対する破壊活動が発生するなど、社会的な影響も深刻化している。
（２）アテンション・エコノミーの課題
このように、インターネット上で多様なデジタルサービスが普及する中、誰もが情報発信者となる一方、膨大な量の情報が過剰に流通する状況が生まれている。この情報過多の状況下で、特定のプラットフォーム事業者は「アテンション・エコノミー」の原理に基づき、ユーザーの注目を引く刺激的な情報を優先的に表示することが多く、こうした構造が偽・誤情報の拡散に拍車をかけている。この結果、経済的利益（広告収入）を得るインセンティブが、偽情報の流布や炎上を助長し、社会全体に悪影響を及ぼしている。
AI技術の進展により、自然言語処理や画像・動画生成技術が非常に高精度化されており、信憑性の高い偽情報が作成されやすい環境が整っている。ディープフェイク技術によって、現実に存在しない出来事や発言を映像や音声としてリアルに再現することが可能になっており、一般の視聴者には本物との区別が極めて難しくなっている。こうした技術は、政治家や有名人の映像を不正に利用した偽動画の作成に活用されることが多く、SNSを通じて瞬時に拡散されることから、社会的混乱を引き起こす可能性がある。
（３）偽動画等による社会問題の発生
日本でも、生成AIを利用して制作された政治家の偽動画がSNS上で広がる事例が報告された。さらに、地震や災害時に過去の被害映像が不正に使用され、実際の出来事と結びつけられて流布されるケースも増加している。また、2020年には、5G技術が新型コロナウイルス感染症の原因とする誤った情報が流布され、通信基地局に対する破壊活動が発生するなど、社会的な影響も深刻化している。
このように、インターネット上で多様なデジタルサービスが普及する中、誰もが情報発信者となる一方、膨大な量の情報が過剰に流通する状況が生まれている。この情報過多の状況下で、特定のプラットフォーム事業者は「アテンション・エコノミー」の原理に基づき、ユーザーの注目を引く刺激的な情報を優先的に表示することが多く、こうした構造が偽・誤情報の拡散に拍車をかけている。この結果、経済的利益（広告収入）を得るインセンティブが、偽情報の流布や炎上を助長し、社会全体に悪影響を及ぼしている。
（４）具体的な画像生成の例
なお、以下のようなイメージ図の生成状況からは、漠然と図を出すように指示を（少なくともChatGPTの）生成AIに出しても、効果的な図が生成されるとは言い難い状況はある可能性がある。かなり特化した形でフェイクニュースの図などを作りこむ必要があるが、そのようなことについては、図をうまく作ることができ、多くの可能性の
参考：ChatGPT（2024年11月）が出したフェイクニュース・偽情報に関するイメージ図１
4 ディープフェイク犯罪利用の課題
ディープフェイク技術は、情報操作に留まらず、犯罪行為に悪用されるケースも増加している。生成AIの技術が向上することで、ディープフェイクはフィッシング詐欺や恐喝などの犯罪に利用されるリスクが高まっている。例えば、AIを利用した偽のチャットボットが、フィッシング詐欺メールの自動生成や大量送信に活用されていることが報告されている。特に「BadGPT」や「FraudGPT」といった生成AIを悪用した不正チャットボットが、闇市場やオンラインフォーラムで流通し、多数の詐欺メールが量産されている状況である。
これらの不正ツールを利用することで、数万件規模のフィッシング詐欺が毎日発生しているとの報告もあり、被害件数は増加の一途をたどっている。実際、2023年の報告によれば、フィッシング詐欺の総被害額は過去最高を記録しており、個人や企業を狙った詐欺手法も多様化している。金融機関を装ったり、実在する人物のメールアドレスを模倣したりすることで、ターゲットの信頼を得た上で個人情報や金融情報を盗む手法が増えている。
さらに、SNSやインターネット上で共有される一般の写真をAI技術で加工し、不適切な内容に改変して脅迫に利用するケースも確認されている。たとえば、被害者の顔写真をディープフェイク技術で性的な画像や動画に改変し、脅迫行為に及ぶケースがあり、これにより被害者に深刻な心理的苦痛を与えている。こうした行為は「リベンジポルノ」の一種として分類されることもあるが、生成AIの利用により、さらなる広がりと巧妙化が進んでいる。米国連邦捜査局（FBI）は、こうしたディープフェイクによる脅迫事例が急増しており、未成年の被害も含まれることから、家庭や学校においても注意を呼びかけている。
また、ディープフェイクによる犯罪の事例は日本国内でも急増している。たとえば、日本国内で生成AIを用いて作成された不正な動画がSNSで広がっている状況が指摘されている。
5 データ収集・AI分析の課題
データ収集における課題として、AIが有効な分析結果を出すためには大量のデータが必要であり、その多くが個人情報やプライバシーに関わるデータである可能性があることがまずあげられる。日本においても、AIの高度な分析技術により、個人情報を再同定するリスクが増している。すなわち、AIの利用に伴うプライバシーリスクに対応しきれない可能性が指摘されている。加えて、データ収集の段階で本人の同意を得るプロセスの複雑さや、データの透明性確保が難しいといった問題もある。
次に、AI分析における法的課題については、AIが生成した分析結果や予測が偏見を含む場合、または誤った情報を広めるリスクがあることが確認されている。特に、ディープフェイクなどの技術を用いて偽情報を拡散させることが可能となり、これが社会の安全や公共の信頼性に悪影響を与える可能性を考慮しなければならない。AIによる分析が信頼性を欠く場合、被害者の救済や誤情報の拡散防止を法的にどう担保するかが問われている。これに対する法的アプローチとして、AIの透明性や説明責任を強化する法規制が考えられているが、技術の進化に追いつくためにはさらなる法制度の検討が必要である。
さらに、AIが意図的に偽情報や悪質な内容を生成し、拡散する場合についても法的対応が必要である。これに対して、日本では偽情報や誹謗中傷に対する規制強化の動きが見られるが、AIを通じた悪意ある情報拡散に対する包括的な法律はまだ存在しない。特にSNSやデジタルプラットフォームにおいて、AIが自動生成した内容がどのように規制されるべきかについては今後の課題となる。例えば、AIが生成するコンテンツに対して事前の検閲を行うことは、表現の自由とのバランスを取る必要があるため、きわめて慎重な対応が求められよう。
6 法的アプローチの可能性
法的アプローチとしては、AI開発者やプラットフォーム事業者に対して一定の責任を課すことが考えられる。これにより、悪質な情報や偽情報の拡散を未然に防ぐことが期待される。また、透明性を確保し、AIが生成する情報について説明可能な仕組みを構築することも、法的な義務として定めることが可能である。たとえば、総務省は2024年夏までに「デジタル空間における情報流通の健全性確保に関するガイドライン」を策定する方針を発表しており、インターネット上のコンテンツに対する規制強化を進めている。
これに伴い、ディープフェイク技術の悪用を防ぐための技術的対策も進展している。日本国内の企業や研究機関では、AIによる生成コンテンツの真贋を識別する技術「電子透かし」や、発信者情報を紐付ける「オリジネータープロファイル」技術が研究されている。また、国立情報学研究所は、生成AIによるフェイクコンテンツを自動検出する「SYNTHETIQ VISION」というツールを開発し、真贋の判定のみならず、コンテンツの改変部分を特定する技術の実用化を目指している。
EUにおけるAI法（AI Act）などでは、こうした義務付けが進んでおり、日本においても類似の規制の可能性を考えることが可能かどうかの検討が進む可能性がある。
データ収集とAI分析の過程で発生する法的課題は、技術革新と法の整合性のバランスをどのように取るかという課題を有している。AIの悪用による社会的リスクや、偽情報の拡散を抑制するためには、法の側面からの予防的かつ柔軟なアプローチが必要である。AIが社会に与える影響力が増すにつれ、その透明性、説明責任、そして適切なデータ保護の重要性が高まっている。