AIが引き起こした信頼の崩壊
2025年、世界的コンサルティング企業デロイトのオーストラリア法人が、AI生成による報告書の誤りで約44万豪ドル（約4400万円）を政府に返金する事態に発展しました。
報告書には存在しない人物への言及や架空の参考文献が含まれており、オーストラリアの雇用・職場関係省に提出された7ヶ月間のプロジェクトの成果物に重大な欠陥がありました。
この事件は、AI活用が進む日本企業にとっても決して他人事ではありません。
ハルシネーション―AIの危険な「嘘」
生成AIが事実とは異なる情報を、もっともらしく作り出す現象を「ハルシネーション」（幻覚）と呼びます。
デロイトのケースでは、Azure OpenAI GPT-4oを使用した報告書に12以上の存在しない参考文献と脚注が含まれ、複数の誤植も発見されました。
参考文献141件のうち14件で誤りが見つかり、本文中でも引用が捏造されていたのです。
問題発覚のきっかけは、シドニー大学のクリストファー・ラッジ氏による指摘でした。専門家の目により、報告書の主張が適切な証拠に基づいていないことが明らかになったのです。
世界で相次ぐAI訴訟事件
米国の弁護士が架空判例を提出
2025年1月、米国の連邦裁判所が弁護士に約1万5000ドルの制裁金を科すよう勧告する事件が発生しました。生成AIチャットボットを用いて作成した訴訟書面に架空の判例が掲載されていたのです。
2023年にも同様の事件があり、ニューヨークの弁護士が存在しない裁判例を引用した書面を提出し、5000ドルの制裁金を科されました。
一流法律事務所の弁護士でさえ、AIの流暢な回答を疑わずに信頼してしまう構造的問題が浮き彫りになっています。
エア・カナダの敗訴事例
カナダの航空会社エア・カナダでは、AIチャットボットが忌引割引について誤った情報を提供し、裁判で損害賠償の支払いを命じられました。
エア・カナダ側は「AIチャットボットは会社の判断とは別物」と主張しましたが、裁判所は「ウェブサイト上のすべての情報について責任がある」と判断しました。
結果として、エア・カナダは650.88ドルの支払いを命じられ、チャットボットは事案発生後に停止されました。
日本企業が直面するリスク
法的責任の所在
裁判所は「自社のビジネスの一部を生成AIに委ねる以上、その出力結果に対する責任は当該企業が負うべきだ」との判断を示しています。
この判決は、市場でAIサービスを展開する日本企業にとっても重要な指針となります。
想定される被害
ハルシネーションを理解せずにAIを利用し続けると、企業や個人の信頼を損なうおそれがあります。
具体的には以下のようなリスクが存在します：
信頼の喪失：社内会議資料にAIが出力した調査結果を引用したら存在しない統計データが入っていた、書類に記載した商品名が実在しないものだったなど、様々な失敗事例があります。
経済的損失：戦略設計の破綻や業務効率の低下、顧客や取引先からの信用喪失により、売上やブランドイメージの悪化につながるリスクがあります。
セキュリティ侵害：フィッシング詐欺などの不正なリンクや、情報セキュリティソフトに対する不正確なアドバイスが生成された場合、個人情報の漏えいや悪意のある攻撃のリスクが高まります。
ハルシネーションが発生する原因
1. 学習データの問題
生成AIが情報源とするデータに誤りが含まれている場合、間違った情報を出力してしまいます。インターネット上には不正確な情報も多く存在し、これらを学習してしまった結果、ハルシネーションを起こすのです。
2. プロンプトの曖昧さ
「彼」が誰なのか曖昧なプロンプトでは、AIは学習済みの文章において確率が高い言葉を使って文章を生成するため、事実とは異なる情報を生成してしまいます。
3. 文脈重視の仕組み
AIは情報の正確性よりも文脈を重視して回答を生成することがあり、自然な形で回答しようとする過程で情報の内容が変化してしまうことがあります。
日本企業が取るべき対策
1. 明確なガイドラインの策定
総務省と経済産業省が2025年3月に発表した「AI事業者ガイドライン（第1.1版）」では、リスク管理方針の策定、実施、開示が求められています。
企業は以下の点に留意すべきです：
- AI利用の目的と範囲の明確化
- データの正確性確保
- 定期的なリスク評価の実施
2. 人間によるチェック体制
最も簡単かつ即効性が高いのは、AIの回答の正しさを人間がチェックし、ハルシネーションが見つかれば適宜修正する方法です。
生成AIを使った従業員個人のチェックに加え、法務部門などでのダブルチェックを行うことで、ハルシネーションによる損害が発生するリスクを低減できます。
3. 具体的で明確なプロンプト設計
プロンプト内に「事実ベースで」「一次情報を優先して」などの条件付けをすると誤情報削減に有効です。また、対象データ自体を信頼できるものに限定しておく方法もあります。
4. RAG技術の活用
RAG（情報を取り出して生成する技術）を利用して公式文書から正確な情報を提供する仕組みを使うことで、ハルシネーションのリスクを軽減できます。
5. 従業員教育の徹底
企業が生成AIを業務に使う場合は、従業員へハルシネーションの存在を共有しておく必要があります。
AIリテラシー研修を実施し、AIの限界と適切な使用方法を理解させることが重要です。
ハルシネーションは完全には防げない
AI研究者の間では、大規模言語モデルにおいて学習データの曖昧さや自己予測に依存する仕組みから、ハルシネーションをゼロにすることは現在の技術では極めて困難とされています。
現段階では、ハルシネーションそのものを完全に解決する方法は存在しません。AIの技術的性質を理解したうえでリスクをコントロールし、リターンを最大化するために、ハルシネーションにどう対処すべきかといった観点で解決の道を探っていくことが重要です。
まとめ：AI活用のジレンマを乗り越える
デロイトの4400万円返金事件、米国弁護士の制裁金、エア・カナダの敗訴―これらの事例が示すのは、AI活用における企業の責任の重さです。
生成AIの性能は、学習に用いたデータ量やパラメーター数を増やすことやアルゴリズムを変更することで向上させられますが、ハルシネーションは一定確率で必ず起きるという前提を持つことが重要です。
日本企業がAI活用で成功するためには：
- リスクを正しく認識：ハルシネーションは発生するものと認識する
- 適切なガバナンス体制：明確なガイドラインと責任体制を構築
- 人間による監視：AIの出力を必ずチェックする仕組みを導入
- 継続的な改善：最新の技術動向とガイドラインに対応
AIセキュリティは後付けでは間に合いません。AI導入の最初の段階から、リスクを洗い出し、必要なガードレールを設計に組み込む視点が重要です。
AIは企業の競争力を劇的に高める可能性を秘めていますが、正しく扱わなければ逆にリスクを拡大する両刃の剣です。今こそ、自社にとっての最適なAI活用のあり方を見極め、実行に移す時です。