生成AIの活用には、情報漏えい、ハルシネーション、データポイズニングなど、様々なセキュリティリスクが伴います。このリスクに適切に対応しなければ、企業の機密情報や顧客データが危険にさらされかねません。

そこで今回は、生成AIのセキュリティリスクとその対策について解説します。代表的なリスクの種類や、主要な生成AIサービスのデータ保護の取り組み、さらには企業や行政による対策事例などにも触れるため、ぜひ参考にしてください。

生成AIのセキュリティリスクに悩む企業の方へ。NOVELでは、リスク対策を踏まえたAI開発支援を行っています。大手企業への導入実績多数。ぜひご相談ください。

生成AIのセキュリティリスクは増え続けている

生成AIの活用が広がる中、本記事で取り上げるセキュリティリスクへの対策が重要課題となっています。AIシステムの脆弱性を狙った攻撃や、機密情報の漏えい、不適切なコンテンツ生成など、多様なリスクが存在します。

企業は、AIの導入に際して、このリスクを認識し、適切な対策を講じる必要があるでしょう。そして、セキュリティと利便性のバランスを取りながら、AIの可能性を最大限に活かすことが求められているのです。

新たな技術は新たなリスクを生み出す

生成AIの進化は、便利さと同時に新たなセキュリティリスクをもたらしています。ChatGPTのプラグイン機能は、ユーザーエクスペリエンスを向上させる一方で、悪意のあるWebサイトへの誘導という脅威を生み出す可能性を捨てきれません。

また、コード生成の簡単さは、コンピューターウイルスの作成を簡略化し、サイバー攻撃のハードルを下げる結果となりました。

このような状況下では、セキュリティ対策と脅威の進化が常にいたちごっこの様相を呈しています。AIの学習データに潜む偏見や、生成コンテンツの著作権問題など、従来のITセキュリティでは想定外の課題も浮上し、常に監視しつつも迅速に対応できる体制を整える必要があります。

リスク対策は利用企業・開発ベンダーの双方で必要

生成AIのセキュリティリスクに対処するには、利用企業と開発ベンダーの協力が不可欠です。

利用企業は、自社の機密情報を明確に定義し、AIシステムへの入力データを適切に管理する必要があります。例えば、社内ガイドラインの策定や、従業員への教育を通じて、機密情報の取り扱いを厳格化することが重要です。

一方、開発ベンダーは、AIシステムの通信を可視化し、機密情報の流出を防ぐ仕組みを実装する責任があります。また、AIモデルの定期的な監査や、セキュリティパッチの迅速な適用など、継続的な保守も求められます。

セキュリティリスクへの対応は、双方が協力してリスクアセスメントを実施し、対策の有効性を常に検証することではじめて、安全なAI活用環境を構築できるものだということです。

生成AIで代表的なセキュリティリスク

生成AIで代表的なセキュリティリスクには、以下の6つが挙げられます。

1. 情報漏えい

2. ハルシネーション

3. データポイズニング

4. アカウントの乗っ取り/不正利用

5. サイバー攻撃

6. ブラックボックス化

情報漏えい

生成AIの活用において、情報漏えいはもっとも深刻なセキュリティリスクの1つです。この脅威には、自社内部、AIベンダー、さらには悪意ある攻撃者への機密データの流出などが該当します。

特に懸念されるのは、学習データに含まれる個人情報が意図せず出力に反映されるケースです。このリスクを軽減するには、データの匿名化や、AIモデルへの入力を厳密に管理するなど、多層的な対策が不可欠です。

ハルシネーション

ハルシネーション（幻覚）とは、生成AIが現実に存在しない情報や事実と異なる内容を生成する現象のことです。この問題は単なる誤情報の域を超え、著作権侵害や差別、偏見など、法的・倫理的な問題を引き起こしかねません。

こうしたリスクは、企業の信頼性を損なうだけでなく、社会的な影響も大きいです。対策としては、AIの出力を人間が常にチェックする体制を整えることや、AIモデルの定期的な再学習と調整が重要です。

データポイズニング

データポイズニングとは、AIの学習データに意図的に誤った情報を混入させる攻撃手法のことです。主に、AIモデルの性能を低下させたり、特定の出力を誘導したりする目的で行われます。

例えば、テキスト生成AIの場合、特定の企業や製品に対するネガティブな情報を意図的に学習データに混ぜることで、AIの出力にバイアスをかけるといった具合です。この場合、学習データの品質管理を徹底し、定期的なモデルの評価と再学習が必要です。

アカウントの乗っ取り/不正利用

生成AIサービスにおけるアカウントの乗っ取りや不正利用も、立派なセキュリティリスクです。攻撃者が正規ユーザーのアカウントを乗っ取ることで、機密情報へのアクセスや、AIの不正利用を行います。

企業の重要な意思決定支援AIのアカウントが乗っ取られれば、誤った情報や悪意のある指示を出力させたり、企業情報にアクセスしたりできます。個人であっても、プライバシー侵害や個人情報の悪用につながるでしょう。

結果、強力な認証システムの導入、定期的なパスワード変更の強制、アクセスログの監視など、多層的なセキュリティ対策が求められてしまいます。

サイバー攻撃

生成AIシステムに対するサイバー攻撃は、従来のIT環境への攻撃とは異なる新たな脅威をもたらします。特に注目すべきは、敵対的プロンプトを用いた攻撃です。敵対的プロンプトとは、AIモデルの脆弱性を突いて意図しない動作や出力を引き起出す手法のことです。

巧妙に作られたプロンプトによって、機密情報を漏えいさせたり、有害なコンテンツを生成させたりする可能性があります。また、DDoS攻撃によってAIサービスを機能不全に陥らせたり、バックドアを仕掛けてAIモデルそのものを改ざんする試みも考えられます。

最悪の場合、企業の業務停止や評判の低下、さらには法的責任問題にまで発展する恐れがあり、AIモデルの定期的な脆弱性診断、入力のサニタイズ、出力のフィルタリングなど、多層的な防御策が必要でしょう。

ブラックボックス化

生成AIのブラックボックス化は、技術的な課題であると同時に、重大なセキュリティリスクでもあります。昨今では、AIモデルの複雑化に伴い、開発者ですら、その動作や生成内容を完全に予測・説明することが困難になっている状況です。

この不透明性は、AIの決定プロセスの検証を困難にし、潜在的な脆弱性や偏見を見逃す原因となります。このことから、説明可能AI（XAI）技術の開発や、AIの判断プロセスを可視化する努力が求められます。

生成AIを活用する際のセキュリティリスクを理解し、適切な対策を講じることが重要です。

主要な生成AIのセキュリティにおけるデータ保護

では、こうした生成AIにおけるセキュリティリスクを受けて、主要な生成AIのセキュリティにおけるデータ保護はどうなっているのか見てみましょう。

• OpenAI：ChatGPT

• Microsoft：Copilot

• Google：Gemini

• Anthropic：Claude

OpenAI：ChatGPT

ChatGPTは、デフォルトでユーザーの入力データをモデル改善に活用する仕組みを採用しています。しかし、プライバシー意識の高いユーザーや企業向けに、設定でデータの二次利用を制限できます。

特に、機密情報の保護に特化した『ChatGPT Enterprise』では、データ保護を徹底したプロダクトです。加えて、APIだとデフォルトでオプトアウトできたり、アプリでも学習しない設定にできたりするなどの配慮も行われています。

ただし、完全なセキュリティを確保するには、ユーザー側でも適切な使用ガイドラインを設定し、従業員教育を行うことが重要です。

関連記事：ChatGPTを企業利用する際の料金は？EnterpriseとAPIで費用対効果を比較

Microsoft：Copilot

Microsoftの生成AI、Copilotは、既存のMicrosoft 365やOffice 365のエコシステムと密接に連携しています。利用には、このライセンスが必須であり、職場や学校のアカウントでのサインインが要求されます。

この仕組みにより、既存のセキュリティ設定やポリシーをAI利用にも適用可能です。またCopilotは、データ保護に特化したセキュリティ機能を提供し、企業の機密情報や個人情報の漏えいリスクを最小限に抑えます。

しかしこの場合においても、AIの出力内容の適切性を担保するには、人間による監視と検証プロセスの確立が不可欠です。

Google：Gemini

Googleの提供するGeminiは、入力されたデータをモデル改善に使用する可能性があります。AIの性能向上に寄与する一方で、データセキュリティの観点からは懸念事項となり得ます。

しかし、『Gemini for Google Workplace』の利用であれば、改善に利用されないよう指定可能です。加えて、ブラウザ版Geminiでも設定できます。

このバージョンでは、高度なセキュリティ機能が適用され、データの二次利用を防ぐ仕組みが整っています。とはいえ、その他のAIと同様の仕組みが必要なのは変わりありません。

関連記事：Geminiとは？企業・法人が利用する方法と料金を詳しく解説

Anthropic：Claude

Anthropicが開発したClaudeは、セキュリティとプライバシーの保護に特に重点を置いたAIです。SOC 2 Type II認証やHIPAA準拠のオプションが利用可能であり、高度なセキュリティ基準を満たしています。

さらに、Claudeは「憲法的AI」という独自の概念に基づいて設計されており、倫理的な判断基準を内蔵しています。デフォルトでユーザーデータをモデル改善に使用しない点も、プライバシー意識の高いユーザーや企業にとって魅力的です。

ただし、AIの判断が常に正しいとは限らないため、重要な意思決定には人間の介入が必要です。

関連記事：【AI】Claudeとは？使い方や料金体系、選ばれる理由をわかりやすく解説

生成AIを悪用した情報漏えい・攻撃の例

生成AIを悪用した情報漏えい・攻撃の例としては、以下の3つが挙げられます。

• フィッシング等のメール文章生成

• 音声生成/ディープフェイクによる詐欺

• 個人情報の流出

フィッシング等のメール文章生成

生成AIの進化により、フィッシングメールの作成が驚くほど簡単になりました。従来の翻訳サイトを利用した文面とは比較にならないほど自然な日本語で、説得力のある文章を生成できてしまいます。

そのため、受信者がメールの真偽を判断することが極めて困難になっています。AIは文脈を理解し、企業固有の用語や慣用句を適切に使用できるため、正規の業務連絡との区別がつきにくいからです。

このリスクに対応するには、従業員のセキュリティ意識向上と、AIを活用した高度なフィルタリングシステムの導入が不可欠です。

音声生成/ディープフェイクによる詐欺

生成AIの音声合成技術とディープフェイク技術の進歩により、詐欺の手口が一段と巧妙化しています。もはや実際の人間を用意せずとも、AIが生成した音声で電話詐欺を実行できます。

この技術を悪用すれば、知人や家族、さらには企業の重役の声を模倣し、被害者を騙すことができてしまうでしょう。

実際に、エンジニアリングの大手アラップは、2億香港ドル、つまり日本円で約40億円をこの詐欺によって失っています（※1）

この新たな脅威に対抗する場合、音声認証技術の強化や、AIによる不自然な音声パターンの検出システムの開発が急務です。

個人情報の流出

2023年3月、ChatGPTに深刻な脆弱性が発見され、個人情報の漏えい事故が発生しています。この事案では、システムのバグにより、あるユーザーの情報が他のユーザーに表示されてしまうという事態が起こりました。

OpenAIは公式サイトでこの問題を詳細に説明し（※2）、再発防止策を講じていることを明らかにしています。企業がAIサービスを導入する際は、データの暗号化、アクセス制御の強化、定期的なセキュリティ監査など、多層的な防御策を講じることが不可欠です。

AIを安全に活用し、ビジネスを加速させるには専門家の知見が不可欠です。NOVELでは、生成AIの開発支援や社内導入のコンサルティングを提供しています。

生成AIのセキュリティリスクの対策方法

生成AIのセキュリティリスクの対策方法は、主に以下の4つが挙げられます。

• 各種データ保護

• アクセス制限

• モニタリング・監視

• セキュリティ教育

AI利用ガイドラインの作成

生成AIの活用において、セキュリティリスクを最小限に抑えるためには、明確なAI利用ガイドラインの作成が不可欠です。このガイドラインでは、AIツールの適切な使用方法、機密情報の取り扱い、データ入力時の注意点などを具体的に定義します。

例えば、ChatGPTへの機密情報の入力禁止や、生成コンテンツの二次利用に関する規定などを盛り込むことが重要です。また、AIの出力結果の検証プロセスや、不適切な生成コンテンツへの対応手順も明確にしておくべきでしょう。

こうしたガイドラインを通じて、従業員のAI利用における意識向上と、セキュリティリスクの軽減を図ることができます。

関連記事：AI倫理とは？重要視される理由とガイドラインの策定例を解説

各種データ保護

生成AIのセキュリティリスク対策において、各種データ保護は最重要課題の1つです。AIシステムが扱う膨大なデータには、機密情報や個人情報が含まれ、この漏えいは企業に甚大な損害をもたらします。

対策として、まず暗号化技術の導入が挙げられます。データの送受信や保存時に強力な暗号化を施すことで、不正アクセスのリスクを大幅に低減できます。

また、データの分類と適切なアクセス制御も重要です。機密性の高さに応じてデータを分類し、必要最小限のアクセス権限を付与する原則を徹底することで、内部からの情報流出リスクも抑制できます。

さらに、定期的なバックアップとデータの冗長化により、ランサムウェア等の攻撃からの復旧力を高めることも忘れてはいけません。

アクセス制限

生成AIのセキュリティ対策において、適切なアクセス制限の実装も必要です。AIシステムや関連データへの不正アクセスを防ぎ、情報漏えいや悪用のリスクを最小化できるからです。

最近では、多要素認証（MFA）の導入をよく見かけるようになりました。パスワードに加え、生体認証や一時的なコードなど、複数の認証方法を組み合わせることで、セキュリティレベルを大幅に向上させることができます。

また、「信頼しない、常に検証する」というゼロトラスト・セキュリティの考え方に基づき、ネットワーク内外を問わず、常に認証を要求する仕組みを構築することも重要です。

さらに、役割ベースのアクセス制御（RBAC）を導入し、ユーザーの役割や職責に応じて適切なアクセス権限を付与すると内部脅威のリスクも軽減できます。

モニタリング・監視

生成AIのセキュリティリスク対策において、継続的なモニタリングと監視も極めて重要です。主に、AIシステムの異常な動作や不正アクセスを早期に検知し、迅速な対応を可能にします。

機械学習モデルの性能劣化を検出するツールを導入し、モデルの再学習や更新のタイミングを適切に判断します。また、ユーザーの行動ログを分析し、通常とは異なるパターンを検知する異常検知システムの導入も効果的です。

さらに、セキュリティ情報イベント管理（SIEM）ツールを活用し、複数のセキュリティデバイスからのログを統合的に分析することで、より高度な脅威の早期発見と対応が可能です。

こうした取り組みは、AIにおける説明の透明性も担保できることから欠かせないものとなる見込みです。

セキュリティ教育

生成AIのセキュリティリスク対策において、従業員へのセキュリティ教育も行います。AIツールの適切な使用方法や潜在的なリスクを理解することで、人的ミスによるセキュリティインシデントを大幅に減少できます。

具体的には、フィッシング攻撃の識別方法や、AIへの機密情報入力の危険性など、実践的なシナリオに基づいたトレーニングを定期的に実施することが効果的です。また、AIが生成したコンテンツの検証方法や、著作権侵害を避けるための注意点なども教育内容に含めるべきでしょう。

さらに、最新のAI関連脅威や対策について、定期的なアップデート研修を行うことで、従業員の知識と意識を常に最新の状態に保つことも大切です。

生成AIのセキュリティリスクに対して、適切な対策を行うことが重要です。NOVELでは、生成AIの安全な活用をサポートしています。

生成AIのセキュリティソリューションの例

生成AIのセキュリティソリューションの例には、以下の3つが挙げられます。

• NRIセキュア：AI Blue Team

• Microsoft：Microsoft Copilot for Security

• KELA株式会社：AiFort

NRIセキュア：AI Blue Team

NRIセキュアの「AI Blue Team」は、生成AIを組み込んだシステムのセキュリティリスクに特化した監視サービスです（※3）。プロンプトインジェクションやハルシネーションなど、生成AI特有の脅威を検知し、企業のデータ保護を強化します。

AIRedTeamによる診断結果を活用し、システム固有の脆弱性にも対応。検知APIが入出力情報を監視し、有害な内容を即座に通知してくれます。

Microsoft：Microsoft Copilot for Security

Microsoft Copilot for Securityは、生成AIを活用したセキュリティソリューションの先駆的な例です（※4）。このサービスは、AIが膨大なセキュリティデータを分析し、リアルタイムで脅威を検知・対応することで、人間のセキュリティ専門家の能力を増強します。

特筆すべきは、このツールがセキュリティインシデントの調査時間を大幅に短縮し、より迅速な対応を可能にする点です。また、セキュリティポリシーの作成や更新、リスク評価レポートの生成など、幅広いタスクをサポートしてくれます。

KELA株式会社：AiFort

KELA株式会社が提供する「AiFort」は、生成AI特有のセキュリティリスクに対応した先進的なソリューションです（※5）。AIモデルの学習データセットや模擬攻撃機能を通じて、企業の生成AI活用における安全性を高めます。

主な特長となるのが、最新の脅威動向を反映したトレーニングデータセット「AiFortData」と、AIモデルの脆弱性を診断する「AiFortRed」の組み合わせです。さらに、2024年には不正なプロンプトをリアルタイムで検知する「AiFortProtect」の提供も予定されています。

生成AIのセキュリティリスクへの取り組み事例3選

生成AIのセキュリティリスクへの取り組みの事例には、以下の3つが挙げられます。

1. 警視庁

2. 富士通

3. 日立

警視庁

警視庁は、フィッシングサイトの識別に生成AIを導入する画期的な取り組みを発表しました（※6）。うまく活用できれば、生成AIの高度な学習能力と分析力によって、従来の手法では見逃していた巧妙なフィッシングサイトも効率的に検出できます。

この取り組みは、増加の一途をたどる金融犯罪に対する強力な対抗手段となり、インターネットバンキングの安全性を向上させる可能性を秘めています。2025年度までの導入を目指すこのプロジェクトは、サイバーセキュリティの未来を切り開く重要な一歩となるでしょう。

富士通

富士通が開発した特殊詐欺防止訓練AIツールは、犯罪心理学と生成AIの融合というアプローチを採用しています。このツールの特筆すべき点は、最新の詐欺手口を反映した会話形式の訓練を提供することで、高齢者の防犯意識を効果的に向上させる点です。

従来の一方的な注意喚起とは異なり、ユーザーが擬似体験を通じて学習できる点が画期的です。さらに、AIが生成するフィードバックにより、個々のユーザーに合わせた具体的なアドバイスが可能となります。

この取り組みは、高齢者を狙った特殊詐欺への対策として、社会的にも意義を持つソリューションと言えるでしょう。

日立

日立チャネルソリューションズが開始したAI画像検知による特殊詐欺抑止の取り組みは、ATMセキュリティの代表例です（※8）。このシステムは、ATM内蔵カメラを活用し、取引中の不自然な携帯電話使用をリアルタイムで検知します。

従来の事後対応型の防犯策とは一線を画し、犯罪の予防に重点を置いたアプローチです。さらに、ATM取引と連動した判断や対応が可能となり、特定の取引に限定した効果的な対策を実現しています。この取り組みは、金融機関のセキュリティ対策に新たな指針を示すものと言えるでしょう。

まとめ

生成AIの活用は企業に可能性をもたらす一方で、セキュリティリスクという新たな課題も生み出しています。情報漏えい、ハルシネーション、データポイズニングなど、従来のITセキュリティでは想定外の脅威が次々と浮上しています。

このリスクに適切に対処するためには、AI利用ガイドラインの作成、データ保護の強化、アクセス制限の徹底、継続的なモニタリングと監視、そして従業員へのセキュリティ教育が不可欠です。

NOVEL株式会社のAIコンサルティングサービスは、最新のAI技術とセキュリティ対策に精通したエキスパートが、貴社の状況に合わせた最適なソリューションを提案いたします。生成AIの安全かつ効果的な活用に向けて、ぜひご相談ください。

【本記事の参考文献】

• ※1：テレビ会議でディープフェイク　英大手、40億円詐欺被害 - 日本経済新聞

• ※2：March 20 ChatGPT outage：Here's what happened | OpenAI

• ※3：NRIセキュア、生成AIを組み込んだシステム向けの セキュリティ監視サービス「AI Blue Team」を提供開始｜ニュース｜NRIセキュア

• ※4：Microsoft Copilot for Security | Microsoft Security

• ※5：生成AI特有の新たなサイバー脅威に対抗するセキュリティソリューション「AiFort」を提供開始 | KELA株式会社のプレスリリース

• ※6：生成AIで「フィッシングサイト」識別　警察庁が2025年度までに導入へ | 毎日新聞

• ※7：犯罪心理学と生成AIを融合し、特殊詐欺防止訓練AIツールを開発 ：富士通

• ※8：全国初、ATM内蔵カメラを利用したAI画像検知による特殊詐欺抑止の取り組みを開始 | 日立チャネルソリューションズ株式会社のプレスリリース