C
月内に
Googleの調査により、Webサイト上の外部データに悪意ある指示を仕込む「間接的プロンプトインジェクション」攻撃が増加していること
📌 一言でいうと
Googleの調査により、Webサイト上の外部データに悪意ある指示を仕込む「間接的プロンプトインジェクション」攻撃が増加していることが判明しました。攻撃者はGeminiやChatGPTなどの生成AIツールを欺き、セキュリティ回避やデータ窃取を狙います。現時点での攻撃の巧妙さは低いとされていますが、AIツールが外部情報を読み込む際の潜在的なリスクが浮き彫りになっています。
🏢影響範囲
生成AI（Gemini, Copilot, ChatGPT等）を利用してWebサイトや外部ドキュメントを解析・要約している個人および組織
✅該当時の対応
AIツールに外部URLや信頼できないドキュメントを読み込ませる際、出力結果を鵜呑みにせず、重要な操作（メール送信やデータ転送）を自動的に行わせない設定にする。また、AIの出力内容に不自然な指示や誘導が含まれていないか注意深く確認すること。
📧 メール案を見る (社員向け + 管理者向け)
⚠️ これは AI が生成した参考例です。配信前に必ず内容をご確認のうえ、貴社の状況に合わせて編集してご利用ください。実際の被害状況や自社の利用環境を踏まえた判断は、貴社のセキュリティ責任者にご確認ください。
件名: 【注意喚起】AIツール利用時の不審な回答への注意について
お疲れさまです。情報システム担当です。
ChatGPTやGeminiなどのAIツールでWebサイトの内容を要約させる際、サイト側に仕込まれた「罠」によって、AIが嘘の情報を教えたり、悪意ある操作を誘導したりする攻撃が増えています。
ご協力をお願いしたいこと:
1. AIが提示したURLを不用意にクリックしない
2. AIが「〇〇へメールを送ってください」などの指示を出した場合、内容を十分に確認し、安易に実行しない
3. 信頼できないサイトの情報をAIに読み込ませる際は、出力結果を過信しない
対応期限: 本日より継続的に注意してください
お疲れさまです。情報システム担当です。
ChatGPTやGeminiなどのAIツールでWebサイトの内容を要約させる際、サイト側に仕込まれた「罠」によって、AIが嘘の情報を教えたり、悪意ある操作を誘導したりする攻撃が増えています。
ご協力をお願いしたいこと:
1. AIが提示したURLを不用意にクリックしない
2. AIが「〇〇へメールを送ってください」などの指示を出した場合、内容を十分に確認し、安易に実行しない
3. 信頼できないサイトの情報をAIに読み込ませる際は、出力結果を過信しない
対応期限: 本日より継続的に注意してください
Subject: [Security Alert] Caution When Using AI Tools with External Content
Hi everyone,
We would like to alert you to a growing trend where malicious instructions are hidden on websites to trick AI tools (like ChatGPT or Gemini) into providing false information or misleading users.
Please follow these guidelines:
1. Do not blindly click on links provided by AI when summarizing external websites.
2. Be cautious if the AI suggests performing specific actions, such as sending an email or visiting a particular page.
3. Always verify critical information and do not over-rely on AI outputs from untrusted sources.
Deadline: Ongoing
Hi everyone,
We would like to alert you to a growing trend where malicious instructions are hidden on websites to trick AI tools (like ChatGPT or Gemini) into providing false information or misleading users.
Please follow these guidelines:
1. Do not blindly click on links provided by AI when summarizing external websites.
2. Be cautious if the AI suggests performing specific actions, such as sending an email or visiting a particular page.
3. Always verify critical information and do not over-rely on AI outputs from untrusted sources.
Deadline: Ongoing
件名: 【共有】間接的プロンプトインジェクション（Indirect Prompt Injection）の脅威について
お疲れさまです。AIアプリケーションにおける新たな脅威に関する情報共有です。
■ 概要
Webサイト等の外部データに悪意あるプロンプトを埋め込み、AIがそのデータを読み込んだ際に指示を上書きさせる「間接的プロンプトインジェクション」の事例が増加しています。これにより、セキュリティフィルタの回避や機密データの窃取が試みられます。
■ 影響範囲
- Gemini, Copilot, ChatGPT等の生成AIツールおよびそれらを組み込んだ社内アプリケーション
■ 対応手順
1. AIツールに外部データを入力させる際のユーザー教育の徹底
2. AIの出力をそのまま実行（API連携等）させるワークフローがある場合、人間による承認（Human-in-the-loop）を必須とする設計への見直し
3. WAFやコンテンツフィルタリングによる既知の攻撃パターンの監視
■ 参考情報
- Google Security Blog / SecurityWeek
対応優先度: 中
対応期限: 次回システムレビュー時まで
お疲れさまです。AIアプリケーションにおける新たな脅威に関する情報共有です。
■ 概要
Webサイト等の外部データに悪意あるプロンプトを埋め込み、AIがそのデータを読み込んだ際に指示を上書きさせる「間接的プロンプトインジェクション」の事例が増加しています。これにより、セキュリティフィルタの回避や機密データの窃取が試みられます。
■ 影響範囲
- Gemini, Copilot, ChatGPT等の生成AIツールおよびそれらを組み込んだ社内アプリケーション
■ 対応手順
1. AIツールに外部データを入力させる際のユーザー教育の徹底
2. AIの出力をそのまま実行（API連携等）させるワークフローがある場合、人間による承認（Human-in-the-loop）を必須とする設計への見直し
3. WAFやコンテンツフィルタリングによる既知の攻撃パターンの監視
■ 参考情報
- Google Security Blog / SecurityWeek
対応優先度: 中
対応期限: 次回システムレビュー時まで
Subject: [Technical Share] Threat of Indirect Prompt Injection
Hi team,
This is a technical update regarding the increase in Indirect Prompt Injection attacks.
■ Overview
Attackers are embedding malicious instructions within public web content. When a Gen-AI tool (e.g., Gemini, ChatGPT) processes this content, the embedded prompt overrides the system instructions, potentially leading to security bypasses or data exfiltration.
■ Scope
- Gen-AI tools and internal applications integrating LLMs that process external web data.
■ Mitigation Steps
1. Implement and enforce user awareness training regarding AI output validation.
2. Review automated workflows; ensure 'Human-in-the-loop' for any AI-triggered actions (e.g., sending emails, API calls).
3. Monitor for known prompt injection patterns via security layers where applicable.
■ Reference
- Google Security Blog / SecurityWeek
Priority: Medium
Deadline: Next system review
Hi team,
This is a technical update regarding the increase in Indirect Prompt Injection attacks.
■ Overview
Attackers are embedding malicious instructions within public web content. When a Gen-AI tool (e.g., Gemini, ChatGPT) processes this content, the embedded prompt overrides the system instructions, potentially leading to security bypasses or data exfiltration.
■ Scope
- Gen-AI tools and internal applications integrating LLMs that process external web data.
■ Mitigation Steps
1. Implement and enforce user awareness training regarding AI output validation.
2. Review automated workflows; ensure 'Human-in-the-loop' for any AI-triggered actions (e.g., sending emails, API calls).
3. Monitor for known prompt injection patterns via security layers where applicable.
■ Reference
- Google Security Blog / SecurityWeek
Priority: Medium
Deadline: Next system review