AI時代のインシデント対応訓練——メール訓練だけでは守れない3つのシナリオ

「不審なメールに気をつけましょう」——その訓練だけでは、もう守れない。

多くの組織で、年に一度は標的型メール訓練が行われている。偽のメールを送り、開封率を測り、注意喚起をする。長く続けられてきた、意味のある訓練だ。

ただ、攻撃の側がAIで進化しているのに、訓練の側が10年前のままではないか——最近そう感じることが増えた。声も映像も偽装できる時代に、メール訓練だけで足りるはずがない。今回は、AI時代に合わせてインシデント対応訓練をどう更新するかを整理する。

攻撃はAIで進化し、訓練は止まっている
AI時代に備えるべき3つのシナリオ
シナリオ①：声・映像のなりすまし
シナリオ②：AIへの情報入力による漏洩
シナリオ③：AIの誤作動・暴走
机上訓練なら、1時間でできる
訓練の目的は「慌てないこと」だ

1. 攻撃はAIで進化し、訓練は止まっている
2. AI時代に備えるべき3つのシナリオ
3. シナリオ①：声・映像のなりすまし
4. シナリオ②：AIへの情報入力による漏洩
5. シナリオ③：AIの誤作動・暴走
6. 机上訓練なら、1時間でできる
訓練の目的は「慌てないこと」だ
関連記事

1. 攻撃はAIで進化し、訓練は止まっている

まず、いま何が起きているかを整理する。

生成AIの普及によって、攻撃の質が変わった。かつて詐欺メールを見抜く手がかりだった「不自然な日本語」は、もう当てにならない。AIが書く文面は自然で、誤字もない。「怪しい日本語に注意」という従来の教え方が、そのまま通用しなくなっている。

さらに深刻なのが、声と映像の偽装だ。以前の記事でも触れたが、ビデオ会議で相手の顔と声を偽装し、多額の送金を実行させた事例が実際に発生している。「本人の声を聞いた」「顔を見た」——これまで本人確認の最後の砦だった要素が、崩れつつある。

にもかかわらず、多くの組織の訓練は「偽メールを送って開封率を測る」ところで止まっている。攻撃側だけが進化して、防御側の訓練が10年前のままという状態は、そろそろ見直したい。

→ Gemini Omniで何が変わるか——業務効率化の革命とディープフェイク時代のセキュリティ課題

2. AI時代に備えるべき3つのシナリオ

AI時代の訓練で扱うべきシナリオは、大きく3つに整理できる。

① 声・映像のなりすまし——外部からの攻撃。AIで偽装された上司や取引先からの指示に、どう対応するか。
② AIへの情報入力による漏洩——内部からの流出。従業員が機密情報をAIに入力してしまったとき、どう動くか。
③ AIの誤作動・暴走——AI自体が起点。業務に組み込んだAIが誤った処理を実行したとき、どう止めるか。

従来の訓練が想定していたのは、ほぼ①の亜種（メールによる攻撃）だけだった。②と③は、AIを業務で使うようになって初めて生まれた、新しい種類のインシデントだ。ここを訓練に含めるかどうかが、AI時代への対応の分かれ目になる。

3. シナリオ①：声・映像のなりすまし

最初のシナリオは、外部からのなりすまし攻撃だ。

想定する状況：経理担当者に、社長の声で電話がかかってくる。「至急、この口座に振り込んでほしい。取引先との関係で急いでいる」。声も話し方も、間違いなく社長本人のものに聞こえる。

訓練で確認することは、「見破れるかどうか」ではない。見破れない前提で、どう行動するかだ。ここが重要な発想の転換になる。

確認すべきは次の点だ。金銭の支払いや機密情報の送付を求められたとき、その場で対応せず、別の経路で確認する手順が決まっているか。電話で受けた指示をチャットや対面で確認し直す、上長に共有する、といった動きが自然に出るか。そして、その確認を「疑ってすみません」と気まずく思わずにできる空気があるか。

技術で見破ろうとするのではなく、「重要な指示は必ず二経路で確認する」という手順を体に入れる——これがこのシナリオの狙いだ。

4. シナリオ②：AIへの情報入力による漏洩

2つ目は、内部からの情報流出だ。悪意はない。むしろ真面目に仕事をしようとした結果として起きる。

想定する状況：従業員が、顧客からのクレームメールへの返信文を考えるため、メール本文をそのままAIに貼り付けて相談した。そのメールには顧客の氏名と連絡先が含まれていた。

訓練で確認することは3点ある。

まず、本人が「これはまずかったかもしれない」と気づけるか。気づけなければ、報告も対応も始まらない。次に、気づいたときに、すぐ報告できるか。「怒られる」と思って黙ってしまうのが最悪のパターンだ。そして、報告を受けた側が、何を確認しどう対応するかを判断できるか。入力先のサービスは学習に使われる設定だったのか、削除は可能か、顧客への報告が必要な事案か——ここを冷静に切り分けられるかが問われる。

このシナリオの本当の狙いは、「怒らない文化」を確認することにある。報告した人を責める組織では、次から誰も報告しなくなる。訓練の場で「報告してくれてありがとう」と言えるかどうかが、実際の初動の速さを決める。

→ 社内AI利用ルールの作り方——A4一枚で始める4つの構成要素【テンプレート配布】

5. シナリオ③：AIの誤作動・暴走

3つ目は、AIを業務に組み込んでいる組織向けのシナリオだ。まだ該当しない会社も多いが、これから確実に増える。

想定する状況：業務に組み込んだAIが、誤った判断で処理を実行してしまった。たとえば、在庫管理を任せたAIが不要な大量発注をかける。あるいは、メール対応を任せたAIが、誤った内容を顧客に送信する。

厄介なのは、エラーで止まるのではなく、正常な処理として完遂されてしまうことだ。システムは何も警告を出さない。人が気づいたときには、すでに実行されている。

訓練で確認することは、大きく2つ。「止め方」を知っているか——誰が、どうやってAIの処理を停止できるのか。緊急停止の手順が決まっていて、担当者以外も実行できるか。そして「範囲の特定」ができるか——どこまでが実行済みで、どこから先を止められたのか。ログを追える状態になっているか。

AIに任せる範囲を広げるなら、同時に「止める設計」も持っておく必要がある。アクセルとブレーキはセットだ。