AIはもはや単なるツールではなく、私たちの生活、仕事、そしてサイバーセキュリティとサイバー犯罪の両方におけるゲームチェンジャーとなっています。
組織がAIを活用して防御を強化する一方で、サイバー犯罪者はAIを使って攻撃をより大きく、効率的なものにしています。
リサーチャーたちは、2025年に、AIエージェントがサイバー攻撃とサイバーセキュリティ防御の両方に革新をもたらすと予測しています。AIエージェントとは、ユーザーが簡単な指示を入力するだけで、複雑なタスクを実行できる自律型AI駆動システムです。AI搭載のチャットボットはしばらく前から存在していましたが、AIエージェントはアシスタントの領域を超え、リアルタイムで計画、実行、適応する自己学習型のデジタル作業者として機能します。これらの進歩はサイバー犯罪者の戦術を強化するだけでなく、サイバーセキュリティの戦場を根本的に変える可能性があります。
サイバー犯罪者はAIをどのように武器化しているか：新たなThreat Landscape
AIはサイバー犯罪を変革し、攻撃を以前より拡張性があり、効率的で、アクセスしやすいものにしています。WEF Artificial Intelligence and Cybersecurity Report（2025年）によると、AIがサイバー脅威を民主化し、サイバー犯罪者がソーシャルエンジニアリングを自動化し、フィッシングキャンペーンを拡大し、AI駆動型マルウェアを開発することを可能にしていることを強調しています。同様に、Orange Cyberdefense Security Navigator 2025は、AI搭載のサイバー恐喝、ディープフェイク詐欺、敵対的AI技術について警告しています。
また、2025 State of Malware Report by Malwarebytesによると、生成AIはサイバー犯罪の効率性を高めた一方、攻撃方法は以前と変わっていません。AIによって強化はされていますが、攻撃者はまだフィッシングやソーシャルエンジニアリング、サイバー恐喝に依存しています。しかし、これらの攻撃法は、計画や行動など、複雑なタスクの実行が可能な自律型AIシステムであるAIエージェントの台頭とともに変化する見込みであり、サイバー犯罪の将来に大きな影響をもたらすことが予想されます。
サイバー犯罪者によるAIの一般的な（悪）用途のリストは以下の通りです：
AI生成フィッシングとソーシャルエンジニアリング
生成AIと大規模言語モデル（LLM）により、サイバー犯罪者は文法や綴りの間違いなどの通常の警告サインなしに、複数の言語でより洗練されたフィッシングメールを作成できます。AI駆動のスピアフィッシングにより、犯罪者はターゲットのオンライン活動に基づいてメッセージを自動的に調整し、フィッシングメールを以前よりかなりパーソナライズすることが可能になりました。
攻撃者は、侵害することに成功した内部アカウントから送信する、フィッシングメールにAIを使用して攻撃の成功率を高めています。AIはまた、偽のフィッシングウェブサイト、水飲み場型攻撃、チャットボット詐欺の作成を自動化し、これらはAI搭載の ‘サービスとしてのクライムウェア’ (Crimeware as a service) として販売され、サイバー犯罪へ参入するハードルをさらに低くしています。
ディープフェイクによって強化された詐欺と偽装
ディープフェイク音声とビデオの詐欺は、ビジネスエグゼクティブ、同僚、または家族になりすまして被害者をだまし、お金を送金させるなど、機密データを明らかにさせるために使用されています。2024年の最も大きな事件では、英国を拠点とするエンジニアリング会社Arupで、香港を拠点とする従業員の一人がビデオ通話でディープフェイクのエグゼクティブにだまされ、2500万ドル（約37億円）を失いました。攻撃者はまた、ディープフェイク音声技術を使い、困っている親族や経営幹部になりすまし、緊急の金融取引を要求しています。
コグニティブ攻撃
Susserら（2018年）は’Online Manipulation’（オンライン操作）を「他者の意思決定力を破壊するもの」と定義します。AI駆動のコグニティブ攻撃は、オンライン操作の範囲を急速に拡大しており、デジタルプラットフォームを活用し、生成AIを使用して現実味のあるフェイクコンテンツを作成し、検出を回避しながら世論を形成しています。
これらの戦術は、選挙を影響、誤情報を広める、民主的機関への信頼を損なうためなど、悪意を持って展開されています。従来のサイバー攻撃とは異なり、認知攻撃はシステムを侵害するだけではなく、標的が気づいていない間に、ゆっくりと行動や信念を巧みに操作します。誤情報キャンペーンにAIを統合することによって、これらの脅威の規模と精度が劇的に増加し、検出や対策がより困難になります。
LLMの採用によるセキュリティリスク
企業用のAIチャットボットおよびLLMを採用することで、脅威アクターによって悪用される以外、他にも重大なセキュリティリスクが伴います。特に、テストを行っていないAIインターフェースで、オープンネットワークをバックエンドのシステムや機密データに接続する場合、攻撃者に悪用される可能性が高く、プロンプトインジェクション、コンテンツイベージョン、DoS攻撃など、新たな攻撃経路ができます。マルチモーダルAIは、画像や音声に悪意のあるコマンドを埋め込むことが可能なため、リスクがさらに拡大します。
さらに、多くの現代のLLMは現在、検索拡張生成（RAG）システムとして機能し、外部ソースからリアルタイムデータを取り込んで応答を強化しています。これは応答の精度を向上させる一方で、データ汚染、誤情報の拡散、アタックサーフェスのさらなる露出など、追加のリスクをもたらします。攻撃者によって侵害または操作されたソースは、AIが出力する情報を操ることができるため、不正確かつ有害な情報を提供してしまう可能性があります。
LLM内のバイアスは、さらに別の課題をもたらします。これらのモデルは、偏りのある、古い、有害なバイアスを含む可能性のある膨大なデータセットから学習するためです。これは誤解を招く出力、差別的な意思決定、あるいはセキュリティの誤判断につながり、脆弱性を悪化させる可能性があります。LLMの採用が拡大するにつれて、特にRAG搭載モデルでの厳格なセキュリティテスト、バイアス監査、リスク評価は、悪用を防ぎ、偏りのないAI駆動の意思決定を確保するために不可欠です。
AIが暴走した場合：自律型エージェントの危険性
最近の研究で実証されたように、AIシステムが自己複製能力を持つようになり、制御不能なAI拡散、または、作成者やユーザーに反して暴走するAIシステムのリスクが高まっています。セキュリティおよびAIのリサーチャーは、自律型AIエージェントがデータ、API、および外部統合へのアクセスを許可を得ていると、AIの暴走が発生する可能性があることを懸念しています。AIによる統合や自動化の範囲が広ければ広いほど、AIが暴走する可能性は大きくなり、このリスクを軽減するためには堅牢な監視、セキュリティ対策、および倫理的AIガバナンスが不可欠です。
サイバー犯罪における自動化のためのAIエージェントの未来
サイバー犯罪におけるより破壊的な変化は、AIエージェントからもたらされます。AIエージェントはAIを受動的なアシスタントから複雑な攻撃を計画および実行できる自律的な行動者に変えます。Google、Amazon、Meta、Microsoft、Salesforceはそれぞれ、ビジネス用のエージェント型AIを開発していますが、サイバー犯罪者がAIエージェントを使い始めると、かなりの悪影響がでることを警戒すべきです。AIエージェントは、自動的に脆弱性をスキャンし、セキュリティの弱点を悪用し、サイバー攻撃を大規模に実行するために使用できます。
また、AIエージェントによって、攻撃者はSNSから大量の個人データをスクレイピングし、従業員に上司から偽のリクエストを自動的に送信、離婚記録を分析し、ロマンス詐欺の標的となる個人を特定するなど、高度な攻撃が可能になります。これらのAI駆動の攻撃は現時点の攻撃を拡大するだけでなく、よりパーソナライズされ、検出を難しくします。現在の生成AI脅威とは異なり、エージェント型AIはサイバー犯罪の全てを自動化する可能性があり、リスクを増幅します。
防御側がAIとAIエージェントをどのように使用できるか
組織はAI駆動の脅威に対して、受動的なスタンスのままでいることはできません。セキュリティプロフェッショナルの方々は、最新の開発動向を把握する必要があります。
下記に、AI脅威に対してAIを使った対策例を提示します：
AI搭載の脅威検出と対応：
セキュリティ担当の部署は、AIとAIエージェントを活用して、リアルタイムでネットワークを監視し、異常を特定し、人間のアナリストよりも速く脅威に対応することができます。AI駆動のセキュリティプラットフォームは膨大な量のデータを自動的に相関させ、見過ごされがちなな攻撃パターンを検出し、流動的な脅威モデリング、リアルタイムのネットワーク行動分析、高度な異常検出などが作成できます。
Orange Cyber Defenceのリサーチャーが概説しているように、攻撃者が正常なユーザー行動を模倣する’Living off the Land’（環境寄生型攻撃）技術を多く使用しているため、正当な活動と実際の脅威を区別が難しくなっており、AI支援の脅威検出は重要です。異常なトラフィックパターンやリクエスト数を分析することで、AI駆動システムは素早く異常を特定し、リアルタイムにアラームが反応することによって、より迅速な対応が可能になります。
AIエージェントには潜在的な大きなポテンシャルがあります。しかし、人間のアナリストは引き続き重要です。人が持つ直感力と適応力は、攻撃パターンを認識することに活きます。また、洞察力や実際のインシデントの経験を活用してリソースを効果的使うためには人の力が不可欠です。
フィッシングと詐欺防止の自動化：
AI搭載のEメールセキュリティソリューションは、言語パターンとメタデータを分析して、従業員に届く前に、AI生成のフィッシングを識別し、通常のメールとは異なるパターンや行動を分析できます。AIはまた、送信者の異常な行動にフラグを立て、BEC攻撃の検出を改善することができます。同様に、検出アルゴリズムは通信の信頼性を検証し、なりすまし詐欺を防止するのにも役立ちます。AI搭載の生体認証と音声分析ツールは、声や動画の不整合を特定してディープフェイクメディアを検出します。※ただし、テクノロジーが進化し続けているため、リアルタイムのディープフェイク検出は依然として大きな課題です。
ユーザーの教育とAI搭載のセキュリティ意識トレーニング：
KnowBe4のAIDAのような、AI搭載プラットフォームは、パーソナライズされたセキュリティ意識トレーニングを提供し、AI生成の攻撃シミュレーションを実施して、進化する脅威についてユーザーを教育します。従業員を教育することで、AI生成コンテンツを認識し、「人」の脆弱性を強化するのを支援します。
敵対的AI対策：
サイバー犯罪者がセキュリティをバイパスするためにAIを使用するのと同じように、防御側は敵対的AI技術を採用することができます。AI生成のハニーポットのような技術を展開することで、攻撃者を誘導し、追跡することが可能になります。進化する攻撃パターンに対抗するために防御的AIモデルを継続的にトレーニングすることも必要です。
AIを使ってAI駆動の偽情報と詐欺と戦う：
AI搭載ツールは合成テキストとディープフェイクによる悪意のある偽情報を検出し、ファクトチェックとソース検証をサポートします。詐欺検出モデルはニュースソース、金融取引、AI生成メディアなどを分析して、攻撃者によって工作された情報にフラグを立てることができます。CountercloudやO2テレコムのAIエージェント’Daisy’のような、攻撃者に対するカウンター攻撃の研究プロジェクトが示すように、AIのボットやディープフェイクリアルタイム音声チャットボットは、攻撃者を長時間の会話に引き込んで時間を稼ぎ、実際の被害者を生むリスクを低減するなど、攻撃に対して対策を取ることができます。
攻撃する側と防御する側の両方がAIを使用する未来では、防御する側は、敵対的AIがどのように機能するか、そしてAIを使用してそれらの攻撃にどのように防御するかを認識する必要があります。この急速に変化する環境において、組織は、自己満足という最大の敵から身を守る必要があります。最新の、流行しているAIセキュリティツールの採用を急ぐのではなく、組織はこのAIツールが実際のAI脅威から守ってくれるのか、慎重に評価すべきです。戦略的に評価を行わなければ、新たな脆弱性が生じる可能性があります。サイバーセキュリティの将来を確保するためには計画的なアプローチが不可欠です。
このAI駆動のデジタル競争で先を行くために、組織は次のことを行うべきです：
✅ 脅威とAIの両方の最新状況を把握する
✅ ディープフェイクやAI生成フィッシングを含む、最新のAI駆動の脅威について従業員を頻繁にトレーニングする
✅ 脅威インテリジェンスとインシデント対応を含む、積極的なサイバー防御のためにAIを展開する
✅ 自社のAIモデルを敵対的攻撃に対して継続的にテストする
原典：Anna Collard著 2025年3月12日発信 https://blog.knowbe4.com/ai-and-ai-agents-a-game-changer-for-both-cybersecurity-and-cybercrime