イスラエルの研究者が、衝撃的な研究結果を公開しました。その研究結果と解説ビデオを以下に掲載します。
この1年間で、多くの企業が生成AIの機能を、新規および既存のアプリケーションに組み込むようになり、相互接続される生成AIエコシステムが形成されています。このエコシステムは生成AIサービスによって実行される半／完全自律型のエージェントから構成されます。
これらの生成AIによるエージェントがもたらすリスクには、会話の文脈を理解する能力を利用した攻撃である「ダイアログポイズニング」、プライバシー情報の漏えい、ジェイルブレイクなどが指摘されており、現在も研究が続けられていますが、以下のような重大な問題が浮かび上がっています。それは、攻撃者がエージェントの生成AIコンポーネントを悪用するマルウェアを開発し、生成AIエコシステム全体にサイバー攻撃を仕掛ける恐れがあることです。
この3分間のビデオでは、この攻撃の概要を伝えています。
これらの研究者が公開した調査結果では、攻撃のための自己複製プロンプトを使用することにより、生成AIエコシステムを標的とするように設計された初のワーム「Morris II」について説明しています。この研究では、攻撃者がこのようなプロンプトを生成AIモデルへの入力として挿入して処理させることで、このモデルがこれらの入力を出力として複製（レプリケーション）し、悪意のあるアクティビティ（攻撃用のペイロード）を実行させることができることを示しています。
さらに、これらの入力は、生成AIエコシステム内の接続性を利用して、エージェントに新しいエージェントへの攻撃命令の配信（伝播）を強制させています。2種類の入力データ（テキストと画像）を使用し、2つの設定（ブラックボックスアクセスとホワイトボックスアクセス）の下で、スパム配信と個人データの抽出の2つのユースケースにおいて、生成AIを利用するメールアシスタントにMorris IIを適用した結果を実証しました。
このワームは3つの生成AIモデル（Gemini Pro、ChatGPT 4.0、LLaVA）に対してテストされ、ワームの性能に影響を与えるさまざまな要因（伝播速度、複製、悪意のあるアクティビティなど）が検証されました。
最近、研究者はAIのセキュリティについて懸念される調査結果を明らかにしています。これらの研究者は、RAG（Reward-Attributed Adversarial Generation）と呼ばれる手法によって、GPTテクノロジーをどのように武器化できるかを実証しました。RAGを活用することで、サイバー攻撃者はGPTモデルを操作して有害なコンテンツを生成したり、悪意のあるアクティビティを実行したりできます。この概念が実証されたことで、AIテクノロジーが悪用される恐れ、そして、これらの攻撃を防ぐための堅牢なセキュリティ対策の必要性が改めて提起されています。
このビデオと調査結果が掲載されたサイトを以下に掲載します。アクセスするには、ブラウザーをシークレットモードに切り替える必要がある場合があります。
https://sites.google.com/view/compromptmized
原典：Stu Sjouwerman著 2024年3月27日発信 https://blog.knowbe4.com/scary-research-shows-weaponized-genai-worm-that-gets-distributed-via-a-zero-click-phishing-email
