AIが話す通話でのフィッシングで人を騙すことができることが証明されました。
これは新しく恐ろしい発見です。5月に行ったウェビナー「Reality Hijacked（乗っ取りの現状）」に参加された方は、私が調査しているAIを利用したいくつかのヴッシングボットのデモをご覧になったと思います。
先日開催されたDEFCONソーシャルエンジニアリングビレッジのCTF（ハッキングコンテスト）において、この攻撃の「実戦的なテスト」が初めて行われました。実際には、「John Henry Competition（ジョンヘンリーコンテスト）」と題されたオープンイベントでこの実験が行われました。このイベントの目的はAIをテストすることであり、AIを利用するボイスフィッシング（ヴィシング）ボットが、経験豊富なソーシャルエンジニアと同等のパフォーマンスを発揮できるのかを調べることでした。
AIは人間と同じように高度なソーシャルエンジニアリングを行うことが可能である
このデビュー戦におけるAIのパフォーマンスは印象的でした。ボットは、軽口や冗談を交えて対話しており、即興で会話し、標的を飽きさせることはありませんでした22分間の制限時間が終了するまでに、人間のチームが12個の目標を達成したのに対し、AIを利用するシステムは17個の目標を達成しました。
ここからが面白いところです。会場にいた誰もが当然、AIボットが勝利したと思いました。AIボットは明らかに多くのフラグをすばやく回収して得点を重ねていました。しかし、勝利したのは人間のチームでした。結果は、1,500点対1450点と僅差でした。このコンテストの結果には、誰もが衝撃を受けました。
人間のチームの勝利を決定付けたのは、より高い価値の目標を達成するのではなく、通話の開始時により高いポイント価値のフラグを獲得できるという驚くべき理由でした。
勝敗を分けた理由は、人間の方が標的を信頼させやすかったことではありません。標的がAIではないかと疑っていたことでもありません。戦略と騙し文句(つまり、LLM:大規模言語モデルに組み込み可能なこと)だったのです。ではコンテストの詳細について説明していきましょう。
注目点：
- 私たちが使用した環境は、すべて一般的に利用できる市販のSaaS製品から構築されていました。各製品の月額利用料は0ドル～20ドルです。これは、ユーザーを騙すことができる兵器レベルの強力な能力が、インターネット接続さえあれば事実上誰でも利用できる新たな時代が到来している現実を示しています。
- 私たちがヴィッシングボットに採用したLLMプロンプトの方法は、「ジェイルブレイク」や複雑な操作を必要としていません。驚くほど簡単な操作です。実際、DEFCON 32のソーシャルエンジニアリングビレッジのヴィッシングコンテストに参加することを、プロンプトで明確に伝えています。
- 使用したプロンプトエンジニアリングはそれほど複雑なものではありませんでした。使用された各プロンプトは約1500字で、非常に簡潔に記述されていました。
- 使用された各コンポーネントは、許容されている「安全な」パラメーターと考えられる範囲内で機能していました。この方法では、互いに知られることなくコンポーネントを統合することができ、兵器化することが可能になります。
- ボットからの電話を受けた標的は、誰一人として躊躇せずに行動しました。これらの標的は電話の相手側の音声を、人間からの電話と思って行動していました。
私たちが直面している赤裸々な事実
AIを利用する詐欺は前例のない規模で展開され、同時に何千もの標的に仕掛けられる恐れがあります。これらのデジタル詐欺師は、疲れることもなく、緊張して口ごもることもなく、24時間休みなく働き続けることができます。このテクノロジーの一貫性と拡張性は、ソーシャルエンジニアリングの世界にもパラダイムシフトをもたらしています。
最も不安をかきたてたのは、AIが人のようにやり取りする能力でしょう。このような電話を受けたユーザーは、マシンとやりとりしているとは思いもしていませんでした。私たちが創り出したデジタルテクノロジーは、ハイリスクな現実の環境でのチューリングテストもクリアしており、人とAIとのやり取りの境界線がかつてないほど曖昧になっています
生成AIを利用するバーチャル誘拐犯との会話
翌日、私はAIビレッジで「My Conversations with a GenAI-Powered Virtual Kidnapper（生成AIを利用するバーチャル誘拐犯との会話）」というテーマで講演を行いました。セッションは立ち見が出るほどの盛況で、隣のビレッジまで参加者があふれ、このテーマへの関心の高さを物語っていました。
この講演では、バーチャルな誘拐シナリオをシミュレートできる、より危険で完全にジェイルブレイクされたボットのデモを行っています（このデモは、私の「Reality Hijacked（乗っ取りの現状）」」ウェビナーでもプレビューできます）。また、ボットの境界線をテストしながら、ボットとやりとりしたときに分かった興味深い癖や手法についても説明しています。AIテクノロジーがこのように邪悪な方法で悪用される場合、甚大な被害が生じる恐れがありますので、今後の記事でも議論していきたいと思います。
このデモと講演を行ってから、私が説明したシナリオを可能にした手法や脆弱性についての詳細を知りたいと連絡してくれた企業やベンダーが多く、勇気づけられました。AIによる詐欺がもたらすリスクを理解し軽減するために企業が協力して取り組む中で、このような対話は実り多いものになるはずです。
警鐘としてのコンテストの意味
今回のコンテストとその後で実施されたデモは、重要な警鐘となります。これは、将来起こりうる脅威について単に理論的に説明しているわけではありません。デジタル詐欺の新しい時代が到来していることを示しています。今問われているのは、AIが説得力のある方法で人間になりすますことができるかどうかではありません。私たちの社会がこの新しい現実にどう適応していくかです。
このようなトピックに関心があり、自分や組織、そして家族を守るために何ができるかを知りたい方は、私の新しい書籍『FAIK: A Practical Guide to Living in a World of Deepfakes, Disinformation, and AI-Generated Deceptions（欺瞞の世界：ディープフェイク、ディスインフォメーション、AIによる詐欺が広がる世界で生きるための実践ガイド』をぜひご覧ください。本書は、AIの策略を見抜き、AIの利用が広がるこの世界で人格的自律を維持するための戦略について説明しており、この新しいデジタル環境を生きるために必要な知識とツールを提供することを目的としています。本書籍は、10月1日に発売されます（予約受付中）。
原典：Perry Carpenter著 2024年8月16日発信https://blog.knowbe4.com/proved-unsuspecting-call-recipients-are-super-vulnerable-to-ai-vishing