相手がAIだと気づかずに... 信頼構築を自動化する新たなロマンス投資詐欺の実態

WIREDの記事によると、AIチャットボットは、ソーシャルエンジニアリングにおいて人を上回るほどの効果を発揮する可能性があることが、研究で明らかになりました。リサーチャーが着目したのは、「豚の屠殺詐欺（Pig Butchering）」と呼ばれるロマンス投資詐欺の一種です。この手口では、詐欺師が数週間から数か月かけて被害者との信頼関係を築き上げた後、偽の投資話へ送金するよう仕向けます。

WIREDは次のように述べています。「リサーチャーは、詐欺師と被害者が関係を構築する段階においてAIチャットボットが極めて高い効果を発揮することを確認しました。人になりすますことに成功しただけでなく、いくつかの指標では、実験で詐欺師役を演じた人間さえも上回っていました。」

詐欺の大半は、悪意を感じさせない何気ない会話で構成されています。そのためリサーチャーは、一般で利用されているAIチャットボットであっても、この信頼構築の段階を自動化する目的で悪用され得ることを指摘しています。そして、いざ金銭を要求する段階に入ったところで、実際の詐欺師が引き継ぐという流れです。

研究を主導したベングリオン大学のコンピューターサイエンス教授、Yisroel Mirsky氏は次のように述べています。「詐欺の第一段階をすべてLLMに任せることで、被害者を強い信頼を寄せた状態にまで自動で引き上げることができます。そして詐欺の最後の局面で人へと引き継げば、AIツールに組み込まれた安全対策を完全に回避できてしまいます。わずかな労力で、人間よりも巧みに被害者の感情に入り込み、それを悪用するエージェントを作り出せてしまいます。」

興味深い結果もあります。実験の参加者に「先ほどの会話のうち1つはAIチャットボットだった」と後から伝えたところ、ほぼ全員がどれだったかを正しく見抜きました。ところが、伝えられる前にAIとの会話を疑っていた参加者は、わずか1名だけでした。研究者の一人であるGilad Gressel氏は、次のように指摘しています。「まさに詐欺とはこういうものです。被害者が事の真相に気づけば、後から振り返ればすべては明白です。しかし、その渦中にいる間は、何も見えないのです。」

AIネイティブのセキュリティ意識向上トレーニングは、従業員一人ひとりに健全な「疑う感覚」を身につけさせ、ソーシャルエンジニアリング攻撃の被害を未然に防ぐ力を養います。

KnowBe4は、従業員一人ひとりが日々の業務において、より的確なセキュリティ判断を下せるよう支援します。現在、世界で7万社を超える組織がKnowBe4のHRM+プラットフォームを信頼し、セキュリティ文化の醸成とヒューマンリスクの低減を実現しています。

詳細については、WIREDの記事をご参照ください。