私は、長年にわたり、ロマンス詐欺を見破る手助けをしてきました。ロマンス詐欺では、有名人や一般の人の写真が使われることが今でも非常に一般的です。
特に、ギリシャ出身の有名な作曲家でありシンセサイザー奏者のYanniと恋に落ちたと語った女性の話は忘れられません。Yanniは、女優の妻Linda Evansと離婚し、被害女性と結婚するためにお金が必要だと伝えました。YanniとLinda Evansが結婚しているどうかは簡単に確認できることですが被害女性は確認していなかったようで、私が被害女性に結婚の事実がないことを伝えると、彼女は私との連絡を絶ち、財産がなくなるまで偽のYanniにお金を送り続けました。
被害者が相手にしている人は、被害者が思っている人とは違う人物であることを納得させるための一つの方法は、詐欺師が見つけることや作ることが難しい状況や物体を持った写真を要求することです。
例えば、Yanniに（被害者に自慢していた）愛車のオープンカーに乗って窓から顔を出している写真や、車体の屋根に指を突っ込んでいる写真を要求することです。または、今日の日付の新聞を掲げた写真でもいいでしょう（使い古したアドバイスですが）。実在の人物には簡単なことですが、詐欺師にとって迅速に作成することが難しいシナリオにします。
通常、詐欺師は要求された写真の送付を拒否し、被害者の不信感の高まりに、逆ギレして騙し続けようとしたり（例えば、「どうして私だと信じてくれないんだ！」）。あるいは、詐欺師はこれ以上続けることが難しいと判断し、疑心暗鬼に陥っている被害者との連絡を絶ちます。
しかし時間の経過とともに、多くの詐欺師がAdobe Photoshopを巧みに使いこなすようになり、私のアドバイスはあまり効果を発揮しなくなりました。被害者が要求する奇妙な組み合わせの写真でも、詐欺師が迅速に対応できるようになったことに驚かされました。詐欺師がその場限りの写真をすばやく被害者に提供することで、私の指摘が誤りであると証明され、被害者は真実の愛が詐欺であると指摘した私をさらに憎むようになってしまいます。
現在のAIを利用したディープフェイクは、ロマンス詐欺をはるかに容易にします。私がこのブログで紹介したように、誰もがわずか数分でリアルなディープフェイク画像、動画、もしくは音声を作成することができます。「初めてであってもリアルなディープフェイク動画を作成するのは非常に簡単で、作成前に必要な無料アカウントを設定する時間（1~2分）の方が長くかかるでしょう」と私は述べました。
KnowBe4のチーフヒューマンリスクストラテジストであるPerry Carpenterによる、自身のイメージと有名人のイメージを組み合わせた素晴らしいビデオもご覧ください。
現在、詐欺師はAIを活用したディープフェイクツールをフル活用しています。ディープフェイクの調査会社であるiProovは、「合成画像」作成に特化した60以上のディープフェイクグループを発見しました。あるグループには11万4千人以上のメンバーが所属していました。また、iProovは100以上の「フェイススワップリポジトリ」を見つけました。
以下は、AIを利用したフィッシングキットに関する最近の報告です。
これらのキットは実際に詐欺師に使われています。AIを利用したディープフェイクが実際の詐欺に使われた例を紹介します。
人々の顔を盗み、その人になりすまし、大金を送金するために要求される顔認証を突破するマルウェアは既に存在します。詳細はこちらをご覧ください。
Gartnerの予測によると、来年までに組織の30%が単要素認証の生体認証ソリューションを信用しなくなるとされています。残りの70%の組織はどうなるでしょうか？
新しいNISTのデジタルアイデンティティガイドラインでは、米国政府は生体認証を利用する場合、物理的な認証トークン（例：YubiKey）と組み合わせることを求めています。これは、物理的な認証トークンが米国政府に許可された信頼できる認証手段であることを示していると言えるでしょう。
ブラッド・ピット詐欺
当然のことながら、ロマンス詐欺師はAIを利用したディープフェイクを使って有名人になりすまします。詐欺師によく使われる有名人がブラッド・ピットです。ある女性は、現在の実生活の夫との離婚を勧められ、離婚で得たお金85万米ドルをブラッド・ピットになりすました詐欺師に送金しました。
以下は被害者が受け取った詐欺に使われた画像の一部です。どうやらブラッド・ピットは体調が悪かったようです。このような状況は被害者の共感を呼び、金銭的な支援を要求するのに適しています。
AIに精通した人々は、これらの画像が偽物であることをすぐに見抜けると指摘していますが、被害者のほとんどはAIの専門家ではありません。偽のブラッド・ピットは被害者にたくさんの愛の詩を送っていましたが、それも間違えなくAIによって生成されたものでしょう。被害者は、偽のブラッド・ピットが女性と話をするのが上手だと述べていますが、おそらく詐欺師が使ったAIが女性と話をするのが上手だったと言う方が事実でしょう。
上記のPerry Carpenterのビデオを含む最近見た多くのデモでは、AIが十分に機能し、被害者の質問に対してほぼリアルタイムで、動画による回答が可能になっていることが示されています。あと数か月もすれば、AIによるリアルタイムの対応サービスが利用可能になるでしょう。
ほとんどの人は、有名人を悪用した詐欺に引っかかることはないでしょう。ブラッド・ピットやその他の有名人と恋に落ち、さらに、金銭を要求するなんて信じるはずがありません。しかし、タイミングや状況、あるいは内容によって、誰もが何らかの詐欺にあう可能性があります。私たちは誰もが詐欺の被害者になる可能性があるのです。
私たちができること – 防御策
メールは、もはや完全な真実ではないので信頼できないと教えられ、SMSメッセージ、音声通話、ソーシャルメディア、WhatsAppのようなチャットアプリ、さらに現実世界の会議でさえ警戒するようになりましたが、現在では、予期せず受け取った音声、画像、ビデオにも同様の警戒が必要です。
AIによる生成かどうかに関係なく、もし予期せぬメッセージが届き、その内容が（少なくともその送信者から）今までに依頼されたことのないものであれば、対応したり感情的に反応したりする前に、他の方法でメッセージの内容を確認することが重要です。確認すべきポイントは次の通りです。
現在、そして今後の、悪質な詐欺メッセージの見分ける最適な方法を簡潔に紹介します。まず連絡が予期せぬものであるか、その内容が今まで依頼されたことのないものであるか（その依頼者から）、行動を起こす前に一度立ち止まり、考えてください。すべての詐欺に効果があるわけではありませんが、大半の詐欺に対して有効です。
このアプローチで考える習慣を身につけてください。家族や従業員にも同様のアプローチを教え、訓練してください。組織が特定の期間に攻撃を受けるかどうかは、あなたがこのアプローチをどれだけ広め、従業員がこのスキルを身につけて実践できるかにかかっています。
これはAIかどうかにかかわらず、あらゆるソーシャルエンジニアリング詐欺に当てはまります。
AIを利用したディープフェイクに対抗するには、AIを使ったコンテンツを検知するツールが有効だと言う人がいますが、これは防御戦略上一つの問題があります。ベストセラー書籍であるPerry CarpenterのFAIK: A Practical Guide to Living in a World of Deepfakes, Disinformation, and AI-Generated Deceptions（FAIK:ディープフェイク、ディスインフォメーション、AIが生み出す欺瞞の世界で生きるための実践ガイド）に記載されているアドバイスに従う方が良いでしょう。PerryはAIの主な課題を次のようにまとめています。
私たちが使用するほぼすべてのツールやサービスはAIを活用し、何らかの形で私たちを支援するようになるでしょう。ソーシャルメディアでは、AIによって、これまで以上に洗練されたテキスト、音声、画像、動画が作成され、実際よりも一段上の自分を演出することができます。すでに多くの音声、画像、動画ツールがAIを使用しており、今後もさらに多くのツールがAIを使用することで、私たちが魅力的に感じるコンテンツが作成できるようになるでしょう。現在の世界では、非常に多くの正当なコンテンツがAIによって生成または支援されているため、真偽を判定するための検出ツールに、AIによって生成されたものかどうかを尋ねることは、もはや意味を持ちません。
*PerryのFAIK書籍はご購入いただく必要があります。
その音声、画像、動画はAIによって生成されたものですか？という質問への回答は「その通りです！」となります。AI検知ツールが将来的に生成されるすべての音声、動画、画像にどのように反応するのかは、前述の通りです。
ここで自分自身へ投げかけるべき重要な質問は、あなたが言われていることや見せられているものが、悪意を持って意図的に欺こうとしているかどうかです。
コンテンツが現実かAIかは重要ではなく、悪意をもって欺こうとしているかという点に注目してください。画像がフェイクっぽく見えるとか、指がぼやけているという点ではありません。
つまり、「これはAIか？」に対する感度を高めていくのではなく、「これはユーザーを騙そうとしているコンテンツであるか？」に高い注意を払うべきです。
メッセージに注目してください。あなたを騙そうとしている人は、あなたと連絡を取る必要があります。問題は、詐欺師がどのようにコミュニケーションをしようとするかです。メールなのかソーシャルメディアなのか、もしくはAIを利用したディープフェイクなのかということです。
おわりに
ディープフェイクが簡単に作成できる時代になりました。これまでもそうでしたが、今後ディープフェイクの作成はさらに簡単に、さらに一般的になるでしょう。しかし、私たちは決して無力ではありません。何もせずに何度も詐欺にあうようなことはありません。すべてのサイバー防御ツールはAIを活用し、AIによる詐欺（または人による詐欺）に対して、より優れた保護を提供します。
詐欺はメールやテキストメッセージだけでなく、今後はすべての音声、画像、動画にも紛れ込む可能性があるため、注意が必要です。詐欺を仕掛けるメッセージやコンテンツには、必ず悪意が含まれています。リアルな私であろうがハイブリッドの私であろうが、悪意のある部分は変わりませんのでメッセージの内容に注意してください。悪意のある部分とは、パスワードを送れとか、どこかへ送金しろとか、あなたの利益を害するような行為を求めるものです。
同僚が、騙そうとする行為を見抜くための手助けを求めているなら、Perry Carpenterの書籍を紹介してください。
KnowBe4のお客様でしたら、KnowBe4のビデオやそのほかのコンテンツをご自身や同僚の教育にお役立てください。
原典：Roger Grimes著 2025年1月17日発信 https://blog.knowbe4.com/brad-pitt-romance-scams-pushed-by-ai-enabled-deepfakes