AI による欺瞞: 生成 AI が詐欺に利用される仕組み

生成 AI 技術は、テキスト、画像、音声、動画など、人間が行うのとまったく同じように新しいコンテンツを作成するために使用できます。この技術は、信じられないほど人気が高まり、広く普及しています。ユーロポールのレポートでは、オンライン コンテンツの 90% が数年以内に AI で生成される可能性があると予測されています。ただし、生成 AI は諸刃の剣です。一方で、生成 AI はさまざまな分野で計り知れない可能性を秘めています。インテリジェントなチャットボットを通じて顧客サービスを強化したり、アートや音楽を生成することでクリエイティブ産業を支援したり、複雑な生物学的プロセスをシミュレートすることで医療研究を支援したりすることができます。ただし、これらのイノベーションを推進する同じ技術が、悪意のある行為者によって武器化される可能性もあります。

最近、この技術を不正行為に悪用するケースが急増しています。生成モデルがますます洗練されるにつれ、悪意のある人物が悪意のある目的でそれを悪用する方法も洗練されつつあります。生成 AI が悪用されるさまざまな方法を理解することは、堅牢な防御策を開発し、デジタル プラットフォームの完全性と信頼性を確保する上で不可欠です。悪意のある人物がこの技術を使用する斬新で複雑な方法はますます洗練される一方ですが、ここでは、被害者からすでに広く報告されている、生成 AI によって促進されるさまざまな種類の詐欺について検討します。

ディープフェイクを使った選挙誤報

生成 AI の最も悪名高い用途の 1 つは、ディープフェイク ビデオ (超リアルでありながら完全に偽の人物の描写) の作成です。著名な政治家がターゲットにされると、特に戦争や選挙などの大きなイベントの状況では、結果は深刻になる可能性があります。ディープフェイクは広範囲にわたるパニックを引き起こし、重要なイベントを混乱させる可能性があります。たとえば、ウクライナのウォロディミル ゼレンスキー大統領が降伏するディープフェイク ビデオが戦争中に出回ったほか、インドでは選挙の直前に、連邦内務大臣アミット シャーがすべてのカーストに基づく保留地を廃止すると主張する偽のビデオが改ざんされ、コミュニティ間の緊張が高まりました。さらに最近では、ドナルド トランプが逮捕される偽の画像が X で広まりました (図 1 を参照)。

金融詐欺

高度な AI 搭載チャットボットは、驚くほど正確に人間の会話を模倣できます。詐欺師は AI チャットボットを使用して銀行の担当者になりすまし、フィッシング攻撃を仕掛けます。顧客はこれらのボットから電話やメッセージを受け取り、アカウントの問題を解決するという口実で機密情報を説得力を持って要求されます。多くの無防備な個人がこれらの詐欺の犠牲になり、大きな経済的損失を被ります。詐欺師は AI を使用して役員のリアルな音声録音を生成し、不正な取引を承認することができます。これは「CEO 詐欺」と呼ばれる手口です。 注目すべきケースでは、香港の多国籍企業の従業員が、ビデオ会議通話で会社の最高財務責任者になりすますディープフェイク技術を使用する詐欺師に 2,500 万ドルを支払わされました。これらの詐欺は高官の信頼と権威を悪用し、企業に多大な経済的損害を与えます。

フェイクニュース

生成AIは説得力のあるフェイクニュース記事も作成でき、ソーシャルメディアを通じて急速に拡散される可能性があります。COVID-19パンデミックの間、多数のフェイクニュース記事やソーシャルメディア投稿によって、ウイルスやワクチンに関する誤った情報が広まりました。Whatsappやその他のソーシャルメディアには、特定のアーユルヴェーダ療法がCOVID-19を治すことができると主張する有害なフェイクニュースが多数あり、パニックが広がり、誤った自己治療が行われました。生成AIを使用すると、詐欺師が大規模なフェイクニュースを生成して人々の間にパニックを引き起こすのはかなりの労力で済みます。たとえば、実際の人々や実際の場所を使用して操作された画像を簡単に生成し、センセーショナルなニュースにすることができます。これは、OpenAIのDALL-Eモデルを使用して生成された、地震に見舞われたタージマハルのフェイク画像を示す1つの例です（図2）。

図 3 は、ムンバイのタージ ホテルが火災に見舞われている様子 (2008 年のテロ攻撃を彷彿とさせる) を示した別の画像です。

同意のないポルノと嫌がらせ

サイバー犯罪者や悪意のある個人は、ジェネレーティブ AI テクノロジーを使用して、評判を落とす嫌がらせキャンペーンや、より伝統的なオンライン嫌がらせを行う可能性があります。被害者は、個人から公人まで多岐にわたります。戦術には、危険な状況や操作された環境での偽の写真や偽のビデオの作成が含まれる場合があります。たとえば、2024 年 1 月、ポップ界の大スターであるテイラー・スウィフトは、AI を使用して作成された性的に露骨で合意のないディープフェイク画像の最新の注目のターゲットになりました。この画像は、ソーシャル メディア プラットフォームで広く流通していました。

偽音声を使った標的型詐欺

生成AIは声や肖像をコピーできるため、個人がほとんど何でも言ったり、したりしているように見せることができます。この技術は「ディープフェイク」動画に似ていますが、音声に適用されます。AI生成音声は詐欺を強化し、より説得力を持たせるために使用されています。たとえば、誰かがインターネットからあなたの声をスクレイピングし、それを使用してあなたのおばあちゃんに電話をかけ、お金を要求することができます。脅威アクターはソーシャルメディアやその他のオーディオソースから誰かの声を数秒間簡単に入手し、生成AIを使用して、その人に言わせたいことのスクリプト全体を作成できます。これにより、ターゲットとなった人は電話が友人や親戚からのものだと信じ、身近な人が困っていると思って詐欺師にお金を送金するように騙されます。

偽の身元を使った恋愛詐欺

恋愛詐欺が急増しており、インドでは驚くべきことに、国内の 66 パーセントの個人が不正なオンライン デート スキームの餌食になっているという報告がありました。生成 AI を使用すると、完全に偽の人物像をでっち上げることができます。詐欺師は、パスポートやアーダール カードなどの偽造文書を作成できます。詐欺師は、素敵な家と高級車の前にいる偽の人物の画像のように、自分自身の偽の画像を作成することさえできます。詐欺師は偽の声で電話をかけ、AI が実在の人物であると信じ込ませ、最終的に感情的にあなたをターゲットにして彼らに好意を抱かせ、後であなたから金銭や贈り物をゆすったりすることもできます。これは、Midjourney ボットを使用して生成された、AI が生成した偽の人物の画像の例です (図 4)。

オンラインショッピング詐欺

欺瞞的な広告には、虚偽の主張や、完全に偽の製品やサービスの作成が含まれる場合があります。これにより、消費者は十分な情報を得ずに、または不正な購入を行う可能性があります。GenAI は、e コマース プラットフォームで偽の合成製品レビュー、評価、および推奨事項を生成するために使用できます。これらの偽のレビューは、低品質の製品の評判を人為的に高めたり、本物の製品の評判を傷つけたりする可能性があります。詐欺師は GenAI を使用して、偽造品のリストや合法的に見える Web サイトを作成し、消費者が本物の販売者と詐欺的な販売者を区別することを困難にする可能性があります。チャットボットまたは AI ベースのカスタマー サービス エージェントは、買い物客に誤解を招く情報を提供するために使用され、十分な情報を得ずに購入を決定する可能性があります。そのため、偽のビジネスのエコシステム全体が簡単に構築される可能性があります。

AI による詐欺から身を守るために警戒を怠らない

上記の例から、ジェネレーティブ AI を使用すると、有害なコンテンツを驚くほど簡単に大規模に作成できることは明らかです。ジェネレーティブ AI は生産性ツールとして機能し、コンテンツの量と洗練度を高めます。アマチュアがゲームに参入しやすくなり、ソーシャル メディアを金銭目的で悪用する動きが大きくなっています。洗練された誤情報作成者は、規模を拡大し、AI を使用して自分自身を他の言語に翻訳し、以前は届かなかった国や人々にコンテンツを届けることができます。AI を利用した詐欺から身を守るために、誰もが実行できる手順がいくつかあります。認識と警戒が、AI による詐欺から身を守る鍵となります。

コンテンツのソースを常に確認してください。大手テクノロジー企業はすべて、開発者が透かしを暗号化して AI 生成の検出と信頼性を向上させるための重要なソリューションとして AI 生成コンテンツに透かしを入れていますが、テクノロジーに詳しくない一般の人々はそのような技術を知らず、透かしの識別方法や AI 生成コンテンツ検出ツールの使用方法を知りません。ただし、誰もが実行できる基本的なことは、疑わしい画像、ビデオ、または音声メッセージのソースを常に確認することです。人物の性格に合わないと思われるビデオを受け取った場合は、他のソースと照合し、直接その人に連絡してください。たとえば、政治家が扇動的な発言をしているディープフェイク ビデオは、公式チャネルを通じて確認する必要があります。親戚が誘拐されたり、苦しんでいるビデオは、その人または共通のつながりに電話して確認する必要があります。同様に、上級管理職または銀行の代表者を名乗る人物からの機密情報を求める音声通話は、銀行の公式カスタマー サービス番号などの既知の信頼できる番号に折り返し電話をかけて確認することで確認できます。

個人情報の共有を制限します。詐欺師は、説得力のあるディープフェイクや音声メッセージを作成するために、ソーシャルメディアの詳細情報をよく使用します。住所、電話番号、財務情報などの機密情報を投稿しないでください。ソーシャルメディアアカウントのプライバシー設定を調整して、投稿や個人情報の公開範囲を制限します。信頼できる友人や家族だけがプロフィールや投稿を閲覧できるようにします。Facebook や Instagram では、プライバシー設定を確認して調整し、友人だけが投稿を閲覧できるようにします。休暇の計画などの詳細は共有しないでください。あなたが留守の間に詐欺師があなたを狙うために利用される可能性があります。プロフィールと友人リストを非公開にしておくと、詐欺師があなたの偽の動画や音声通話であなたの家族や友人を狙うことはありません。オンラインで公開できる個人情報の量を制限すると、詐欺師があなたに関するデータを収集することが難しくなります。これにより、詐欺師が説得力のあるディープフェイクを作成したり、あなたになりすましたりする可能性が低くなります。

AI 主導の時代が目前に迫る中、イノベーションと搾取の戦いは激化しています。AI による詐欺の増加は単なる課題ではなく、行動を呼びかけています。説得力のあるディープフェイク、リアルな音声クローン、洗練されたフィッシング詐欺を作成できる生成 AI により、詐欺の可能性はかつてないほど高まっています。しかし、これらの脅威の真っ只中にチャンスがあります。それは、デジタル セキュリティと信頼へのアプローチを再定義するチャンスです。認識するだけでは十分ではありません。私たちは積極的に行動し、同じ最先端技術を活用して高度な検出システムと公共教育キャンペーンを開発する必要があります。AI の未来は決まっていません。今日、断固たる行動をとることで、生成 AI の危険に陥ることなく、その可能性が実現されるデジタル環境を形作ることができます。今こそ、立ち上がり、革新し、保護し、すべての人にとってより安全なデジタル世界を確保するときです。