🚨 速報: OpenAI は、独自のブラウザを使用してタスクを実行できる AI 搭載エージェント Operator をリリースしました。現在は米国の Pro ユーザーのみが利用できますが、まもなく世界中で利用できるようになります。🌍
すごいですよね?でもちょっと待ってください。ウェブサイトが反発しないなんてあり得ないですよね?🤔 IP 禁止、ブラウザ フィンガープリント、TLS フィンガープリント、そしてもちろん CAPTCHA などの現在のボット対策技術は、OpenAI の新しいツールに追いつくのでしょうか?
では、複雑な自動ボットとボット対策防御の戦いで本当に勝っているのは誰でしょうか? 続きを読んで確かめてください! 🔥
LLM モデルが初めて市場に登場したとき、それはまさに革命でした。職場での日常的なタスクへの取り組み方は永久に変わり、株式市場は興奮して反応し 🚀、誰もが AI の波に乗りました (ほとんどのオンライン製品の背後にはまだ本物のAI がなかったにもかかわらず)。
いつものように、当初の熱狂はやがて薄れ、いくつかの重要な疑問が浮上し始めました。LLM が魔法で動いているわけではないことを知るために、機械学習エンジニアや Kaggle のグランドマスターである必要はありません (ちなみに、私たちはそこにもいます! 😉)。LLM をトレーニングするには大量のデータが必要です。
では、そのデータはどこから来るのでしょうか? 答えは簡単です: Web です! 🌍
ウェブは地球上で最大のデータソースなので、 OpenAI のような企業が画期的な技術を訓練するために必要なデータを収集するために何年もインターネットをスクレイピングしてきたのも不思議ではありません。そして、ウェブ スクレイピングが倫理的に行われている限り、何も問題はありません 🤷。
プロのヒント: AI Web スクレイピングの時代に倫理的かつ合法的に行動する方法に関する弊社の記事を読んで、このトピックを深く理解してください。
しかし、ここに落とし穴があります。ほとんどのサイト所有者は、AI 企業が自分のデータを使用することを快く思っていません! 😠
結局のところ、データはお金に等しいのです💰。エコノミスト誌が「 世界で最も価値のある資源はもはや石油ではなく、データである」という記事を発表してから数年が経ちました。ですから、正直なところ、これ以上説明する必要はありません。
つまり、データを無料で配布することは、基本的に現金を配るのと同じです💸。サイト所有者、特に大企業が、そのことにあまり乗り気でないのも不思議ではありません。😅
状況が進化し、新しい AI オペレーターやツールが登場しつつある今、ウェブサイトはそれに非常に不満を抱き始めているかもしれません。😬
OpenAI はOperator の仕組みに関する記事で次のように述べています。
「Operator は、 Computer-Using Agent (CUA) と呼ばれる新しいモデルを搭載しています。GPT-4 の視覚機能と強化学習による高度な推論を組み合わせることで、CUA は、画面に表示されるボタン、メニュー、テキスト フィールドなどのグラフィカル ユーザー インターフェイス (GUI) と対話するようにトレーニングされます。」
OpenAI のような AI 企業はこれまでも、モデルをトレーニングするために一般的なソースからデータを収集するスクレイピング ボットを構築してきましたが、今ではユーザーに「魔法のように」ウェブサイトとやり取りしたりナビゲートしたりできるツールを提供していることは明らかです。これはワクワクすると同時に恐ろしいことでもあります! 😱
プレゼンテーション ビデオで OpenAI の Operator の動作をご覧ください。
再び、公式プレゼンテーション記事から引用します。
「Operator は、ブラウザを「見る」(スクリーンショットを通じて)および「対話する」(マウスとキーボードで可能なすべてのアクションを使用)ことができるため、カスタム API 統合を必要とせずに Web 上でアクションを実行できます。
問題に遭遇したり間違いを犯したりしても、Operator は推論機能を活用して自己修正することができます。行き詰まり、支援が必要になったときは、ユーザーに制御を戻すだけで、スムーズで協力的な体験が保証されます。」
これは非常に有望ですが、深刻な懸念も生じます。🤔 ユーザーが悪意のある目的で Operator を悪用し始めたらどうなるでしょうか? ボット (YouTube に溢れるスパムコメントなど) にはうんざりしていますが、これはすぐに大きな問題に発展する可能性があります。⚠️
OpenAI が、Operator が有害または望ましくないアクションを実行できないようにすることに成功したと仮定すると (ChatGPT が危険な質問に答えないようにしたのと同じように)、ほとんどの Web サイトがこの種の新しい自動化された AI を活用したインタラクションを歓迎すると本当に確信できるでしょうか? 🤖
未解決の大きな疑問に踏み込む前に、まずはどのようなやり取りを扱っているのかを明確にしましょう。結局のところ、これらの新しい AI オペレーターが私たちが考えているほど効果的でないのであれば、そもそもなぜそれらから保護する必要があるのでしょうか? 👀
ボット対策は冗談ではありません。強力なボット対策ソリューションで知られる WAF ( Web アプリケーション ファイアウォール) プロバイダーのリーダーである Cloudflare などの企業は、 常に先頭に立つために毎年何百万ドルもの資金を研究開発に費やしています。🤑
現在、 OpenAIのOperatorにアクセスできるのは、ChatGPT Proの最高レベルのサブスクリプションプランに月額200ドルを支払っている米国のユーザーのみなので、誰もがテストする機会があったわけではありません。しかし、テストした人にとってはどうでしょうか?結果は素晴らしいものです!🤯
初期のユーザーと技術レビュー担当者は、次のような日常的なタスクの自動化において OpenAI が優れていると感じました。
どうしてそれが可能なのでしょうか? Operator はミニブラウザウィンドウを開き、通常のユーザーと同じようにテキストプロンプトに基づいてタスクを完了します。
もちろん、製品はまだ「リサーチプレビュー」の段階にあり、完璧ではありません。時々、製品に刺激を与えたり、失敗のループから救い出す必要があるでしょう。
Reddit ユーザーの中には、特に価格の高さを理由に不満を述べる人もいますが、この段階でもこの技術がすでに並外れていることは否定できません。たとえば、 飛行機の予約をする様子をご覧ください。
➡️ 本当の疑問は、ウェブサイトは AI を活用した自動化を歓迎するのか、それとも反撃するのか?もし反撃するとしたら、どのように反撃するのか?⚔️
ボット対策やスクレイピング対策のソリューションは目新しいものではありません。多くのサイトでは、自動スクリプトによるデータのスクレイピングやページとのやり取りからサイトを保護するために、長年にわたりこれらのソリューションを使用しています。🚫
これらの方法についてご興味がおありの場合は、高度なボット対策技術に関する弊社のウェビナーをご覧ください。
すでにご存知かもしれませんが、特に高度な Web スクレイピングに関するシリーズをご覧になったことがあれば、ここでは次のことをお話します。
レート リミッター: 過負荷を防ぐために、一定時間内のユーザーからのリクエスト数を制限します。IPを禁止することで機能します。
TLS フィンガープリンティング: ブラウザの暗号化された接続の固有の特性を追跡してボットを識別する方法。Webスクレイピングにおける TLS フィンガープリンティングの役割について説明します。
ブラウザ フィンガープリンティング: 自動化ツールを見つけるために、固有のデバイスまたはブラウザの属性を検出する手法。
これらの初期防御は、自動化ツール(AI オペレーターなど)からのリクエストを、サイトにアクセスする前にブロックすることに重点を置いています 🛡️。
これらの防御が失敗した場合は、他の技術が役立ちます。例としては、ユーザー行動分析、JavaScript チャレンジ、CAPTCHA などがあります。
CAPTCHA は、人間にとっては簡単に解読できるが、ボットにとっては解読が困難になるように設計されているため、特に効果的です。
しかし、AI が賢くなり、より人間のように考えるようになると、ボットを認識することが難しくなります。そのため、ビデオゲームを CAPTCHA として使用するなどの突飛なアイデアが提案されています。🎮
しかし、本当の疑問は、CAPTCHA は AI オペレーターに対する究極の解決策であるかどうかです。詳しく調べてみましょう! 💡
TL;DR : いや、そうでもないけど…🙅♂️
OpenAI Operator がテスト用に市場に登場して以来、ユーザーはソーシャル メディアへのログインやフォームへの入力など、CAPTCHA を必要とするタスクの完了にこれを利用しています。
しかし、OpenAI のComputer-Using Agent プレゼンテーション ページに記載されているように、人間の介入は依然として必要です。
「CUA はほとんどの手順を自動的に処理しますが、ログイン詳細の入力や CAPTCHA フォームへの応答など、機密性の高い操作についてはユーザーの確認を求めます。」
確かに、AI の推論エンジンが CAPTCHA 🥷 をすり抜けることもあるが、ほとんどの場合、それは惨めに失敗し、その結果は滑稽であると同時に苛立たしいものとなる。Reddit 、Google マップ、Amazon、G2でテストしたところ、ボット対策によって繰り返しシャットダウンされた。
AIオペレーターがCAPTCHAに失敗する様子を見るのは、バイラルトレンドとなっている。ログイン試行で手探りで進むこれらのAIツールのビデオがRedditやXに溢れている。
他の技術レビュアーも同様の不満を認めています。OpenAI Operator はほとんどの CAPTCHA でブロックされます。
一方で、これは安心できることです。CAPTCHA は役割を果たし、自動化されたボットが大混乱を引き起こすのを阻止しています。その一方で、私たちは猫とネズミのゲーム 🐁 🐈 の中にいます。ボット対策技術と AI オペレーターは進化し続け、交互に一歩先を行くことになります。
本当の敗者は?一般ユーザーです!CAPTCHA を導入するサイトが増えると、誰にとってもブラウジングが苦痛になるでしょう。正直に言うと、私たちは皆 CAPTCHA が嫌いです。😩
この戦いは AI オペレーターだけに影響を与えるのではなく、倫理的な Web スクレイパーも巻き込まれています。サイトがボット対策を強化するにつれて、正当なスクレイピング スクリプトが不当にブロックされ、研究者、企業、開発者によるデータ抽出が困難になります。
幸いなことに、CAPTCHA やその他のボット対策の悪夢に悩まされることなく、プログラムでサイトとやりとりするより良い方法があります。 それが Scraping Browser です。
OpenAI Operator は、他のブラウザ自動化ツールと同様に、通常のブラウザを自動化します。しかし、CAPTCHA を含むほとんどのボット対策技術は、自動化自体が原因で表示されるわけではありません。ブラウザの設定方法によって表示されます。
ほとんどのブラウザ自動化ライブラリは、ブラウザを自動化されたものとして設定するため、「通常の」ブラウザを使用する目的が完全に失われます。そこで、アンチボット システムが介入してアクセスをブロックします。🚫
AI が CAPTCHA を回避できるかどうかに焦点を当てるのではなく、真のゲームチェンジャーは、適切なブラウザ、つまりスクレイピングと自動化に最適化されたブラウザを使用することです。まさにここで、次の機能を備えたBright Data の Scraping Browser の出番です。
検出を回避するための信頼性の高いTLSフィンガープリント
大規模データ抽出のための無制限のスケーラビリティ
7,200万のIPプロキシネットワークを搭載した組み込みIPローテーション
失敗したリクエストを処理するための自動再試行
AIオペレーターを上回るCAPTCHA解読の超能力🧠
驚くことではありませんが、 スクレイピング ブラウザに組み込まれた CAPTCHA ソルバーは、 OpenAI の Operator よりもはるかに効果的です。なぜでしょうか?最近の SEO データ障害を数分で処理した同じチームによる長年の開発によって支えられているからです。⚡
Bright Data の CAPTCHA ソルバーは、以下に対して効果があることが証明されています。
CAPTCHA が表示される可能性が低くなるだけでなく、表示された場合でも簡単に解決できます。🔥
Scraping Browser は、Playwright、Puppeteer、Selenium など、すべての主要なブラウザ自動化フレームワークで動作します。そのため、完全なプログラム制御が必要な場合でも、 AI ロジックを追加する場合でも、対応できます。
Bright Data の Scraping Browser の動作をご覧ください:
では… AI に CAPTCHA を解くことを強制し続けるべきでしょうか、それとも機能するツールを使うべきでしょうか? 選択は明らかです。ブラウザのスクレイピングが最高です。🏆
OpenAI の Operator は Web インタラクションに革命を起こすために登場しましたが、万能というわけではありません。素晴らしい機能ではありますが、CAPTCHA には依然として苦戦し、ブロックされてしまいます。
シームレスな自動化を実現する組み込みの CAPTCHA ソルバーを備えた Scraping Browser で面倒な作業を回避しましょう。自動化されたスクリプトを通じてでも、Web をあらゆる場所から誰でもアクセスできるようにして、Web を民主化するという私たちの取り組みに乗り出しましょう。
次回まで、CAPTCHA なしで自由にインターネットを探索し続けてください。