478 測定値

動的ウェブスクレイピングをマスターする

に Bright Data10m2024/07/01

長すぎる; 読むには

最近のウェビナーでは、Web 自動化の専門家である Dario Kondratiuk、Diego Molina、Greg Gorlen が、この状況を切り抜けるためのプロのヒントを共有しました。Web スクレイピングで堅牢なセレクターを使用すると、メンテナンスを最小限に抑え、スクリプトの障害を減らすことができます。DOM をスクレイピングする代わりに API 呼び出しをターゲットにすることで、開発者は JSON 形式の構造化データに直接アクセスできます。

Web 開発において、動的な Web サイトのスクレイピングは芸術と科学の両方になっています。Puppeteer、Playwright、Selenium などのツールを使用すると、開発者は強力なオプションを自由に使用できます。ただし、強力な機能には大きな複雑さが伴います。最近のウェビナーでは、スクレイピングのベテランである Dario Kondratiuk、Diego Molina、Greg Gorlen が、この状況を切り抜けるためのプロのヒントを共有しました。シングルページアプリケーション (SPA) を扱う場合でも、ボット対策を回避する場合でも、スクレイピングのレベルを上げる方法は次のとおりです。

信頼できるセレクタの選択

ウェビナー中、Dario Kondratiuk 氏は、Web スクレイピングで堅牢なセレクターを使用することの重要性を強調しました。脆弱で深くネストされたセレクターは、メンテナンスの負担になることがよくあります。代わりに、Dario 氏は、変更に対してより耐性のある ARIA ラベルとテキストベースのセレクターの使用を推奨しました。

例えば：

 javascriptCopy code// Using Playwright for ARIA and text selectors await page.locator('text="Login"').click(); await page.locator('[aria-label="Submit"]').click();

このアプローチにより、基盤となる HTML が変更されても、スクリプトは機能し続けることが保証されます。Dario が指摘したように、「信頼性の高いセレクターにより、メンテナンスが最小限に抑えられ、スクリプトの障害が減少します。」

APIインターセプションを採用する

ウェビナーでは、Greg Gorlen 氏が、より効率的なデータ抽出を実現する API インターセプションの威力を強調しました。DOM をスクレイピングするのではなく API 呼び出しをターゲットにすることで、開発者は動的にロードされるコンテンツの複雑さを回避し、JSON 形式の構造化データに直接アクセスできます。

API インターセプションの理由

速度: JSON データへのアクセスは、通常、HTML の解析よりも高速です。
信頼性: JSON 構造は DOM に比べて変更されにくいです。

Greg は、Playwright を使用して API 応答をインターセプトする例を共有しました。

 javascriptCopy code// Using Playwright to intercept API responses await page.route('**/api/data', route => { route.continue(response => { const data = response.json(); console.log(data); // Process or save the data }); });

この例では、スクリプトが特定の API エンドポイントへの呼び出しをインターセプトし、開発者がクリーンな構造化データを直接操作できるようにします。

実用的なヒント: ブラウザの開発者ツールでネットワークタブを常に確認してください。必要なデータを返す API 呼び出しを探します。利用可能な場合、この方法によりスクレイピングプロセスが大幅に簡素化されます。

「API をインターセプトすると、データ抽出が高速化されるだけでなく、信頼性も向上します。JSON エンドポイントを探してください。必要なデータが、より使いやすい形式で含まれていることがよくあります。」

遅延読み込みの処理

ウェブパフォーマンスを最適化するための一般的な手法である遅延読み込みは、スクレイピング作業を複雑にする可能性があります。コンテンツは、スクロールやクリックなど、ユーザーがページを操作したときにのみ読み込まれます。ウェビナーでは、Dario Kondratiuk 氏がこの課題に取り組むための効果的な戦略を紹介しました。

主なアプローチ:

シミュレートされたスクロール: ユーザーのスクロールをシミュレートすると、追加コンテンツの読み込みをトリガーできます。これは、ユーザーが下にスクロールするとコンテンツが表示されるサイトでは非常に重要です。
```
 javascriptCopy code// Simulate scrolling with Playwright await page.evaluate(async () => { await new Promise(resolve => { let totalHeight = 0; const distance = 100; const timer = setInterval(() => { window.scrollBy(0, distance); totalHeight += distance; if (totalHeight >= document.body.scrollHeight) { clearInterval(timer); resolve(); } }, 100); // Adjust delay as necessary }); });
```
機能する理由: この方法は自然なユーザー行動を模倣し、遅延読み込みされたすべてのコンテンツをレンダリングできるようにします。スクロール距離と遅延を調整することで、読み込みの速度と完全性を制御できます。
リクエストインターセプション: API 呼び出しをインターセプトすることで、コンテンツの視覚的なレンダリングに依存せずにデータに直接アクセスできます。このアプローチにより、データ抽出の速度と信頼性が大幅に向上します。
```
 javascriptCopy code// Intercepting API requests in Playwright await page.route('**/api/data', route => { route.continue(response => { const data = response.json(); console.log(data); // Process data as needed }); });
```
利点:
- 速度: 複数のページを読み込む必要がなくなり、データを直接取得します。
- 効率性: ページ全体を視覚的にレンダリングする必要なく、関連するすべてのデータをキャプチャします。
要素の可視性チェック: Dario は、必要なコンテンツが読み込まれたことを確認するために、特定の要素の可視性を検証することを提案しました。これをスクロールと組み合わせて、包括的なスクレイピング戦略を提供できます。
```
 javascriptCopy code// Wait for specific elements to load await page.waitForSelector('.item-loaded', { timeout: 5000 });
```

これらのテクニックが重要な理由: 遅延読み込みでは、ユーザーが操作するまでデータが非表示になるため、スクレイピングが困難になる可能性があります。操作をシミュレートし、リクエストをインターセプトすることで、開発者はスクレイピングに必要なすべてのコンテンツが利用可能であることを確認できます。

ダリオ氏は、「データをチャンクでキャプチャすると、無限スクロールの管理に役立つだけでなく、コンテンツが欠落することがなくなります」と強調しました。これらの方法を適用することで、開発者は最も動的な Web サイトからでもデータを効果的に収集できます。

Shadow DOM 内のデータへのアクセス

Shadow DOM コンポーネントは Web サイトの一部をカプセル化するため、データの抽出が複雑になります。ウェビナーでは、Dario Kondratiuk が Shadow DOM 要素内でのスクレイピングの効果的な手法を紹介しました。

アプローチ:

組み込みツールを活用する: Playwright や Puppeteer などのツールを使用すると、開発者は Shadow DOM を貫通して、通常は非表示の要素にアクセスできるようになります。

 javascriptCopy code// Accessing elements within Shadow DOM using Playwright const shadowHost = await page.locator('#shadow-host'); const shadowRoot = await shadowHost.evaluateHandle(node => node.shadowRoot); const shadowElement = await shadowRoot.$('css-selector-within-shadow');

オープン Shadow DOM とクローズ Shadow DOM の処理:
- Open Shadow DOM : JavaScript 経由で簡単にアクセスでき、データの抽出が簡単に行えます。
- クローズド Shadow DOM : 直接アクセスが制限されるため、より困難です。回避策としては、特定のブラウザツールの使用や JavaScript インジェクションなどが考えられます。

重要な理由: Shadow DOM の構造を理解することは非常に重要です。Dario が指摘したように、「Shadow DOM を iframe のように扱い、iframe ドキュメントの場合と同じように Shadow ルートをナビゲートします。」

これらの技術を活用することで、開発者はカプセル化された要素からデータを効果的に抽出し、包括的なスクレイピングを実現できます。

全ページのスクリーンショットをキャプチャする

動的コンテンツのスクリーンショットをキャプチャするのは難しい場合があります。特に、コンテンツが 1 つのビューポートに収まらない場合はそうです。Diego Molina は、正確なフルページのスクリーンショットを撮るための戦略を共有しました。

テクニック:

ブラウザ機能の使用:
- Firefox : 全ページのスクリーンショットの組み込みサポートにより、ページ全体を簡単にキャプチャできます。
```
 javascriptCopy code// Full-page screenshot in Playwright with Firefox await page.screenshot({ path: 'fullpage.png', fullPage: true });
```
Chrome DevTools プロトコル (CDP) :
- Chrome でスクリーンショットをキャプチャするために CDP を利用すると、スクリーンショットのプロセスをより細かく制御できるようになります。
```
 javascriptCopy code// Using CDP with Puppeteer for full-page screenshots const client = await page.target().createCDPSession(); await client.send('Page.captureScreenshot', { format: 'png', full: true });
```
コンテンツの読み込みを待機: Diego は、キャプチャする前にすべての動的コンテンツが完全に読み込まれるように、特定の要素を待機することの重要性を強調しました。
```
 javascriptCopy code// Wait for content to load await page.waitForSelector('.content-loaded'); await page.screenshot({ path: 'dynamic-content.png', fullPage: true });
```

重要な理由: 包括的なスクリーンショットをキャプチャすることは、デバッグと記録保存に不可欠です。Diego は、「コンテンツが欠落しないように、スクリーンショットを撮る前に、すべての要素、フォント、画像が完全に読み込まれていることを常に確認してください」とアドバイスしています。

ボット対策の回避

Web スクレイピングの取り組みを拡大する場合、開発者は自動データ抽出を防ぐように設計された高度なボット対策テクノロジーに遭遇することがよくあります。Jakub は、これらの課題を克服するための実用的な戦略を共有しました。

セッション管理: Bright Data の Scraping Browserなどのツールを利用すると、セッション管理を大幅に簡素化できます。この製品は、Cookie とセッションを自動的に管理し、人間のようなブラウジングパターンを模倣して、フラグが付けられる可能性を減らします。
IP ローテーション: 大規模なスクレイピングには、IP ローテーションの実装が不可欠です。Bright Dataなどのサービスでは、広範なプロキシネットワークが提供されており、IP アドレスをローテーションして、さまざまな地理的な場所からのリクエストをシミュレートできます。これにより、単一の IP からの繰り返しのリクエストを監視するアンチボット防御がトリガーされるのを回避できます。
フィンガープリンティング技術: Puppeteer ExtraやPlaywright Stealthなどのツールは、ブラウザのフィンガープリントを変更して検出を回避できます。これらのツールは、ユーザーエージェント、画面サイズ、デバイスの種類などの要素を変更することで、スクリプトが正当なユーザーのように見えるようにします。
人間のようなインタラクション: Selenium、Playwright、Puppeteer は、リアルなマウスの動きやタイピングのシミュレーションなど、人間のようなインタラクションを可能にするプラットフォームを提供します。これにより、アンチボットメカニズムがトリガーされる可能性をさらに減らすことができます。

重要な理由: 大規模なスクレイピングを成功させるには、ボット対策を講じることが不可欠です。Jakub は、セッション管理、IP ローテーション、フィンガープリンティングの複雑さを管理するツールを活用しながら、効率的なスクリプトの作成に重点を置くことの重要性を強調しました。

これらの戦略を実装し、専用のツールを利用することで、開発者はスクレイピング操作を効果的に拡張し、検出とブロックのリスクを最小限に抑えることができます。

Q&A インサイト: 一般的な課題に対する専門家の回答

ウェビナーの Q&A セッションでは、パネリストが Web スクレイピングで開発者が直面するいくつかの一般的な課題について説明しました。

フロントエンド API 呼び出しのインターセプト:パネルでは、Puppeteer や Playwright などのツールを使用して API 呼び出しを直接インターセプトすることの重要性が強調されました。ブラウザの開発者ツールでネットワークリクエストを監視することで、開発者は複雑な DOM 構造を回避し、必要なデータを返す特定の API エンドポイントを識別してターゲットにすることができます。
基本認証の管理:基本認証を処理するには、スクレイピングツールの組み込み機能を使用してプロセスを自動化することが重要です。これにより、毎回手動で介入することなく、データにスムーズにアクセスできるようになります。
堅牢な XPath セレクターの作成:合意は明確でした。可能な限り XPath を避けてください。代わりに、Playwright などのツールが提供する堅牢なロケーターオプションを活用します。これらのツールは、テキストベースや ARIA ロールセレクターなどのさまざまなセレクターを提供し、より回復力のあるスクレイピングスクリプトを保証します。
データ抽出の標準化:完全な HTML をバンドルするための普遍的な標準はまだ存在しませんが、開発者は Mozilla Readability などのツールを使用して、ページをより構造化された形式に変換し、データのアクセシビリティを向上させることで、コンテンツの抽出を簡素化できます。
ユーザー操作なしの遅延読み込み:専門家は、すべてのコンテンツが手動のユーザー操作なしで読み込まれるように、シミュレートされたスクロールを使用するか、ネットワークリクエストをインターセプトすることを推奨しました。このアプローチにより、複雑で遅延読み込みされたページでも包括的なデータ抽出が可能になります。
動的コンテンツのスクリーンショットのキャプチャ:動的コンテンツを扱う場合、スクリーンショットをキャプチャする前に、すべての要素が完全に読み込まれるまで待つことが重要です。Firefox のネイティブスクリーンショット機能などのツールや、Chrome DevTools Protocol (CDP) を使用すると、正確な全ページキャプチャが可能になります。
動的クラスの処理:動的クラスの頻繁な変更を管理するために、パネルは相対セレクターとデータ属性に重点を置くことを提案しました。これらの要素は一般的に安定しており、変更される可能性が低いため、スクリプトを頻繁に調整する必要性が減ります。