Web スクレイピングは、Web サイトからデータを収集するための非常に強(qiáng)力なツールです。 Node.js 用の Google のヘッドレス ブラウザ ライブラリである Puppeteer を使用すると、人間のブラウジング動(dòng)作を模倣しながら、ページの移動(dòng)、ボタンのクリック、情報(bào)の抽出のプロセスを自動(dòng)化できます。このガイドでは、Puppeteer を使用した Web スクレイピングの基本を、シンプル、明確、実用的な方法で説明します。

パペッティアとは何ですか？

Puppeteer は、Google Chrome (または Chromium) のヘッドレス バージョンを制御できる Node.js ライブラリです。ヘッドレス ブラウザはグラフィカル ユーザー インターフェイス (GUI) なしで実行されるため、高速になり、スクレイピングなどの自動(dòng)化タスクに最適です。ただし、何が起こっているかを視覚的に確認(rèn)する必要がある場(chǎng)合は、Puppeteer をフルブラウザ モードで実行することもできます。

Web スクレイピングに Puppeteer を選ぶ理由?

柔軟性: Puppeteer は、動(dòng)的な Web サイトやシングルページ アプリケーション (SPA) を簡(jiǎn)単に処理します。
JavaScript のサポート: ページ上で JavaScript を?qū)g行します。これは、最新の Web アプリをスクレイピングするために不可欠です。
自動(dòng)化機(jī)能: フォームへの記入、ボタンのクリック、スクリーンショットの撮影などのタスクを?qū)g行できます。

Puppeteer でのプロキシの使用

Web サイトをスクレイピングする場(chǎng)合、IP 禁止を回避し、地理的に制限されたコンテンツにアクセスするには、プロキシが不可欠です。プロキシはスクレイパーとターゲット Web サイトの間の仲介者として機(jī)能し、実際の IP アドレスをマスクします。 Puppeteer の場(chǎng)合、プロキシを起動(dòng)引數(shù)として渡すことで簡(jiǎn)単に統(tǒng)合できます:

JavaScript
コードをコピー
const browser = await puppeteer.launch({
引數(shù): ['--proxy-server=あなたのプロキシサーバー:ポート']
});
プロキシは、スクレイピング作業(yè)をスケールするのに特に役立ちます。プロキシをローテーションすることで、各リクエストが異なる IP から送信されるようになり、検出の可能性が低くなります。信頼性が高いことで知られる住宅用プロキシはボット防御を回避するのに優(yōu)れていますが、データセンター プロキシは高速で手頃な価格です。スクレイピングのニーズに合ったタイプを選択し、常にパフォーマンスをテストして信頼性を確保してください。

Puppeteer のセットアップ

スクレイピングを開始する前に、Puppeteer をセットアップする必要があります。段階的なプロセスを見てみましょう:
ステップ 1: Node.js と Puppeteer をインストールする
Node.js のインストール: 公式 Web サイトから Node.js をダウンロードしてインストールします。
Puppeteer のセットアップ: ターミナルを開いて次のコマンドを?qū)g行します:
バッシュ
コードをコピー
npm install puppeteer

これにより、Puppeteer と、それが制御するブラウザである Chromium がインストールされます。
ステップ 2: 最初の人形遣いスクリプトを作成する
新しい JavaScript ファイル、scraper.js を作成します。これにはスクレイピング ロジックが格納されます。 Web ページを開いてそのタイトルを抽出する簡(jiǎn)単なスクリプトを書いてみましょう:
JavaScript
コードをコピー
const puppeteer = require('puppeteer');

(async () => {
const browser = await puppeteer.launch();
const page = await browser.newPage();

// Web サイトに移動(dòng)します
await page.goto('https://example.com');

// タイトルを抽出します
const title = await page.title();
console.log(ページタイトル: ${title});

ブラウザを待つ.close();
})();

以下を使用してスクリプトを?qū)g行します:
バッシュ
コードをコピー
ノードスクレーパー.js

これで、初めての Puppeteer スクレイパーが作成されました!

スクレイピングのための Puppeteer のコア機(jī)能

基本を理解したので、スクレイピングに使用するいくつかの主要な Puppeteer 機(jī)能を見てみましょう。

1. ページへの移動(dòng)
   page.goto(url) メソッドを使用すると、任意の URL を開くことができます。必要に応じて、タイムアウト設(shè)定などのオプションを追加します:
   JavaScript
   コードをコピー
   await page.goto('https://example.com', { タイムアウト: 60000 });

2. 要素の選択
   CSS セレクターを使用して、ページ上の要素を正確に指定します。 Puppeteer は次のようなメソッドを提供します:
   最初の一致の page.$(selector)
   すべての一致に対する page.$$(selector)
   例:
   JavaScript
   コードをコピー
   const 要素 = await page.$('h1');
   const text = await page.evaluate(el => el.textContent, element);
   console.log(見出し: ${text});

3. 要素との対話
   クリックや入力などのユーザー操作をシミュレートします:
   JavaScript
   コードをコピー
   await page.click('#submit-button');
   await page.type('#search-box', '人形遣いのスクレイピング');

4. 要素を待機(jī)中
   Web ページの読み込み速度は異なります。 Puppeteer では、続行する前に要素を待つことができます:
   JavaScript
   コードをコピー
   await page.waitForSelector('#dynamic-content');

5. スクリーンショットを撮る
   視覚的なデバッグやデータを畫像として保存するのは簡(jiǎn)単です:
   JavaScript
   コードをコピー
   await page.screenshot({ path: 'screenshot.png', fullPage: true });

動(dòng)的コンテンツの処理

現(xiàn)在、多くの Web サイトでは JavaScript を使用してコンテンツを動(dòng)的に読み込みます。ここで Puppeteer が優(yōu)れているのは、JavaScript を?qū)g行し、ページのソースに表示されない可能性のあるコンテンツをスクレイピングできるためです。
例: 動(dòng)的データの抽出
JavaScript
コードをコピー
await page.goto('https://news.ycombinator.com');
await page.waitForSelector('.storylink');

constHeadings = await page.$$eval('.storylink', links => links.map(link => link.textContent));
console.log('見出し:', 見出し);

CAPTCHA とボット検出への対処

一部の Web サイトでは、ボットをブロックするための措置を講じています。 Puppeteer は簡(jiǎn)単なチェックを回避するのに役立ちます:
ステルス モードを使用する: puppeteer-extra プラグインをインストールします:
バッシュ
コードをコピー
npm install puppeteer-extra puppeteer-extra-plugin-stealth
それをスクリプトに追加します:
JavaScript
コードをコピー
const puppeteer = require('puppeteer-extra');
const StealthPlugin = require('puppeteer-extra-plugin-stealth');
puppeteer.use(StealthPlugin());

人間の動(dòng)作を模倣: マウスの動(dòng)きや入力速度などの動(dòng)作をランダム化して、より人間らしく見えるようにします。
ユーザー エージェントのローテーション: リクエストごとにブラウザのユーザー エージェントを変更します:
JavaScript
コードをコピー
await page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64)');

スクレイピングされたデータの保存

データを抽出したら、保存する必要があるでしょう。一般的な形式をいくつか示します:
JSON:
JavaScript
コードをコピー
const fs = require('fs');
const data = { 名前: '人形遣い'、タイプ: 'ライブラリ' };
fs.writeFileSync('data.json', JSON.stringify(data, null, 2));

CSV: csv-writer:
のようなライブラリを使用します。 バッシュ
コードをコピー
npm install csv-writer
JavaScript
コードをコピー
const createCsvWriter = require('csv-writer').createObjectCsvWriter;

const csvWriter = createCsvWriter({
パス: 'data.csv',
ヘッダー: [
{ id: '名前', title: '名前' },
{ id: 'タイプ'、タイトル: 'タイプ' }
]
});

const records = [{ name: 'Puppeteer', type: 'library' }];
csvWriter.writeRecords(records).then(() => console.log('CSV ファイルが書き込まれました。'));
倫理的なウェブスクレイピングの実踐
Web サイトをスクレイピングする前に、次の倫理ガイドラインに留意してください:
利用規(guī)約を確認(rèn)してください: Web サイトでスクレイピングが許可されていることを必ず確認(rèn)してください。
レート制限を尊重する: 短時(shí)間に大量のリクエストを送信しないようにします。 setTimeout または Puppeteer の page.waitForTimeout() を使用してリクエストの間隔を空けます:
JavaScript
コードをコピー
await page.waitForTimeout(2000); // 2秒待ちます

機(jī)密データを避ける: 個(gè)人情報(bào)や個(gè)人情報(bào)を決して収集しないでください。

一般的な問(wèn)題のトラブルシューティング

ページが正しく読み込まれません: より長(zhǎng)いタイムアウトを追加するか、フル ブラウザ モードを有効にしてみてください:
JavaScript
コードをコピー
const browser = await puppeteer.launch({ headless: false });

セレクターが機(jī)能しない: ブラウザー開発者ツール (Ctrl Shift C) を使用して Web サイトを検査し、セレクターを確認(rèn)します。
CAPTCHA によってブロックされています: ステルス プラグインを使用し、人間の動(dòng)作を模倣します。

よくある質(zhì)問(wèn) (FAQ)

1. Puppeteer は無(wú)料ですか? はい、Puppeteer はオープンソースであり、無(wú)料で使用できます。
2. Puppeteer は JavaScript を多用した Web サイトをスクレイピングできますか? 絶対に！ Puppeteer は JavaScript を?qū)g行するため、動(dòng)的サイトのスクレイピングに最適です。
3. Webスクレイピングは合法ですか? 場(chǎng)合によります。スクレイピングする前に、必ず Web サイトの利用規(guī)約を確認(rèn)してください。
4. Puppeteer は CAPTCHA を回避できますか? Puppeteer は基本的な CAPTCHA チャレンジを処理できますが、高度なチャレンジにはサードパーティ ツールが必要になる場(chǎng)合があります。

以上がPuppeteer を使用して Web スクレイピングを行う方法: 初心者向けガイドの詳細(xì)內(nèi)容です。詳細(xì)については、PHP 中國(guó)語(yǔ) Web サイトの他の関連記事を參照してください。