網(wǎng)絡(luò)抓取是從網(wǎng)站收集數(shù)據(jù)的極其強(qiáng)大的工具。借助 Puppeteer（Google 的 Node.js 無頭瀏覽器庫(kù)），您可以自動(dòng)執(zhí)行頁(yè)面導(dǎo)航、單擊按鈕和提取信息的過程，同時(shí)模仿人類瀏覽行為。本指南將以簡(jiǎn)單、清晰且可操作的方式引導(dǎo)您了解使用 Puppeteer 進(jìn)行網(wǎng)頁(yè)抓取的基本知識(shí)。

什么是傀儡師？

Puppeteer 是一個(gè) Node.js 庫(kù)，可讓您控制 Google Chrome（或 Chromium）的無頭版本。無頭瀏覽器在沒有圖形用戶界面 (GUI) 的情況下運(yùn)行，使其速度更快，非常適合抓取等自動(dòng)化任務(wù)。但是，如果您需要直觀地查看正在發(fā)生的情況，Puppeteer 也可以在完整瀏覽器模式下運(yùn)行。

為什么選擇 Puppeteer 進(jìn)行網(wǎng)頁(yè)抓??？

靈活性：Puppeteer 可以輕松處理動(dòng)態(tài)網(wǎng)站和單頁(yè)應(yīng)用程序 (SPA)。
JavaScript 支持：它在頁(yè)面上執(zhí)行 JavaScript，這對(duì)于抓取現(xiàn)代網(wǎng)絡(luò)應(yīng)用程序至關(guān)重要。
自動(dòng)化能力：您可以執(zhí)行填寫表格、單擊按鈕甚至截屏等任務(wù)。

將代理與 Puppeteer 一起使用

抓取網(wǎng)站時(shí)，代理對(duì)于避免 IP 禁令和訪問地理限制內(nèi)容至關(guān)重要。代理充當(dāng)您的抓取工具和目標(biāo)網(wǎng)站之間的中介，掩蓋您的真實(shí) IP 地址。對(duì)于 Puppeteer，您可以通過將代理作為啟動(dòng)參數(shù)傳遞來輕松集成代理：

javascript
復(fù)制代碼
const browser = wait puppeteer.launch({
args: ['--proxy-server=your-proxy-server:port']
});
代理對(duì)于擴(kuò)展抓取工作特別有用。輪換代理可確保每個(gè)請(qǐng)求都來自不同的 IP，從而減少檢測(cè)到的機(jī)會(huì)。住宅代理以其真實(shí)性而聞名，非常適合繞過機(jī)器人防御，而數(shù)據(jù)中心代理速度更快、價(jià)格更便宜。選擇符合您的抓取需求的類型，并始終測(cè)試性能以確?？煽啃?。

設(shè)置 Puppeteer

開始抓取之前，您需要設(shè)置 Puppeteer。讓我們深入了解分步過程：
第 1 步：安裝 Node.js 和 Puppeteer
安裝Node.js：從官網(wǎng)下載并安裝Node.js。
設(shè)置 Puppeteer：打開終端并運(yùn)行以下命令：
重?fù)?br> 復(fù)制代碼
npm install puppeteer

這將安裝 Puppeteer 和 Chromium，它控制的瀏覽器。
第 2 步：編寫你的第一個(gè) Puppeteer 腳本
創(chuàng)建一個(gè)新的 JavaScript 文件 scraper.js。這將容納您的抓取邏輯。讓我們編寫一個(gè)簡(jiǎn)單的腳本來打開網(wǎng)頁(yè)并提取其標(biāo)題：
javascript
復(fù)制代碼
const puppeteer = require('puppeteer');

(async () => {
const browser = wait puppeteer.launch();
const page = wait browser.newPage();

// 導(dǎo)航到網(wǎng)站
等待 page.goto('https://example.com');

// 提取標(biāo)題
const title = wait page.title();
console.log(頁(yè)面標(biāo)題: ${title});

等待 browser.close();
})();

使用以下命令運(yùn)行腳本：
重?fù)?br> 復(fù)制代碼
節(jié)點(diǎn) scraper.js

您剛剛編寫了第一個(gè) Puppeteer scraper！

用于抓取的核心 Puppeteer 功能

現(xiàn)在您已經(jīng)掌握了基礎(chǔ)知識(shí)，讓我們來探索一些用于抓取的關(guān)鍵 Puppeteer 功能。

1. 導(dǎo)航至頁(yè)面
   page.goto(url) 方法允許您打開任何 URL。如果需要，添加超時(shí)設(shè)置等選項(xiàng)：
   javascript
   復(fù)制代碼
   wait page.goto('https://example.com', { timeout: 60000 });

2. 選擇元素
   使用 CSS 選擇器來精確定位頁(yè)面上的元素。 Puppeteer 提供了如下方法：
   第一個(gè)匹配的 page.$(selector)
   page.$$(選擇器) 適用于所有匹配
   示例：
   javascript
   復(fù)制代碼
   const 元素=await page.$('h1');
   const text = wait page.evaluate(el => el.textContent, element);
   console.log(標(biāo)題: ${text});

3. 與元素互動(dòng)
   模擬用戶交互，例如點(diǎn)擊和鍵入：
   javascript
   復(fù)制代碼
   等待 page.click('#submit-button');
   wait page.type('#search-box', 'Puppeteer scraping');

4. 等待元素
   網(wǎng)頁(yè)以不同的速度加載。 Puppeteer 允許您在繼續(xù)操作之前等待元素：
   javascript
   復(fù)制代碼
   等待 page.waitForSelector('#dynamic-content');

5. 截圖
   可視化調(diào)試或?qū)?shù)據(jù)保存為圖像很容易：
   javascript
   復(fù)制代碼
   wait page.screenshot({ path: 'screenshot.png', fullPage: true });

處理動(dòng)態(tài)內(nèi)容

當(dāng)今許多網(wǎng)站使用 JavaScript 動(dòng)態(tài)加載內(nèi)容。 Puppeteer 在這里大放異彩，因?yàn)樗鼒?zhí)行 JavaScript，允許您抓取頁(yè)面源代碼中可能不可見的內(nèi)容。
示例：提取動(dòng)態(tài)數(shù)據(jù)
javascript
復(fù)制代碼
等待 page.goto('https://news.ycombinator.com');
等待 page.waitForSelector('.storylink');

const headers = wait page.$$eval('.storylink', links => links.map(link => link.textContent));
console.log('頭條新聞：', 頭條新聞);

處理驗(yàn)證碼和機(jī)器人檢測(cè)

一些網(wǎng)站采取了阻止機(jī)器人的措施。 Puppeteer 可以幫助繞過簡(jiǎn)單的檢查：
使用隱身模式：安裝 puppeteer-extra 插件：
重?fù)?br> 復(fù)制代碼
npm install puppeteer-extra puppeteer-extra-plugin-stealth
將其添加到您的腳本中：
javascript
復(fù)制代碼
const puppeteer = require('puppeteer-extra');
const StealthPlugin = require('puppeteer-extra-plugin-stealth');
puppeteer.use(StealthPlugin());

模仿人類行為：隨機(jī)化鼠標(biāo)移動(dòng)和打字速度等動(dòng)作，以顯得更加人性化。
輪換用戶代理：根據(jù)每個(gè)請(qǐng)求更改瀏覽器的用戶代理：
javascript
復(fù)制代碼
wait page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64)');

保存抓取的數(shù)據(jù)

提取數(shù)據(jù)后，您可能想要保存它。以下是一些常見的格式：
JSON：
javascript
復(fù)制代碼
const fs = require('fs');
const data = { name: 'Puppeteer', type: 'library' };
fs.writeFileSync('data.json', JSON.stringify(data, null, 2));

CSV：使用像 csv-writer 這樣的庫(kù)：
重?fù)?br> 復(fù)制代碼
npm 安裝 csv-writer
javascript
復(fù)制代碼
const createCsvWriter = require('csv-writer').createObjectCsvWriter;

const csvWriter = createCsvWriter({
路徑: 'data.csv',
標(biāo)題：[
{ id: '姓名', title: '姓名' },
{ id: '類型', title: '類型' }
]
});

const 記錄 = [{ name: 'Puppeteer', type: 'library' }];
csvWriter.writeRecords(records).then(() => console.log('CSV 文件已寫入。'));
道德網(wǎng)絡(luò)抓取實(shí)踐
在抓取網(wǎng)站之前，請(qǐng)記住這些道德準(zhǔn)則：
檢查服務(wù)條款：始終確保網(wǎng)站允許抓取。
尊重速率限制：避免在短時(shí)間內(nèi)發(fā)送太多請(qǐng)求。使用 setTimeout 或 Puppeteer 的 page.waitForTimeout() 來間隔請(qǐng)求：
javascript
復(fù)制代碼
等待頁(yè)面.waitForTimeout(2000); // 等待2秒

避免敏感數(shù)據(jù)：切勿抓取個(gè)人或私人信息。

常見問題故障排除

頁(yè)面無法正確加載：嘗試添加更長(zhǎng)的超時(shí)或啟用完整瀏覽器模式：
javascript
復(fù)制代碼
const browser = wait puppeteer.launch({ headless: false });

選擇器不起作用：使用瀏覽器開發(fā)人員工具（Ctrl Shift C）檢查網(wǎng)站以確認(rèn)選擇器。
被驗(yàn)證碼阻止：使用隱身插件并模仿人類行為。

常見問題 (FAQ)

1. Puppeteer 免費(fèi)嗎？ 是的，Puppeteer 是開源的并且可以免費(fèi)使用。
2. Puppeteer 可以抓取大量 JavaScript 的網(wǎng)站嗎？ 絕對(duì)地！ Puppeteer 執(zhí)行 JavaScript，非常適合抓取動(dòng)態(tài)網(wǎng)站。
3. 網(wǎng)頁(yè)抓取合法嗎？ 這取決于。在抓取之前請(qǐng)務(wù)必檢查網(wǎng)站的服務(wù)條款。
4. Puppeteer 可以繞過驗(yàn)證碼嗎？ Puppeteer 可以處理基本的驗(yàn)證碼挑戰(zhàn)，但高級(jí)挑戰(zhàn)可能需要第三方工具。

以上是如何使用 Puppeteer 進(jìn)行網(wǎng)頁(yè)抓?。撼鯇W(xué)者友好指南的詳細(xì)內(nèi)容。更多信息請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！