核心要點

• Node.js 的網(wǎng)頁抓取涉及從遠程服務(wù)器下載源代碼並從中提取數(shù)據(jù)，可以使用 cheerio 和 request 等模塊來實現(xiàn)。
• cheerio 模塊實現(xiàn)了 jQuery 的一個子集，可以從 HTML 字符串構(gòu)建 DOM 並進行解析，但它可能難以處理結(jié)構(gòu)不良的 HTML。
• 通過結(jié)合request 和cheerio 可以構(gòu)建完整的網(wǎng)頁抓取程序來提取網(wǎng)頁的特定元素，但是處理動態(tài)內(nèi)容、避免被封禁以及處理需要登錄或使用CAPTCHA 的網(wǎng)站會更加複雜，可能需要額外的工具或策略。

網(wǎng)頁抓取程序是通過編程方式訪問網(wǎng)頁並從中提取數(shù)據(jù)的軟件。由於內(nèi)容重複等問題，網(wǎng)頁抓取是一個有點爭議的話題。大多數(shù)網(wǎng)站所有者更傾向於通過公開可用的 API 訪問其數(shù)據(jù)。不幸的是，許多網(wǎng)站提供的 API 質(zhì)量很差，甚至根本沒有 API。這迫使許多開發(fā)人員轉(zhuǎn)向網(wǎng)頁抓取。本文將教你如何在 Node.js 中實現(xiàn)你自己的網(wǎng)頁抓取程序。網(wǎng)頁抓取的第一步是從遠程服務(wù)器下載源代碼。在“在 Node.js 中發(fā)出 HTTP 請求”中，讀者學習瞭如何使用 request 模塊下載頁面。以下示例快速回顧了在 Node.js 中發(fā)出 GET 請求的方法。

var request = require("request");

request({
  uri: "http://www.sitepoint.com",
}, function(error, response, body) {
  console.log(body);
});

網(wǎng)頁抓取的第二步，也是更困難的一步，是從下載的源代碼中提取數(shù)據(jù)。在客戶端，使用選擇器 API 或 jQuery 等庫可以輕鬆完成此任務(wù)。不幸的是，這些解決方案依賴於可以查詢 DOM 的假設(shè)。遺憾的是，Node.js 沒有提供 DOM?；蛘哂袉幔?

Cheerio 模塊

雖然 Node.js 沒有內(nèi)置 DOM，但有一些模塊可以從 HTML 源代碼字符串構(gòu)建 DOM。兩個流行的 DOM 模塊是 cheerio 和 jsdom。本文重點介紹 cheerio，可以使用以下命令安裝：

npm install cheerio

cheerio 模塊實現(xiàn)了 jQuery 的一個子集，這意味著許多開發(fā)人員可以快速上手。事實上，cheerio 與 jQuery 非常相似，你很容易發(fā)現(xiàn)自己試圖使用 cheerio 中未實現(xiàn)的 jQuery 函數(shù)。以下示例展示瞭如何使用 cheerio 解析 HTML 字符串。第一行將 cheerio 導入程序。 html 變量保存要解析的 HTML 片段。在第 3 行，使用 cheerio 解析 HTML。結(jié)果賦值給 $ 變量。選擇美元符號是因為它傳統(tǒng)上用於 jQuery。第 4 行使用 CSS 樣式選擇器選擇 <code><ul> 元素。最後，使用 html() 方法打印列表的內(nèi)部 HTML。

var request = require("request");

request({
  uri: "http://www.sitepoint.com",
}, function(error, response, body) {
  console.log(body);
});

限制

cheerio 正在積極開發(fā)中，並且一直在改進。但是，它仍然有一些限制。 cheerio 最令人沮喪的方面是 HTML 解析器。 HTML 解析是一個難題，並且有很多網(wǎng)頁包含不良的 HTML。雖然 cheerio 不會在這些頁面上崩潰，但你可能會發(fā)現(xiàn)自己無法選擇元素。這使得難以確定錯誤在於你的選擇器還是頁面本身。

抓取 JSPro

以下示例結(jié)合 request 和 cheerio 來構(gòu)建一個完整的網(wǎng)頁抓取程序。該示例抓取程序提取 JSPro 首頁上所有文章的標題和 URL。前兩行將所需的模塊導入示例。第 3 到第 5 行下載 JSPro 首頁的源代碼。然後將源代碼傳遞給 cheerio 進行解析。

npm install cheerio

如果你查看 JSPro 源代碼，你會注意到每個文章標題都是一個包含在類為 entry-title 的 <a></a> 元素中的鏈接。第 7 行的選擇器選擇所有文章鏈接。然後使用 each() 函數(shù)遍歷所有文章。最後，文章標題和 URL 分別從鏈接的文本和 href 屬性中獲取。

結(jié)論

本文向你展示瞭如何在 Node.js 中創(chuàng)建一個簡單的網(wǎng)頁抓取程序。請注意，這不是抓取網(wǎng)頁的唯一方法。還有其他技術(shù)，例如使用無頭瀏覽器，它們功能更強大，但可能會影響簡單性和/或速度。請關(guān)注即將發(fā)表的關(guān)於 PhantomJS 無頭瀏覽器的文章。

Node.js 網(wǎng)頁抓取常見問題 (FAQ)

如何在 Node.js 網(wǎng)頁抓取中處理動態(tài)內(nèi)容？

在 Node.js 中處理動態(tài)內(nèi)容可能有點棘手，因為內(nèi)容是異步加載的。您可以使用像 Puppeteer 這樣的庫，它是一個 Node.js 庫，提供一個高級 API 來通過 DevTools 協(xié)議控制 Chrome 或 Chromium。 Puppeteer 默認情況下以無頭模式運行，但可以配置為運行完整的（非無頭）Chrome 或 Chromium。這允許您通過模擬用戶交互來抓取動態(tài)內(nèi)容。

如何避免在網(wǎng)頁抓取時被封禁？

如果網(wǎng)站檢測到異常流量，網(wǎng)頁抓取有時會導致您的 IP 被封禁。為避免這種情況，您可以使用一些技術(shù)，例如輪換您的 IP 地址、使用延遲，甚至使用自動處理這些問題的抓取 API。

如何從需要登錄的網(wǎng)站抓取數(shù)據(jù)？

要從需要登錄的網(wǎng)站抓取數(shù)據(jù)，您可以使用 Puppeteer。 Puppeteer 可以通過填寫登錄表單並提交來模擬登錄過程。登錄後，您可以導航到所需的頁面並抓取數(shù)據(jù)。

如何將抓取的數(shù)據(jù)保存到數(shù)據(jù)庫？

抓取數(shù)據(jù)後，您可以使用您選擇的數(shù)據(jù)庫的數(shù)據(jù)庫客戶端。例如，如果您使用的是 MongoDB，您可以使用 MongoDB Node.js 客戶端連接到您的數(shù)據(jù)庫並保存數(shù)據(jù)。

如何從帶有分頁的網(wǎng)站抓取數(shù)據(jù)？

要從帶有分頁的網(wǎng)站抓取數(shù)據(jù)，您可以使用循環(huán)來瀏覽頁面。在每次迭代中，您可以從當前頁面抓取數(shù)據(jù)，然後單擊“下一頁”按鈕導航到下一頁。

如何從帶有無限滾動的網(wǎng)站抓取數(shù)據(jù)？

要從帶有無限滾動的網(wǎng)站抓取數(shù)據(jù)，您可以使用 Puppeteer 模擬向下滾動操作。您可以使用循環(huán)不斷向下滾動，直到不再加載新數(shù)據(jù)。

如何在網(wǎng)頁抓取中處理錯誤？

錯誤處理在網(wǎng)頁抓取中至關(guān)重要。您可以使用 try-catch 塊來處理錯誤。在 catch 塊中，您可以記錄錯誤消息，這將幫助您調(diào)試問題。

如何從使用 AJAX 的網(wǎng)站抓取數(shù)據(jù)？

要從使用 AJAX 的網(wǎng)站抓取數(shù)據(jù)，您可以使用 Puppeteer。 Puppeteer 可以等待 AJAX 調(diào)用完成，然後抓取數(shù)據(jù)。

如何加快 Node.js 中的網(wǎng)頁抓取速度？

要加快網(wǎng)頁抓取速度，您可以使用並行處理等技術(shù)，在不同的選項卡中打開多個頁面並同時從它們抓取數(shù)據(jù)。但是，請注意不要用過多的請求來過載網(wǎng)站，因為這可能會導致您的 IP 被封禁。

如何從使用 CAPTCHA 的網(wǎng)站抓取數(shù)據(jù)？

從使用 CAPTCHA 的網(wǎng)站抓取數(shù)據(jù)可能具有挑戰(zhàn)性。您可以使用像 2Captcha 這樣的服務(wù)，它們提供一個 API 來解決 CAPTCHA。但是，請記住，在某些情況下，這可能是非法或不道德的。始終尊重網(wǎng)站的服務(wù)條款。

以上是node.js中的網(wǎng)絡(luò)刮擦的詳細內(nèi)容。更多資訊請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！