使用Guzzle進(jìn)行強(qiáng)大的HTTP請(qǐng)求，並帶有標(biāo)頭和超時(shí)。 2。使用CSS選擇器對(duì)Symfony Domcrawler有效地解析HTML。 3。通過通過php exec（）集成Puppeteer來渲染頁(yè)面，處理JavaScript繁重的站點(diǎn)。 4。尊重robots.txt，添加延遲，旋轉(zhuǎn)用戶代理並使用代理以避免塊。 5。將數(shù)據(jù)存儲(chǔ)在CSV或MySQL之類的數(shù)據(jù)庫(kù)中，以進(jìn)行結(jié)構(gòu)化輸出。 PHP具有正確的工具，是用於Web刮擦和自動(dòng)化任務(wù)的能力和負(fù)責(zé)任的選擇。

對(duì)於許多開發(fā)人員來說，使用PHP進(jìn)行數(shù)據(jù)刮擦和Web自動(dòng)化可能不是首選 - Python經(jīng)常使用BeautifulSoup和Selenium等工具捕捉到焦點(diǎn)，但是PHP的功能遠(yuǎn)遠(yuǎn)超出了正確的手。使用正確的庫(kù)和方法，PHP可以有效地處理Web刮擦任務(wù)，自動(dòng)化表單提交和從網(wǎng)站提取結(jié)構(gòu)化數(shù)據(jù)。

這是您可以有效地使用PHP進(jìn)行數(shù)據(jù)刮擦和Web自動(dòng)化的方法。

1。使用Guzzle進(jìn)行HTTP請(qǐng)求

刮擦之前，您需要獲取網(wǎng)頁(yè)。雖然file_get_contents()適用於簡(jiǎn)單的情況，但Guzzle是功能強(qiáng)大的HTTP客戶端，可為您提供對(duì)請(qǐng)求的完全控制。

通過作曲家安裝它：

作曲家需要guzzlehttp/guzzle

示例：獲取網(wǎng)頁(yè)

 $ client = new \ guzzlehttp \ client（）;
$ revyse = $ client-> get（'https://example.com'）;
$ html =（string）$ response-> getbody（）;

Guzzle支持標(biāo)題，cookie，會(huì)話，重定向和超時(shí)，這是避免塊和模仿真實(shí)瀏覽器的。

2。解析HTML與Symfony Domcrawler

擁有HTML後，您需要提取數(shù)據(jù)。 Symfony Domcrawler組件使Dom Traversal變得容易且類似於jQuery。

安裝它：

作曲家需要Symfony/Dom-Crawler

示例：提取所有鏈接

使用Symfony \ component \ domcrawler \ crawler;

$ crawler = new Crawler（$ html）;
$ links = [];

$ crawler-> filter（'a'） - >每個(gè)（函數(shù)（$ node）use（＆$ links）{
    $ links [] = [
        'href'=> $ node-> attr（'href'），
        'text'=> $ node-> text（）
    ];
}）;

您可以通過CSS選擇器過濾，提取屬性，文本甚至驗(yàn)證結(jié)構(gòu)，即用於提取產(chǎn)品名稱，價(jià)格或文章內(nèi)容的完美結(jié)構(gòu)。

3。處理帶有無頭瀏覽器（木偶php）的JavaScript重型網(wǎng)站

PHP本身無法執(zhí)行JavaScript，因此，如果網(wǎng)站通過JS加載內(nèi)容（例如，React或Angular Apps），則簡(jiǎn)單的HTTP提取將無法正常工作。

解決方案：使用Puppeteer （Node.js）之類的無頭瀏覽器，並通過PHP與它進(jìn)行通信。

方法：

• 運(yùn)行一個(gè)Puppeteer腳本，該腳本加載頁(yè)面並轉(zhuǎn)儲(chǔ)渲染的HTML。
• 使用exec()或REST API從PHP調(diào)用它。

示例Puppeteer腳本（ scrape.js ）：

 const puppeteer = require（'puppeteer'）;
const fs = require（'fs'）;

（async（）=> {
    const瀏覽器=等待Puppeteer.launch（）;
    const page =等待browser.newpage（）;
    等待Page.goto（process.argv [2]）;
    等待頁(yè)面。 //等待JS加載

    const html =等待page.content（）;
    fs.WriteFileSync（'output.html'，html）;
    等待browser.close（）;
}）（）;

來自PHP的電話：

 exec（“ node scrape.js https://example.com”）;
$ html = file_get_contents（'output.html'）;

這種混合方法使PHP可以在渲染到節(jié)點(diǎn)時(shí)處理邏輯和數(shù)據(jù)處理。

4。尊重機(jī)器人.txt並避免限制速率

自動(dòng)請(qǐng)求可以阻止您的IP?？偸牵?/p>

• 檢查robots.txt （例如，https: https://example.com/robots.txt ）
• 在請(qǐng)求之間添加延遲
• 旋轉(zhuǎn)用戶代理
• 使用代理進(jìn)行大規(guī)模刮擦

延遲的示例：

睡眠（2）; //等待2秒之間的請(qǐng)求

並設(shè)置現(xiàn)實(shí)的用戶代理：

 $ client-> get（'https://example.com'，[
    '標(biāo)題'=> [
        '用戶代理'=>'Mozilla/5.0（Windows NT 10.0; Win64; X64）AppleWebkit/537.36'
    這是給出的
）;

5。容易存儲(chǔ)和導(dǎo)出數(shù)據(jù)

刮擦後，PHP與數(shù)據(jù)庫(kù)和文件格式很好地集成。

保存到CSV：

 $ fp = fopen（'products.csv'，'w'）;
foreach（$ data as $ row）{
    fputcsv（$ fp，$ row）;
}
fclose（$ fp）;

或插入MySQL：

 $ stmt = $ pDO->準(zhǔn)備（“插入產(chǎn)品（名稱，價(jià)格）值（？，？）”）;
$ stmt->執(zhí)行（[$ name，$ price]）;

最後的想法

PHP可能不是刮擦的最時(shí)尚工具，但是使用Guzzle ， Domcrawler ，並與Puppeteer這樣的工具集成在一起，它是一個(gè)可靠，易於使用的選擇 - 尤其是如果您已經(jīng)在Laravel或WordPress等PHP環(huán)境中工作。

這並不是要替換Python，而是知道PHP可以在需要時(shí)做得很好。

基本上：智能，乾淨(jìng)地分析，在需要時(shí)渲染JS，並始終負(fù)責(zé)任地刮擦。

以上是使用PHP進(jìn)行數(shù)據(jù)刮擦和Web自動(dòng)化的詳細(xì)內(nèi)容。更多資訊請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！