Python 和 LXML 是構(gòu)建網(wǎng)絡(luò)爬蟲(chóng)的高效組合，因其速度快、語(yǔ)法簡(jiǎn)潔且能高效解析 HTML。1. 安裝 requests 和 lxml 庫(kù)用于發(fā)起請(qǐng)求和解析 HTML；2. 使用 requests 發(fā)送 GET 請(qǐng)求并設(shè)置 User-Agent 避免被屏蔽；3. 用 lxml.html 解析 HTML 內(nèi)容，并通過(guò) XPath 提取數(shù)據(jù)；4. 處理翻頁(yè)邏輯時(shí)構(gòu)造分頁(yè)鏈接或提取詳情頁(yè)鏈接進(jìn)行多頁(yè)面抓取；5. 注意編碼問(wèn)題、XPath 寫(xiě)法、反爬策略及適當(dāng)延時(shí)避免被封 IP。

Python 和 LXML 是構(gòu)建網(wǎng)絡(luò)爬蟲(chóng)的常用組合，主要是因?yàn)樗鼈兯俣瓤臁⒄Z(yǔ)法簡(jiǎn)潔，而且能高效解析 HTML 頁(yè)面結(jié)構(gòu)。如果你需要從網(wǎng)頁(yè)中提取特定數(shù)據(jù)，用 Python 搭配 LXML 庫(kù)是個(gè)不錯(cuò)的選擇。

安裝必要的庫(kù)

在開(kāi)始寫(xiě)爬蟲(chóng)之前，確保你已經(jīng)安裝了 lxml 和 requests 這兩個(gè)主要的依賴(lài)庫(kù)。

• requests 用于發(fā)起 HTTP 請(qǐng)求獲取網(wǎng)頁(yè)內(nèi)容
• lxml 用于解析 HTML 并提取其中的數(shù)據(jù)

你可以通過(guò) pip 安裝它們：

pip install requests lxml

有時(shí)候還需要處理 JavaScript 渲染的內(nèi)容，這時(shí)候就需要 Selenium 或 Playwright，但大多數(shù)靜態(tài)頁(yè)面用 requests lxml 就夠用了。

發(fā)起請(qǐng)求并獲取網(wǎng)頁(yè)內(nèi)容

第一步是使用 requests 向目標(biāo)網(wǎng)站發(fā)送一個(gè) GET 請(qǐng)求，并保存返回的 HTML 內(nèi)容。這里要注意設(shè)置合理的 headers，比如 User-Agent，否則可能會(huì)被網(wǎng)站屏蔽。

示例代碼：

import requests

url = "https://example.com"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0 Safari/537.36"
}
response = requests.get(url, headers=headers)

if response.status_code == 200:
    html_content = response.text
else:
    print("請(qǐng)求失敗")

注意：

• 有些網(wǎng)站會(huì)檢測(cè)請(qǐng)求頭，所以建議總是帶上 User-Agent
• 如果響應(yīng)狀態(tài)碼不是 200，說(shuō)明請(qǐng)求可能失敗或被限制訪問(wèn)
• 可以考慮加入重試機(jī)制和異常處理，比如超時(shí)控制

使用 LXML 解析 HTML 并提取數(shù)據(jù)

拿到 HTML 內(nèi)容之后，就可以用 lxml.html 來(lái)解析，并利用 XPath 提取所需的信息。XPath 是一種專(zhuān)門(mén)用于在 XML 或 HTML 中定位節(jié)點(diǎn)的語(yǔ)言，非常適合做數(shù)據(jù)提取。

示例：提取所有鏈接

from lxml import html

tree = html.fromstring(html_content)
links = tree.xpath('//a/@href')

for link in links:
    print(link)

一些實(shí)用技巧：

• 用瀏覽器開(kāi)發(fā)者工具查看元素，右鍵復(fù)制 XPath（但要小心動(dòng)態(tài)生成的內(nèi)容）
• 遇到?jīng)]有 class 的標(biāo)簽，可以嘗試用位置索引，比如 //div[2]/p
• 多層嵌套的時(shí)候，不要一次性寫(xiě)太復(fù)雜的 XPath，可以分步提取

如果遇到中文亂碼，可以先檢查網(wǎng)頁(yè)編碼，然后手動(dòng)指定解碼方式：

html_content = response.content.decode('utf-8')

處理翻頁(yè)和多頁(yè)面抓取

大多數(shù)時(shí)候你需要抓取的不只是單個(gè)頁(yè)面，而是多個(gè)頁(yè)面甚至整個(gè)網(wǎng)站的一部分。常見(jiàn)做法是構(gòu)造翻頁(yè)鏈接，或者從首頁(yè)提取每個(gè)條目的詳情鏈接再逐一抓取。

比如：

base_url = "https://example.com/page/"
for page in range(1, 6):  # 抓前5頁(yè)
    url = f"{base_url}{page}"
    # 發(fā)起請(qǐng)求并解析

或者從列表頁(yè)提取詳情頁(yè)鏈接：

detail_links = tree.xpath('//ul/li/a/@href')
for link in detail_links:
    full_url = "https://example.com"   link
    # 繼續(xù)抓取詳情頁(yè)

注意事項(xiàng)：

• 翻頁(yè)邏輯因網(wǎng)站而異，有的是參數(shù)形式，有的是路徑形式
• 不要抓得太快，適當(dāng)加點(diǎn) time.sleep() 避免被封 IP
• 可以記錄已抓取的 URL，避免重復(fù)

基本上就這些。Python 搭配 LXML 做網(wǎng)頁(yè)抓取不復(fù)雜，但容易忽略細(xì)節(jié)，比如編碼問(wèn)題、XPath 寫(xiě)法、反爬策略等。只要掌握基本流程，加上一點(diǎn)調(diào)試經(jīng)驗(yàn)，就能搞定大部分靜態(tài)頁(yè)面的數(shù)據(jù)采集任務(wù)。

以上是用Python和LXML構(gòu)建網(wǎng)絡(luò)爬網(wǎng)的詳細(xì)內(nèi)容。更多信息請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！