嘗試從動(dòng)態(tài)網(wǎng)頁(yè)加載數(shù)據(jù)時(shí)，您的抓取工具是否卡住了？您是否對(duì)無限滾動(dòng)或那些討厭的“加載更多”按鈕感到沮喪？

你并不孤單。如今，許多網(wǎng)站都實(shí)施這些設(shè)計(jì)來改善用戶體驗(yàn)，但它們對(duì)于網(wǎng)絡(luò)抓取工具來說可能具有挑戰(zhàn)性。

本教程將指導(dǎo)您完成適合初學(xué)者的演練，使用 加載更多 按鈕抓取演示頁(yè)面。目標(biāo)網(wǎng)頁(yè)如下所示：

最后，您將學(xué)習(xí)如何：

• 設(shè)置 Selenium 進(jìn)行網(wǎng)頁(yè)抓取。
• 自動(dòng)化“加載更多”按鈕交互。
• 提取產(chǎn)品數(shù)據(jù)，例如名稱、價(jià)格和鏈接。

讓我們開始吧！

第 1 步：先決條件

開始之前，請(qǐng)確保滿足以下先決條件：

• 已安裝 Python：從 python.org 下載并安裝最新的 Python 版本，包括安裝過程中的 pip。
• 基礎(chǔ)知識(shí)：熟悉網(wǎng)頁(yè)抓取概念、Python 編程以及使用 requests、BeautifulSoup 和 Selenium 等庫(kù)。

所需的圖書館：

• 請(qǐng)求：用于發(fā)送 HTTP 請(qǐng)求。
• BeautifulSoup：用于解析 HTML 內(nèi)容。
• Selenium：用于模擬用戶交互，例如瀏覽器中的按鈕單擊。

您可以在終端中使用以下命令安裝這些庫(kù)：

pip install requests beautifulsoup4 selenium

在使用 Selenium 之前，您必須安裝與您的瀏覽器匹配的網(wǎng)絡(luò)驅(qū)動(dòng)程序。在本教程中，我們將使用 Google Chrome 和 ChromeDriver。不過，您可以對(duì) Firefox 或 Edge 等其他瀏覽器執(zhí)行類似的步驟。

安裝網(wǎng)絡(luò)驅(qū)動(dòng)程序

1. 檢查您的瀏覽器版本：

2. 打開 Google Chrome 并導(dǎo)航至 幫助 >關(guān)于 Google Chrome 從三點(diǎn)菜單中查找 Chrome 版本。

3. 下載 ChromeDriver:

4. 訪問 ChromeDriver 下載頁(yè)面。

5. 下載與您的 Chrome 版本匹配的驅(qū)動(dòng)程序版本。

6. 將 ChromeDriver 添加到您的系統(tǒng)路徑：
   解壓下載的文件并將其放置在 /usr/local/bin (Mac/Linux) 或 C:WindowsSystem32 (Windows) 等目錄中。

驗(yàn)證安裝

在項(xiàng)目目錄中初始化一個(gè) Python 文件 scraper.py 并通過運(yùn)行以下代碼片段測(cè)試一切設(shè)置是否正確：

from selenium import webdriver
driver = webdriver.Chrome() # Ensure ChromeDriver is installed and in PATH
driver.get("https://www.scrapingcourse.com/button-click")
print(driver.title)
driver.quit()

您可以通過在終端上運(yùn)行以下命令來執(zhí)行上述文件代碼：

pip install requests beautifulsoup4 selenium

如果上面的代碼運(yùn)行沒有錯(cuò)誤，它將啟動(dòng)瀏覽器界面并打開演示頁(yè)面 URL，如下所示：

Selenium 隨后將提取 HTML 并打印頁(yè)面標(biāo)題。你會(huì)看到這樣的輸出 -

from selenium import webdriver
driver = webdriver.Chrome() # Ensure ChromeDriver is installed and in PATH
driver.get("https://www.scrapingcourse.com/button-click")
print(driver.title)
driver.quit()

這將驗(yàn)證 Selenium 是否可以使用。安裝所有要求并準(zhǔn)備使用后，您可以開始訪問演示頁(yè)面的內(nèi)容。

第 2 步：訪問內(nèi)容

第一步是獲取頁(yè)面的初始內(nèi)容，這將為您提供頁(yè)面 HTML 的基線快照。這將幫助您驗(yàn)證連接并確保抓取過程的有效起點(diǎn)。

您將通過使用 Python 中的 Requests 庫(kù)發(fā)送 GET 請(qǐng)求來檢索頁(yè)面 URL 的 HTML 內(nèi)容。代碼如下：

python scraper.py

上面的代碼將輸出包含前 12 個(gè)產(chǎn)品數(shù)據(jù)的原始 HTML。

HTML 的快速預(yù)覽可確保請(qǐng)求成功并且您正在使用有效的數(shù)據(jù)。

第 3 步：加載更多產(chǎn)品

要訪問剩余的產(chǎn)品，您需要以編程方式單擊頁(yè)面上的“加載更多”按鈕，直到?jīng)]有更多產(chǎn)品可用。由于此交互涉及 JavaScript，因此您將使用 Selenium 來模擬按鈕單擊。

在編寫代碼之前，我們先檢查一下頁(yè)面以定位：

• “加載更多” 按鈕選擇器 (load-more-btn)。
• 保存產(chǎn)品詳細(xì)信息的 div (product-item)。

您將通過加載更多產(chǎn)品來獲得所有產(chǎn)品，通過運(yùn)行以下代碼為您提供更大的數(shù)據(jù)集：

Load More Button Challenge to Learn Web Scraping - ScrapingCourse.com

此代碼打開瀏覽器，導(dǎo)航到頁(yè)面，并與“加載更多”按鈕交互。然后提取更新后的 HTML（現(xiàn)在包含更多產(chǎn)品數(shù)據(jù)）。

如果你不希望Selenium每次運(yùn)行這段代碼時(shí)都打開瀏覽器，它還提供了無頭瀏覽器功能。無頭瀏覽器具有實(shí)際 Web 瀏覽器的所有功能，但沒有圖形用戶界面 (GUI)。

您可以通過定義 ChromeOptions 對(duì)象并將其傳遞給 WebDriver Chrome 構(gòu)造函數(shù)，在 Selenium 中啟用 Chrome 的無頭模式，如下所示：

import requests
# URL of the demo page with products
url = "https://www.scrapingcourse.com/button-click"
# Send a GET request to the URL
response = requests.get(url)
# Check if the request was successful
if response.status_code == 200:
    html_content = response.text
    print(html_content) # Optional: Preview the HTML
else:
    print(f"Failed to retrieve content: {response.status_code}")

當(dāng)您運(yùn)行上述代碼時(shí)，Selenium 將啟動(dòng)一個(gè)無頭 Chrome 實(shí)例，因此您將不再看到 Chrome 窗口。這對(duì)于在服務(wù)器上運(yùn)行抓取腳本時(shí)不想在 GUI 上浪費(fèi)資源的生產(chǎn)環(huán)境來說是理想的選擇。

現(xiàn)在已檢索到完整的 HTML 內(nèi)容，是時(shí)候提取有關(guān)每個(gè)產(chǎn)品的具體詳細(xì)信息了。

第四步：解析產(chǎn)品信息

在此步驟中，您將使用 BeautifulSoup 解析 HTML 并識(shí)別產(chǎn)品元素。然后，您將提取每個(gè)產(chǎn)品的關(guān)鍵詳細(xì)信息，例如名稱、價(jià)格和鏈接。

pip install requests beautifulsoup4 selenium

在輸出中，您應(yīng)該看到產(chǎn)品詳細(xì)信息的結(jié)構(gòu)化列表，包括名稱、圖像 URL、價(jià)格和產(chǎn)品頁(yè)面鏈接，如下所示 -

from selenium import webdriver
driver = webdriver.Chrome() # Ensure ChromeDriver is installed and in PATH
driver.get("https://www.scrapingcourse.com/button-click")
print(driver.title)
driver.quit()

上面的代碼將原始 HTML 數(shù)據(jù)組織成結(jié)構(gòu)化格式，使其更容易使用和準(zhǔn)備輸出數(shù)據(jù)以進(jìn)行進(jìn)一步處理。

第 5 步：將產(chǎn)品信息導(dǎo)出到 CSV

您現(xiàn)在可以將提取的數(shù)據(jù)組織到 CSV 文件中，這使得分析或共享變得更加容易。 Python 的 CSV 模塊對(duì)此有所幫助。

python scraper.py

上述代碼將創(chuàng)建一個(gè)新的 CSV 文件，其中包含所有必需的產(chǎn)品詳細(xì)信息。

以下是概述的完整代碼：

Load More Button Challenge to Learn Web Scraping - ScrapingCourse.com

上面的代碼將創(chuàng)建一個(gè) products.csv，如下所示：

import requests
# URL of the demo page with products
url = "https://www.scrapingcourse.com/button-click"
# Send a GET request to the URL
response = requests.get(url)
# Check if the request was successful
if response.status_code == 200:
    html_content = response.text
    print(html_content) # Optional: Preview the HTML
else:
    print(f"Failed to retrieve content: {response.status_code}")

第 6 步：獲取熱門產(chǎn)品的額外數(shù)據(jù)

現(xiàn)在，假設(shè)您想要識(shí)別價(jià)格最高的前 5 個(gè)產(chǎn)品，并從其各個(gè)頁(yè)面中提取其他數(shù)據(jù)（例如產(chǎn)品描述和 SKU 代碼）。您可以使用以下代碼來做到這一點(diǎn)：

from selenium import webdriver
from selenium.webdriver.common.by import By
import time
# Set up the WebDriver (make sure you have the appropriate driver installed, e.g., ChromeDriver)
driver = webdriver.Chrome()
# Open the page
driver.get("https://www.scrapingcourse.com/button-click")
# Loop to click the "Load More" button until there are no more products
while True:
    try:
        # Find the "Load more" button by its ID and click it
        load_more_button = driver.find_element(By.ID, "load-more-btn")
        load_more_button.click()
        # Wait for the content to load (adjust time as necessary)
        time.sleep(2)
    except Exception as e:
        # If no "Load More" button is found (end of products), break out of the loop
        print("No more products to load.")
        break
# Get the updated page content after all products are loaded
html_content = driver.page_source
# Close the browser window
driver.quit()

以下是概述的完整代碼：

from selenium import webdriver
from selenium.webdriver.common.by import By

import time

# instantiate a Chrome options object
options = webdriver.ChromeOptions()

# set the options to use Chrome in headless mode
options.add_argument("--headless=new")

# initialize an instance of the Chrome driver (browser) in headless mode
driver = webdriver.Chrome(options=options)

...

此代碼按價(jià)格降序?qū)Ξa(chǎn)品進(jìn)行排序。然后，對(duì)于價(jià)格最高的前 5 個(gè)產(chǎn)品，腳本打開其產(chǎn)品頁(yè)面并使用 BeautifulSoup 提取產(chǎn)品描述和 SKU。

上面代碼的輸出將是這樣的：

from bs4 import BeautifulSoup
# Parse the page content with BeautifulSoup
soup = BeautifulSoup(html_content, 'html.parser')
# Extract product details
products = []
# Find all product items in the grid
product_items = soup.find_all('div', class_='product-item')
for product in product_items:
    # Extract the product name
    name = product.find('span', class_='product-name').get_text(strip=True)

    # Extract the product price
    price = product.find('span', class_='product-price').get_text(strip=True)

    # Extract the product link
    link = product.find('a')['href']

    # Extract the image URL
    image_url = product.find('img')['src']

    # Create a dictionary with the product details
    products.append({
        'name': name,
        'price': price,
        'link': link,
        'image_url': image_url
})
# Print the extracted product details
for product in products[:2]:
    print(f"Name: {product['name']}")
    print(f"Price: {product['price']}")
    print(f"Link: {product['link']}")
    print(f"Image URL: {product['image_url']}")
    print('-' * 30)

上面的代碼將更新 products.csv，它現(xiàn)在將具有如下信息：

Name: Chaz Kangeroo Hoodie
Price: 
Link: https://scrapingcourse.com/ecommerce/product/chaz-kangeroo-hoodie
Image URL: https://scrapingcourse.com/ecommerce/wp-content/uploads/2024/03/mh01-gray_main.jpg
------------------------------
Name: Teton Pullover Hoodie
Price: 
Link: https://scrapingcourse.com/ecommerce/product/teton-pullover-hoodie
Image URL: https://scrapingcourse.com/ecommerce/wp-content/uploads/2024/03/mh02-black_main.jpg
------------------------------
…

結(jié)論

使用無限滾動(dòng)或“加載更多”按鈕抓取頁(yè)面似乎具有挑戰(zhàn)性，但使用 Requests、Selenium 和 BeautifulSoup 等工具可以簡(jiǎn)化該過程。

本教程展示了如何從演示頁(yè)面檢索和處理產(chǎn)品數(shù)據(jù)，并將其保存為結(jié)構(gòu)化格式以便快速輕松地訪問。

在此處查看所有代碼片段。

以上是使用'加載更多”按鈕抓取無限滾動(dòng)頁(yè)面：分步指南的詳細(xì)內(nèi)容。更多信息請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！