>網(wǎng)絡(luò)刮擦：有效從網(wǎng)頁上提取數(shù)據(jù)
本教程解釋了網(wǎng)頁內(nèi)容的渲染方式以及如何使用Python，請(qǐng)求，美麗的湯和硒來刮擦它。 我們將專注於刮擦動(dòng)態(tài)內(nèi)容，特別是評(píng)論。
>何時(shí)需要網(wǎng)絡(luò)刮擦？
> Web刮擦?xí)詣?dòng)檢索，解析和從網(wǎng)頁中提取信息，通常是為人類互動(dòng)而設(shè)計(jì)的。 當(dāng)沒有API時(shí)，這是最後的手段。 考慮以下缺點(diǎn)：
- 脆弱性：網(wǎng)頁頻繁更改，打破刮板。
- 限制：許多網(wǎng)站禁止刮擦。 >
- 性能：
刮擦大量數(shù)據(jù)可能會(huì)很慢且昂貴。 > 了解現(xiàn)代網(wǎng)頁
>讓我們檢查典型的Web應(yīng)用程序的結(jié)構(gòu)。 我們將以“流浪介紹”文章為例。 要刮擦內(nèi)容，我們必須首先找到相關(guān)的HTML元素。
查看頁面源瀏覽器允許查看HTML源。 “流浪者簡介”來源揭示了與文章內(nèi)容本身無關(guān)的縮小JavaScript的很大一部分。 下面顯示了一個(gè)小摘錄：
以下是實(shí)際HTML的樣本：
靜態(tài)與動(dòng)態(tài)刮擦
靜態(tài)刮擦
忽略JavaScript，獲取原始服務(wù)器端HTML。 如果目標(biāo)內(nèi)容直接在源中，則可以使用。 但是，對(duì)於由JavaScript（動(dòng)態(tài)內(nèi)容）生成的內(nèi)容，此方法失敗了。>動(dòng)態(tài)刮擦使用硒等工具作為瀏覽器會(huì)與頁面交互，呈現(xiàn)JavaScript並使動(dòng)態(tài)內(nèi)容可用。 >用硒刮擦動(dòng)態(tài)評(píng)論 >讓我們從網(wǎng)站上刮擦評(píng)論（示例：Codecanyon評(píng)論）。我們將使用Selenium導(dǎo)航到註釋URL：
找到註釋元素需要檢查頁面（右鍵單擊，“檢查”）。 Selenium's
有助於處理異步加載：
from selenium import webdriver
driver = webdriver.Chrome()
driver.get('https://codecanyon.net/item/whatshelp-whatsapp-help-and-support-plugin-for-javascript/42202303/comments')
結(jié)論WebDriverWait
當(dāng)必要的數(shù)據(jù)不容易通過API提供時(shí)，
from selenium.webdriver.common.by import By
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
driver = webdriver.Chrome()
url = 'http://www.c2.com/loading-page'
driver.get(url)
element = WebDriverWait(driver, 5).until(
EC.presence_of_element_located((By.ID, "loaded_element"))
)
>
本教程結(jié)合了Esther Vaati的貢獻(xiàn)，Esther Vaati是Envato Tuts的軟件開發(fā)人員兼作者。以上是現(xiàn)代網(wǎng)絡(luò)用美麗的湯和硒刮擦的詳細(xì)內(nèi)容。更多資訊請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！
熱AI工具
Undress AI Tool
免費(fèi)脫衣圖片
Undresser.AI Undress
人工智慧驅(qū)動(dòng)的應(yīng)用程序，用於創(chuàng)建逼真的裸體照片
AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。
Clothoff.io
AI脫衣器
Video Face Swap
使用我們完全免費(fèi)的人工智慧換臉工具，輕鬆在任何影片中換臉！
熱門文章
熱工具
記事本++7.3.1
好用且免費(fèi)的程式碼編輯器
SublimeText3漢化版
中文版，非常好用
禪工作室 13.0.1
強(qiáng)大的PHP整合開發(fā)環(huán)境
Dreamweaver CS6
視覺化網(wǎng)頁開發(fā)工具
SublimeText3 Mac版
神級(jí)程式碼編輯軟體(SublimeText3)
Python類中的多態(tài)性
Jul 05, 2025 am 02:58 AM
多態(tài)是Python面向?qū)ο缶幊讨械暮诵母拍?，指“一種接口，多種實(shí)現(xiàn)”，允許統(tǒng)一處理不同類型的對(duì)象。 1.多態(tài)通過方法重寫實(shí)現(xiàn)，子類可重新定義父類方法，如Animal類的speak()方法在Dog和Cat子類中有不同實(shí)現(xiàn)。 2.多態(tài)的實(shí)際用途包括簡化代碼結(jié)構(gòu)、增強(qiáng)可擴(kuò)展性，例如圖形繪製程序中統(tǒng)一調(diào)用draw()方法，或遊戲開發(fā)中處理不同角色的共同行為。 3.Python實(shí)現(xiàn)多態(tài)需滿足：父類定義方法，子類重寫該方法，但不要求繼承同一父類，只要對(duì)象實(shí)現(xiàn)相同方法即可，這稱為“鴨子類型”。 4.注意事項(xiàng)包括保持方
解釋Python發(fā)電機(jī)和迭代器。
Jul 05, 2025 am 02:55 AM
迭代器是實(shí)現(xiàn)__iter__()和__next__()方法的對(duì)象，生成器是簡化版的迭代器，通過yield關(guān)鍵字自動(dòng)實(shí)現(xiàn)這些方法。 1.迭代器每次調(diào)用next()返回一個(gè)元素，無更多元素時(shí)拋出StopIteration異常。 2.生成器通過函數(shù)定義，使用yield按需生成數(shù)據(jù)，節(jié)省內(nèi)存且支持無限序列。 3.處理已有集合時(shí)用迭代器，動(dòng)態(tài)生成大數(shù)據(jù)或需惰性求值時(shí)用生成器，如讀取大文件時(shí)逐行加載。注意：列表等可迭代對(duì)像不是迭代器，迭代器到盡頭後需重新創(chuàng)建，生成器只能遍歷一次。
如何處理Python中的API身份驗(yàn)證
Jul 13, 2025 am 02:22 AM
處理API認(rèn)證的關(guān)鍵在於理解並正確使用認(rèn)證方式。 1.APIKey是最簡單的認(rèn)證方式，通常放在請(qǐng)求頭或URL參數(shù)中；2.BasicAuth使用用戶名和密碼進(jìn)行Base64編碼傳輸，適合內(nèi)部系統(tǒng)；3.OAuth2需先通過client_id和client_secret獲取Token，再在請(qǐng)求頭中帶上BearerToken；4.為應(yīng)對(duì)Token過期，可封裝Token管理類自動(dòng)刷新Token；總之，根據(jù)文檔選擇合適方式，並安全存儲(chǔ)密鑰信息是關(guān)鍵。
如何一次迭代兩個(gè)列表
Jul 09, 2025 am 01:13 AM
在Python中同時(shí)遍歷兩個(gè)列表的常用方法是使用zip()函數(shù)，它會(huì)按順序配對(duì)多個(gè)列表並以最短為準(zhǔn)；若列表長度不一致，可使用itertools.zip_longest()以最長為準(zhǔn)並填充缺失值；結(jié)合enumerate()可同時(shí)獲取索引。 1.zip()簡潔實(shí)用，適合成對(duì)數(shù)據(jù)迭代；2.zip_longest()處理不一致長度時(shí)可填充默認(rèn)值；3.enumerate(zip())可在遍歷時(shí)獲取索引，滿足多種複雜場景需求。
什麼是Python型提示？
Jul 07, 2025 am 02:55 AM
typeHintsInpyThonsolverbromblemboyofambiguityandPotentialBugSindyNamalytyCodeByallowingDevelopsosteSpecefectifyExpectedTypes.theyenhancereadability，enablellybugdetection，andimprovetool.typehintsupport.typehintsareadsareadsareadsareadsareadsareadsareadsareadsareaddedusidocolon（
什麼是Python迭代器？
Jul 08, 2025 am 02:56 AM
Inpython，IteratorSareObjectSthallowloopingThroughCollectionsByImplementing_iter __（）和__next __（）。 1）iteratorsWiaTheIteratorProtocol，使用__ITER __（）toreTurnterateratoratoranteratoratoranteratoratorAnterAnteratoratorant antheittheext__（）
解釋Python斷言。
Jul 07, 2025 am 12:14 AM
Assert是Python用於調(diào)試的斷言工具，當(dāng)條件不滿足時(shí)拋出AssertionError。其語法為assert條件加可選錯(cuò)誤信息，適用於內(nèi)部邏輯驗(yàn)證如參數(shù)檢查、狀態(tài)確認(rèn)等，但不能用於安全或用戶輸入檢查，且應(yīng)配合清晰提示信息使用，僅限開發(fā)階段輔助調(diào)試而非替代異常處理。
如何用Python測試API
Jul 12, 2025 am 02:47 AM
要測試API需使用Python的Requests庫，步驟為安裝庫、發(fā)送請(qǐng)求、驗(yàn)證響應(yīng)、設(shè)置超時(shí)與重試。首先通過pipinstallrequests安裝庫；接著用requests.get()或requests.post()等方法發(fā)送GET或POST請(qǐng)求；然後檢查response.status_code和response.json()確保返回結(jié)果符合預(yù)期；最後可添加timeout參數(shù)設(shè)置超時(shí)時(shí)間，並結(jié)合retrying庫實(shí)現(xiàn)自動(dòng)重試以增強(qiáng)穩(wěn)定性。
