使用 BeautifulSoup 提取可見網(wǎng)頁文本
許多網(wǎng)頁抓取任務(wù)涉及檢索網(wǎng)頁的可見文本內(nèi)容，不包括腳本等元素，注釋和 CSS 樣式。使用 BeautifulSoup，通過正確的方法可以輕松實現(xiàn)這一點。
使用 findAll() 函數(shù)時會出現(xiàn)一個常見問題，因為它會檢索所有文本節(jié)點，包括隱藏在不需要的元素中的節(jié)點。為了解決這個問題，我們可以定義一個自定義過濾器來排除特定的標簽和評論。
以下代碼舉例說明了這種方法：
from bs4 import BeautifulSoup
from bs4.element import Comment
import urllib.request
def tag_visible(element):
if element.parent.name in ['style', 'script', 'head', 'title', 'meta', '[document]']:
return False
if isinstance(element, Comment):
return False
return True
def text_from_html(body):
soup = BeautifulSoup(body, 'html.parser')
texts = soup.findAll(text=True)
visible_texts = filter(tag_visible, texts)
return u" ".join(t.strip() for t in visible_texts)
html = urllib.request.urlopen('http://www.nytimes.com/2009/12/21/us/21storm.html').read()
print(text_from_html(html))
tag_visible 函數(shù)檢查文本的父元素是否節(jié)點匹配任何不需要的標簽或者節(jié)點是否是注釋。然后，通過此過濾器的節(jié)點將使用 u" ".join(t.strip() for t invisible_texts) 將可見文本組合成單個字符串。
此方法僅有效地從一個網(wǎng)頁，省略腳本和評論等不必要的元素。
以上是如何使用BeautifulSoup提取可見網(wǎng)頁文本？的詳細內(nèi)容。更多信息請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！
熱AI工具
Undress AI Tool
免費脫衣服圖片
Undresser.AI Undress
人工智能驅(qū)動的應(yīng)用程序，用于創(chuàng)建逼真的裸體照片
AI Clothes Remover
用于從照片中去除衣服的在線人工智能工具。
Clothoff.io
AI脫衣機
Video Face Swap
使用我們完全免費的人工智能換臉工具輕松在任何視頻中換臉！
熱門文章
熱工具
記事本++7.3.1
好用且免費的代碼編輯器
SublimeText3漢化版
中文版，非常好用
禪工作室 13.0.1
功能強大的PHP集成開發(fā)環(huán)境
Dreamweaver CS6
視覺化網(wǎng)頁開發(fā)工具
SublimeText3 Mac版
神級代碼編輯軟件(SublimeText3)
Python類中的多態(tài)性
Jul 05, 2025 am 02:58 AM
多態(tài)是Python面向?qū)ο缶幊讨械暮诵母拍?，指“一種接口，多種實現(xiàn)”，允許統(tǒng)一處理不同類型的對象。1.多態(tài)通過方法重寫實現(xiàn)，子類可重新定義父類方法，如Animal類的speak()方法在Dog和Cat子類中有不同實現(xiàn)。2.多態(tài)的實際用途包括簡化代碼結(jié)構(gòu)、增強可擴展性，例如圖形繪制程序中統(tǒng)一調(diào)用draw()方法，或游戲開發(fā)中處理不同角色的共同行為。3.Python實現(xiàn)多態(tài)需滿足：父類定義方法，子類重寫該方法，但不要求繼承同一父類，只要對象實現(xiàn)相同方法即可，這稱為“鴨子類型”。4.注意事項包括保持方
解釋Python發(fā)電機和迭代器。
Jul 05, 2025 am 02:55 AM
迭代器是實現(xiàn)__iter__()和__next__()方法的對象，生成器是簡化版的迭代器，通過yield關(guān)鍵字自動實現(xiàn)這些方法。1.迭代器每次調(diào)用next()返回一個元素，無更多元素時拋出StopIteration異常。2.生成器通過函數(shù)定義，使用yield按需生成數(shù)據(jù)，節(jié)省內(nèi)存且支持無限序列。3.處理已有集合時用迭代器，動態(tài)生成大數(shù)據(jù)或需惰性求值時用生成器，如讀取大文件時逐行加載。注意：列表等可迭代對象不是迭代器，迭代器到盡頭后需重新創(chuàng)建，生成器只能遍歷一次。
如何處理Python中的API身份驗證
Jul 13, 2025 am 02:22 AM
處理API認證的關(guān)鍵在于理解并正確使用認證方式。1.APIKey是最簡單的認證方式，通常放在請求頭或URL參數(shù)中；2.BasicAuth使用用戶名和密碼進行Base64編碼傳輸，適合內(nèi)部系統(tǒng)；3.OAuth2需先通過client_id和client_secret獲取Token，再在請求頭中帶上BearerToken；4.為應(yīng)對Token過期，可封裝Token管理類自動刷新Token；總之，根據(jù)文檔選擇合適方式，并安全存儲密鑰信息是關(guān)鍵。
如何一次迭代兩個列表
Jul 09, 2025 am 01:13 AM
在Python中同時遍歷兩個列表的常用方法是使用zip()函數(shù)，它會按順序配對多個列表并以最短為準；若列表長度不一致，可使用itertools.zip_longest()以最長為準并填充缺失值；結(jié)合enumerate()可同時獲取索引。1.zip()簡潔實用，適合成對數(shù)據(jù)迭代；2.zip_longest()處理不一致長度時可填充默認值；3.enumerate(zip())可在遍歷時獲取索引，滿足多種復(fù)雜場景需求。
解釋Python斷言。
Jul 07, 2025 am 12:14 AM
Assert是Python用于調(diào)試的斷言工具，當條件不滿足時拋出AssertionError。其語法為assert條件加可選錯誤信息，適用于內(nèi)部邏輯驗證如參數(shù)檢查、狀態(tài)確認等，但不能用于安全或用戶輸入檢查，且應(yīng)配合清晰提示信息使用，僅限開發(fā)階段輔助調(diào)試而非替代異常處理。
什么是Python型提示？
Jul 07, 2025 am 02:55 AM
typeHintsInpyThonsolverbromblemboyofambiguityandPotentialBugSindyNamalytyCodeByallowingDevelopsosteSpecefectifyExpectedTypes.theyenhancereadability，enablellybugdetection，andimprovetool.typehintsupport.typehintsareadsareadsareadsareadsareadsareadsareadsareadsareaddedusidocolon（
什么是Python迭代器？
Jul 08, 2025 am 02:56 AM
Inpython，IteratorSareObjectSthallowloopingThroughCollectionsByImplementing_iter __（）和__next __（）。1）iteratorsWiaTheIteratorProtocol，使用__ITER __（）toreTurnterateratoratoranteratoratoranteratoratorAnterAnteratoratorant antheittheext__（）
Python Fastapi教程
Jul 12, 2025 am 02:42 AM
要使用Python創(chuàng)建現(xiàn)代高效的API，推薦使用FastAPI；其基于標準Python類型提示，可自動生成文檔，性能優(yōu)越。安裝FastAPI和ASGI服務(wù)器uvicorn后，即可編寫接口代碼。通過定義路由、編寫處理函數(shù)并返回數(shù)據(jù)，可以快速構(gòu)建API。FastAPI支持多種HTTP方法，并提供自動生成的SwaggerUI和ReDoc文檔系統(tǒng)。URL參數(shù)可通過路徑定義捕獲，查詢參數(shù)則通過函數(shù)參數(shù)設(shè)置默認值實現(xiàn)。合理使用Pydantic模型有助于提升開發(fā)效率和準確性。
