利用 Python 和 Beautiful Soup 來發(fā)揮網(wǎng)頁抓取的力量：一個(gè) MIDI 音樂示例
互聯(lián)網(wǎng)是一個(gè)信息寶庫，但如果沒有專用的 API，以編程方式訪問它可能會(huì)很困難。 Python 的 Beautiful Soup 庫提供了一個(gè)強(qiáng)大的解決方案，使您能夠直接從網(wǎng)頁中抓取和解析數(shù)據(jù)。
讓我們通過抓取 MIDI 數(shù)據(jù)來訓(xùn)練 Magenta 神經(jīng)網(wǎng)絡(luò)來生成經(jīng)典的任天堂風(fēng)格音樂來探索這一點(diǎn)。 我們將從視頻游戲音樂檔案 (VGM) 中獲取 MIDI 文件。
設(shè)置您的環(huán)境
確保您已安裝 Python 3 和 pip。 在安裝依賴項(xiàng)之前創(chuàng)建并激活虛擬環(huán)境至關(guān)重要：
pip install requests==2.22.0 beautifulsoup4==4.8.1
我們使用Beautiful Soup 4（Beautiful Soup 3不再維護(hù)）。
用請(qǐng)求和美麗的湯來抓取和解析
首先，讓我們獲取 HTML 并創(chuàng)建一個(gè) BeautifulSoup 對(duì)象：
import requests from bs4 import BeautifulSoup vgm_url = 'https://www.vgmusic.com/music/console/nintendo/nes/' html_text = requests.get(vgm_url).text soup = BeautifulSoup(html_text, 'html.parser')
soup 對(duì)象允許 HTML 導(dǎo)航。 soup.title 給出頁面標(biāo)題； print(soup.get_text()) 顯示所有文本。
掌握美湯的力量
find() 和 find_all() 方法是必不可少的。 soup.find() 定位單個(gè)元素（例如，soup.find(id='banner_ad').text 獲取橫幅廣告文字）。 soup.find_all() 迭代多個(gè)元素。 例如，這會(huì)打印所有超鏈接 URL：
for link in soup.find_all('a'):
print(link.get('href'))
find_all() 接受正則表達(dá)式或標(biāo)簽屬性等參數(shù)以進(jìn)行精確過濾。 有關(guān)高級(jí)功能，請(qǐng)參閱 Beautiful Soup 文檔。
導(dǎo)航和解析 HTML
在編寫解析代碼之前，請(qǐng)檢查瀏覽器渲染的 HTML。 每個(gè)網(wǎng)頁都是獨(dú)一無二的；數(shù)據(jù)提取通常需要?jiǎng)?chuàng)造力和實(shí)驗(yàn)。
我們的目標(biāo)是下載獨(dú)特的 MIDI 文件，不包括重復(fù)文件和混音文件。瀏覽器開發(fā)工具（右鍵單擊“檢查”）可幫助識(shí)別 HTML 元素以進(jìn)行編程訪問。
讓我們使用 find_all() 和正則表達(dá)式來過濾包含 MIDI 文件的鏈接（不包括名稱中帶括號(hào)的鏈接）：
創(chuàng)建nes_midi_scraper.py:
import re
import requests
from bs4 import BeautifulSoup
vgm_url = 'https://www.vgmusic.com/music/console/nintendo/nes/'
html_text = requests.get(vgm_url).text
soup = BeautifulSoup(html_text, 'html.parser')
if __name__ == '__main__':
attrs = {'href': re.compile(r'\.mid$')}
tracks = soup.find_all('a', attrs=attrs, string=re.compile(r'^((?!\().)*$'))
count = 0
for track in tracks:
print(track)
count += 1
print(len(tracks))
這會(huì)過濾 MIDI 文件、打印其鏈接標(biāo)簽并顯示總數(shù)。 與python nes_midi_scraper.py一起奔跑。
下載 MIDI 文件
現(xiàn)在，讓我們下載過濾后的 MIDI 文件。 將 download_track 函數(shù)添加到 nes_midi_scraper.py：
pip install requests==2.22.0 beautifulsoup4==4.8.1
此功能下載每個(gè)曲目并使用唯一的文件名保存。從所需的保存目錄運(yùn)行腳本。 您應(yīng)該下載大約 2230 個(gè) MIDI 文件（取決于網(wǎng)站當(dāng)前的內(nèi)容）。
探索網(wǎng)絡(luò)的潛力
網(wǎng)絡(luò)抓取為海量數(shù)據(jù)集打開了大門。請(qǐng)記住，網(wǎng)頁更改可能會(huì)破壞您的代碼；保持腳本更新。 使用 Mido（用于 MIDI 數(shù)據(jù)處理）和 Magenta（用于神經(jīng)網(wǎng)絡(luò)訓(xùn)練）等庫來構(gòu)建此基礎(chǔ)。
以上是使用 Beautiful Soup 在 Python 中進(jìn)行網(wǎng)頁抓取和解析 HTML的詳細(xì)內(nèi)容。更多信息請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！
熱AI工具
Undress AI Tool
免費(fèi)脫衣服圖片
Undresser.AI Undress
人工智能驅(qū)動(dòng)的應(yīng)用程序，用于創(chuàng)建逼真的裸體照片
AI Clothes Remover
用于從照片中去除衣服的在線人工智能工具。
Clothoff.io
AI脫衣機(jī)
Video Face Swap
使用我們完全免費(fèi)的人工智能換臉工具輕松在任何視頻中換臉！
熱門文章
熱工具
記事本++7.3.1
好用且免費(fèi)的代碼編輯器
SublimeText3漢化版
中文版，非常好用
禪工作室 13.0.1
功能強(qiáng)大的PHP集成開發(fā)環(huán)境
Dreamweaver CS6
視覺化網(wǎng)頁開發(fā)工具
SublimeText3 Mac版
神級(jí)代碼編輯軟件(SublimeText3)
Python類中的多態(tài)性
Jul 05, 2025 am 02:58 AM
多態(tài)是Python面向?qū)ο缶幊讨械暮诵母拍睿浮耙环N接口，多種實(shí)現(xiàn)”，允許統(tǒng)一處理不同類型的對(duì)象。1.多態(tài)通過方法重寫實(shí)現(xiàn)，子類可重新定義父類方法，如Animal類的speak()方法在Dog和Cat子類中有不同實(shí)現(xiàn)。2.多態(tài)的實(shí)際用途包括簡(jiǎn)化代碼結(jié)構(gòu)、增強(qiáng)可擴(kuò)展性，例如圖形繪制程序中統(tǒng)一調(diào)用draw()方法，或游戲開發(fā)中處理不同角色的共同行為。3.Python實(shí)現(xiàn)多態(tài)需滿足：父類定義方法，子類重寫該方法，但不要求繼承同一父類，只要對(duì)象實(shí)現(xiàn)相同方法即可，這稱為“鴨子類型”。4.注意事項(xiàng)包括保持方
Python函數(shù)參數(shù)和參數(shù)
Jul 04, 2025 am 03:26 AM
參數(shù)（parameters）是定義函數(shù)時(shí)的占位符，而傳參（arguments）是調(diào)用時(shí)傳入的具體值。1.位置參數(shù)需按順序傳遞，順序錯(cuò)誤會(huì)導(dǎo)致結(jié)果錯(cuò)誤；2.關(guān)鍵字參數(shù)通過參數(shù)名指定，可改變順序且提高可讀性；3.默認(rèn)參數(shù)值在定義時(shí)賦值，避免重復(fù)代碼，但應(yīng)避免使用可變對(duì)象作為默認(rèn)值；4.args和*kwargs可處理不定數(shù)量的參數(shù)，適用于通用接口或裝飾器，但應(yīng)謹(jǐn)慎使用以保持可讀性。
解釋Python發(fā)電機(jī)和迭代器。
Jul 05, 2025 am 02:55 AM
迭代器是實(shí)現(xiàn)__iter__()和__next__()方法的對(duì)象，生成器是簡(jiǎn)化版的迭代器，通過yield關(guān)鍵字自動(dòng)實(shí)現(xiàn)這些方法。1.迭代器每次調(diào)用next()返回一個(gè)元素，無更多元素時(shí)拋出StopIteration異常。2.生成器通過函數(shù)定義，使用yield按需生成數(shù)據(jù)，節(jié)省內(nèi)存且支持無限序列。3.處理已有集合時(shí)用迭代器，動(dòng)態(tài)生成大數(shù)據(jù)或需惰性求值時(shí)用生成器，如讀取大文件時(shí)逐行加載。注意：列表等可迭代對(duì)象不是迭代器，迭代器到盡頭后需重新創(chuàng)建，生成器只能遍歷一次。
python`@classmethod'裝飾師解釋了
Jul 04, 2025 am 03:26 AM
類方法是Python中通過@classmethod裝飾器定義的方法，其第一個(gè)參數(shù)為類本身(cls)，用于訪問或修改類狀態(tài)。它可通過類或?qū)嵗{(diào)用，影響的是整個(gè)類而非特定實(shí)例；例如在Person類中，show_count()方法統(tǒng)計(jì)創(chuàng)建的對(duì)象數(shù)量；定義類方法時(shí)需使用@classmethod裝飾器并將首參命名為cls，如change_var(new_value)方法可修改類變量；類方法與實(shí)例方法(self參數(shù))、靜態(tài)方法(無自動(dòng)參數(shù))不同，適用于工廠方法、替代構(gòu)造函數(shù)及管理類變量等場(chǎng)景；常見用途包括從
如何處理Python中的API身份驗(yàn)證
Jul 13, 2025 am 02:22 AM
處理API認(rèn)證的關(guān)鍵在于理解并正確使用認(rèn)證方式。1.APIKey是最簡(jiǎn)單的認(rèn)證方式，通常放在請(qǐng)求頭或URL參數(shù)中；2.BasicAuth使用用戶名和密碼進(jìn)行Base64編碼傳輸，適合內(nèi)部系統(tǒng)；3.OAuth2需先通過client_id和client_secret獲取Token，再在請(qǐng)求頭中帶上BearerToken；4.為應(yīng)對(duì)Token過期，可封裝Token管理類自動(dòng)刷新Token；總之，根據(jù)文檔選擇合適方式，并安全存儲(chǔ)密鑰信息是關(guān)鍵。
什么是python魔法方法或dunder方法？
Jul 04, 2025 am 03:20 AM
Python的magicmethods（或稱dunder方法）是用于定義對(duì)象行為的特殊方法，它們以雙下劃線開頭和結(jié)尾。1.它們使對(duì)象能夠響應(yīng)內(nèi)置操作，如加法、比較、字符串表示等；2.常見用例包括對(duì)象初始化與表示（__init__、__repr__、__str__）、算術(shù)運(yùn)算（__add__、__sub__、__mul__）及比較運(yùn)算（__eq__、__lt__）；3.使用時(shí)應(yīng)確保其行為符合預(yù)期，例如__repr__應(yīng)返回可重構(gòu)對(duì)象的表達(dá)式，算術(shù)方法應(yīng)返回新實(shí)例；4.應(yīng)避免過度使用或以令人困惑的方
Python內(nèi)存管理如何工作？
Jul 04, 2025 am 03:26 AM
Pythonmanagesmemoryautomaticallyusingreferencecountingandagarbagecollector.Referencecountingtrackshowmanyvariablesrefertoanobject,andwhenthecountreacheszero,thememoryisfreed.However,itcannothandlecircularreferences,wheretwoobjectsrefertoeachotherbuta
python`@property`裝飾師
Jul 04, 2025 am 03:28 AM
@property是Python中用于將方法偽裝成屬性的裝飾器，允許在訪問屬性時(shí)執(zhí)行邏輯判斷或動(dòng)態(tài)計(jì)算值。1.它通過@property裝飾器定義getter方法，使外部像訪問屬性一樣調(diào)用方法；2.搭配.setter可控制賦值行為，如校驗(yàn)值合法性，不定義.setter則為只讀屬性；3.適用于屬性賦值校驗(yàn)、動(dòng)態(tài)生成屬性值、隱藏內(nèi)部實(shí)現(xiàn)細(xì)節(jié)等場(chǎng)景；4.使用時(shí)注意屬性名與私有變量名不同名，避免死循環(huán)，適合輕量級(jí)操作；5.示例中Circle類限制radius非負(fù)，Person類動(dòng)態(tài)生成full_name屬
