最近我決定做一個(gè)快速的網(wǎng)頁(yè)抓取和資料分析專案。因?yàn)槲业拇竽X喜歡想出需要花費(fèi)大量時(shí)間的大想法，所以我決定挑戰(zhàn)自己，想出一些可以在幾個(gè)小時(shí)內(nèi)完成的簡(jiǎn)單事情。

這是我想到的：

由於我的本科學(xué)位最初是外語(yǔ)（法語(yǔ)和西班牙語(yǔ)），我認(rèn)為網(wǎng)絡(luò)抓取一些語(yǔ)言相關(guān)數(shù)據(jù)會(huì)很有趣。我想使用 BeautifulSoup 庫(kù)，它可以解析靜態(tài) html，但無法處理需要 onclick 事件來顯示整個(gè)資料集的動(dòng)態(tài)網(wǎng)頁(yè)（即，如果頁(yè)面已分頁(yè)，則單擊下一頁(yè)資料）。

我決定使用最常用語(yǔ)言的維基百科頁(yè)面。

我想做以下事情：

• 取得頁(yè)面的 html 並輸出到 .txt 檔案
• 使用beautiful soup解析html檔案並擷取表格資料
• 將表格寫入 .csv 檔案
• 使用資料分析提出我想回答此資料集的 10 個(gè)問題
• 用 pandas 和 Jupyter Notebook 回答這些問題

我決定將專案分成這些步驟以分離關(guān)注點(diǎn)，但我也想避免透過重新運(yùn)行腳本來發(fā)出多個(gè)不必要的請(qǐng)求以從維基百科獲取 html。保存 html 文件，然後在單獨(dú)的腳本中使用它意味著您不需要不斷重新請(qǐng)求數(shù)據(jù)，因?yàn)槟呀?jīng)擁有了數(shù)據(jù)。

項(xiàng)目連結(jié)

此專案的 github 儲(chǔ)存庫(kù)的連結(jié)為：https://github.com/gabrielrowan/Foreign-Languages-Analysis

取得html

首先，我檢索並輸出 html。使用 C# 和 C 後，我總是對(duì) Python 程式碼如此簡(jiǎn)短和簡(jiǎn)潔感到新奇？

url = 'https://en.wikipedia.org/wiki/List_of_languages_by_number_of_native_speakers'

response = requests.get(url)
html = response.text

with open("languages_html.txt", "w", encoding="utf-8") as file:
    file.write(html)

解析 html

為了用 Beautiful soup 解析 html 並選擇我感興趣的表，我做了：

with open("languages_html.txt", "r", encoding="utf-8") as file:
    soup = BeautifulSoup(file, 'html.parser')

# get table
top_languages_table = soup.select_one('.wikitable.sortable.static-row-numbers')

然後，我取得了表格標(biāo)題文字來取得 pandas 資料框的列名稱：

# get column names
columns = top_languages_table.find_all("th")
column_titles = [column.text.strip() for column in columns]

之後，我建立了資料框，設(shè)定列名稱，檢索每個(gè)表格行並將每一行寫入資料框：

# get table rows
table_data = top_languages_table.find_all("tr")

# define dataframe
df = pd.DataFrame(columns=column_titles)

# get table data
for row in table_data[1:]:
    row_data = row.find_all('td')
    row_data_txt = [row.text.strip() for row in row_data]
    print(row_data_txt)
    df.loc[len(df)] = row_data_txt 

注意 - 不使用 strip() 時(shí)，文字中有 n 個(gè)不需要的字元。

最後，我將資料幀寫入 .csv。

分析數(shù)據(jù)

事先，我從數(shù)據(jù)中提出了我想回答的這些問題：

1. 資料集中所有語(yǔ)言的母語(yǔ)總數(shù)是多少？
2. 有多少種不同類型的語(yǔ)系？
3. 每個(gè)語(yǔ)系的母語(yǔ)總數(shù)是多少？
4. 最常用的 3 個(gè)語(yǔ)係是什麼？
5. 建立一個(gè)圓餅圖，顯示最常用的 3 個(gè)語(yǔ)系
6. 最常見的語(yǔ)系-分支對(duì)是什麼？
7. 表中哪些語(yǔ)言屬於漢藏語(yǔ)系？
8. 顯示所有羅曼語(yǔ)系和日耳曼語(yǔ)系語(yǔ)言的母語(yǔ)人士的長(zhǎng)條圖
9. 前 5 種語(yǔ)言佔(zhàn)母語(yǔ)使用者總數(shù)的百分比是多少？
10. 哪個(gè)分支的母語(yǔ)使用者最多，哪個(gè)分支最少？

結(jié)果

雖然我不會(huì)透過程式碼來回答所有這些問題，但我會(huì)討論涉及圖表的兩個(gè)問題。

顯示所有羅曼語(yǔ)和日耳曼語(yǔ)母語(yǔ)的長(zhǎng)條圖

首先，我建立了一個(gè)資料框，僅包含分支名稱為「Romance」或「Germanic」的行

url = 'https://en.wikipedia.org/wiki/List_of_languages_by_number_of_native_speakers'

response = requests.get(url)
html = response.text

with open("languages_html.txt", "w", encoding="utf-8") as file:
    file.write(html)

然後我指定了圖表的 x 軸、y 軸和條形顏色：

with open("languages_html.txt", "r", encoding="utf-8") as file:
    soup = BeautifulSoup(file, 'html.parser')

# get table
top_languages_table = soup.select_one('.wikitable.sortable.static-row-numbers')

這創(chuàng)建了：

建立一個(gè)圓餅圖，顯示 3 個(gè)最常用的語(yǔ)系

為了建立圓餅圖，我檢索了最常見的 3 個(gè)語(yǔ)系並將它們放入資料框中。

此代碼組取得每個(gè)語(yǔ)系的母語(yǔ)人士總數(shù)，按降序排序，並提取前 3 個(gè)條目。

# get column names
columns = top_languages_table.find_all("th")
column_titles = [column.text.strip() for column in columns]

然後我將資料放入圓餅圖中，指定「母語(yǔ)者」的 y 軸和圖例，這為圖表中顯示的每個(gè)語(yǔ)言系列建立顏色編碼標(biāo)籤。

# get table rows
table_data = top_languages_table.find_all("tr")

# define dataframe
df = pd.DataFrame(columns=column_titles)

# get table data
for row in table_data[1:]:
    row_data = row.find_all('td')
    row_data_txt = [row.text.strip() for row in row_data]
    print(row_data_txt)
    df.loc[len(df)] = row_data_txt 

其餘問題的程式碼和答案可以在這裡找到。我在筆記本中使用 Markdown 寫下問題及其答案。

下次：

對(duì)於我的網(wǎng)頁(yè)抓取和資料分析專案的下一個(gè)迭代，我想讓事情變得更複雜：

• 網(wǎng)頁(yè)抓取動(dòng)態(tài)頁(yè)面，點(diǎn)擊/捲動(dòng)時(shí)會(huì)顯示更多資料
• 分析較大的資料集，可能需要在分析之前進(jìn)行一些資料清理工作

最後的想法

儘管速度很快，但我很喜歡做這個(gè)專案。它提醒我，簡(jiǎn)短、可管理的專案對(duì)於讓練習(xí)代表參與其中有多有用？另外，從互聯(lián)網(wǎng)提取數(shù)據(jù)並從中創(chuàng)建圖表，即使數(shù)據(jù)集很小，也很有趣？

以上是網(wǎng)路抓取與分析外語(yǔ)數(shù)據(jù)的詳細(xì)內(nèi)容。更多資訊請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！