最近我決定做一個快速的網(wǎng)頁抓取和數(shù)據(jù)分析項目。因為我的大腦喜歡想出需要花費大量時間的大想法，所以我決定挑戰(zhàn)自己，想出一些可以在幾個小時內(nèi)完成的簡單事情。

這是我想到的：

由于我的本科學位最初是外語（法語和西班牙語），我認為網(wǎng)絡(luò)抓取一些語言相關(guān)數(shù)據(jù)會很有趣。我想使用 BeautifulSoup 庫，它可以解析靜態(tài) html，但無法處理需要 onclick 事件來顯示整個數(shù)據(jù)集的動態(tài)網(wǎng)頁（即，如果頁面已分頁，則單擊下一頁數(shù)據(jù)）。

我決定使用最常用語言的維基百科頁面。

我想做以下事情：

• 獲取頁面的 html 并輸出到 .txt 文件
• 使用beautiful soup解析html文件并提取表數(shù)據(jù)
• 將表格寫入 .csv 文件
• 使用數(shù)據(jù)分析提出我想回答此數(shù)據(jù)集的 10 個問題
• 使用 pandas 和 Jupyter Notebook 回答這些問題

我決定將項目分成這些步驟以分離關(guān)注點，但我也想避免通過重新運行腳本來發(fā)出多個不必要的請求以從維基百科獲取 html。保存 html 文件，然后在單獨的腳本中使用它意味著您不需要不斷重新請求數(shù)據(jù)，因為您已經(jīng)擁有了數(shù)據(jù)。

項目鏈接

此項目的 github 存儲庫的鏈接是：https://github.com/gabrielrowan/Foreign-Languages-Analysis

獲取html

首先，我檢索并輸出 html。使用 C# 和 C 后，我總是對 Python 代碼如此簡短和簡潔感到新奇？

url = 'https://en.wikipedia.org/wiki/List_of_languages_by_number_of_native_speakers'

response = requests.get(url)
html = response.text

with open("languages_html.txt", "w", encoding="utf-8") as file:
    file.write(html)

解析 html

為了用 Beautiful soup 解析 html 并選擇我感興趣的表，我做了：

with open("languages_html.txt", "r", encoding="utf-8") as file:
    soup = BeautifulSoup(file, 'html.parser')

# get table
top_languages_table = soup.select_one('.wikitable.sortable.static-row-numbers')

然后，我獲取了表標題文本來獲取 pandas 數(shù)據(jù)框的列名稱：

# get column names
columns = top_languages_table.find_all("th")
column_titles = [column.text.strip() for column in columns]

之后，我創(chuàng)建了數(shù)據(jù)框，設(shè)置列名稱，檢索每個表行并將每一行寫入數(shù)據(jù)框：

# get table rows
table_data = top_languages_table.find_all("tr")

# define dataframe
df = pd.DataFrame(columns=column_titles)

# get table data
for row in table_data[1:]:
    row_data = row.find_all('td')
    row_data_txt = [row.text.strip() for row in row_data]
    print(row_data_txt)
    df.loc[len(df)] = row_data_txt 

注意 - 不使用 strip() 時，文本中有 n 個不需要的字符。

最后，我將數(shù)據(jù)幀寫入 .csv。

分析數(shù)據(jù)

事先，我從數(shù)據(jù)中提出了我想回答的這些問題：

1. 數(shù)據(jù)集中所有語言的母語總數(shù)是多少？
2. 有多少種不同類型的語系？
3. 每個語系的母語總數(shù)是多少？
4. 最常用的 3 個語系是什么？
5. 創(chuàng)建一個餅圖，顯示最常用的 3 個語系
6. 最常見的語系-分支對是什么？
7. 表中哪些語言屬于漢藏語系？
8. 顯示所有羅曼語系和日耳曼語系語言的母語人士的條形圖
9. 前 5 種語言占母語使用者總數(shù)的百分比是多少？
10. 哪個分支的母語使用者最多，哪個分支最少？

結(jié)果

雖然我不會通過代碼來回答所有這些問題，但我會討論涉及圖表的兩個問題。

顯示所有羅曼語和日耳曼語母語的條形圖

首先，我創(chuàng)建了一個數(shù)據(jù)框，僅包含分支名稱為“Romance”或“Germanic”的行

url = 'https://en.wikipedia.org/wiki/List_of_languages_by_number_of_native_speakers'

response = requests.get(url)
html = response.text

with open("languages_html.txt", "w", encoding="utf-8") as file:
    file.write(html)

然后我指定了圖表的 x 軸、y 軸和條形顏色：

with open("languages_html.txt", "r", encoding="utf-8") as file:
    soup = BeautifulSoup(file, 'html.parser')

# get table
top_languages_table = soup.select_one('.wikitable.sortable.static-row-numbers')

這創(chuàng)建了：

創(chuàng)建一個餅圖，顯示 3 個最常用的語系

為了創(chuàng)建餅圖，我檢索了最常見的 3 個語系并將它們放入數(shù)據(jù)框中。

此代碼組獲取每個語系的母語人士總數(shù)，按降序排序，并提取前 3 個條目。

# get column names
columns = top_languages_table.find_all("th")
column_titles = [column.text.strip() for column in columns]

然后我將數(shù)據(jù)放入餅圖中，指定“母語者”的 y 軸和圖例，這為圖表中顯示的每個語言系列創(chuàng)建顏色編碼標簽。

# get table rows
table_data = top_languages_table.find_all("tr")

# define dataframe
df = pd.DataFrame(columns=column_titles)

# get table data
for row in table_data[1:]:
    row_data = row.find_all('td')
    row_data_txt = [row.text.strip() for row in row_data]
    print(row_data_txt)
    df.loc[len(df)] = row_data_txt 

其余問題的代碼和回答可以在這里找到。我在筆記本中使用 Markdown 寫下問題及其答案。

下次：

對于我的網(wǎng)絡(luò)抓取和數(shù)據(jù)分析項目的下一次迭代，我想讓事情變得更復(fù)雜：

• 網(wǎng)絡(luò)抓取動態(tài)頁面，點擊/滾動時會顯示更多數(shù)據(jù)
• 分析更大的數(shù)據(jù)集，可能需要在分析之前進行一些數(shù)據(jù)清理工作

最后的想法

盡管速度很快，但我很喜歡做這個項目。它提醒我，簡短、可管理的項目對于讓練習代表參與進來有多么有用？另外，從互聯(lián)網(wǎng)提取數(shù)據(jù)并從中創(chuàng)建圖表，即使數(shù)據(jù)集很小，也很有趣？

以上是網(wǎng)絡(luò)抓取和分析外語數(shù)據(jù)的詳細內(nèi)容。更多信息請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！