資料預(yù)處理是在將資料集用於機器學(xué)習(xí)或其他任務(wù)之前對資料集執(zhí)行某些操作或步驟的行為。資料預(yù)處理涉及清理、格式化或轉(zhuǎn)換數(shù)據(jù)，以提高其品質(zhì)或確保其適合其主要目的（在本例中為訓(xùn)練模型）。乾淨(jìng)且高品質(zhì)的資料集可以增強機器學(xué)習(xí)模型的效能。

低品質(zhì)資料的常見問題包括：

• 缺失值
• 格式不一致
• 重複值
• 不相關(guān)的功能

在本文中，我將向您展示一些常見的資料預(yù)處理技術(shù)，以準備用於訓(xùn)練模型的資料集。您將需要 Python 的基本知識以及如何使用 Python 程式庫和框架。

要求：
為了充分利用本指南，需要滿足以下條件

• Python 3.12
• Jupyter Notebook 或您最喜歡的筆記本
• Numpy
• 熊貓
• Scipy
• Scikit 學(xué)習(xí)
• 墨爾本住房資料集

您也可以在 Github 上查看這些 Jupyter 筆記本中每個程式碼的輸出。

設(shè)定

如果您還沒有安裝Python，可以從Python網(wǎng)站下載並依照指示進行安裝。

安裝 Python 後，安裝所需的函式庫

pip install numpy scipy pandas scikit-learn

安裝 Jupyter Notebook。

pip install notebook

安裝後，使用以下指令啟動 Jupyter Notebook

jupyter notebook

這將在您的預(yù)設(shè)網(wǎng)頁瀏覽器中啟動 Jupyter Notebook。如果沒有，請檢查終端是否有可以手動貼上到瀏覽器中的連結(jié)。

從「檔案」選單開啟一個新筆記本，匯入所需的庫並執(zhí)行單元

import numpy as np
import pandas as pd
import scipy
import sklearn

前往墨爾本住房資料集網(wǎng)站並下載資料集。使用以下程式碼將資料集載入到筆記本中。您可以複製電腦上的檔案路徑以貼上到 read_csv 函數(shù)中。您也可以將 csv 文件放在與筆記本相同的資料夾中，然後匯入文件，如下所示。

data = pd.read_csv(r"melb_data.csv")

# View the first 5 columns of the dataset
data.head()

將資料分為訓(xùn)練集和驗證集

from sklearn.model_selection import train_test_split

# Set the target
y = data['Price']

# Firstly drop categorical data types
melb_features = data.drop(['Price'], axis=1) #drop the target column

X = melb_features.select_dtypes(exclude=['object'])

# Divide data into training and validation sets
X_train, X_valid, y_train, y_valid = train_test_split(X, y, train_size=0.8, test_size=0.2, random_state=0)

您必須將資料拆分為訓(xùn)練集和驗證集，以防止資料外洩。因此，您對訓(xùn)練特徵集執(zhí)行的任何預(yù)處理技術(shù)都與您對驗證特徵集執(zhí)行的預(yù)處理技術(shù)相同。

現(xiàn)在資料集已準備好進行處理！

資料清理

處理缺失值
資料集中的缺失值就像布料上的洞，應(yīng)該用來縫製裙子。衣服還沒做好就已經(jīng)被它弄壞了。

有 3 種方法來處理資料集中的缺失值。

1. 刪除包含空白儲存格的行或列

pip install numpy scipy pandas scikit-learn

此方法的問題是您可能會丟失用於訓(xùn)練模型的有價值的資訊。除非刪除的行或列中的大多數(shù)值遺失，否則無需刪除包含空白儲存格的行或列。

1. 在空白儲存格中估算值 您可以使用該特定欄位中資料的平均值、中位數(shù)或眾數(shù)來估算或填入空白儲存格。 Scikit learn 中的 SimpleImputer 將用於估算空單元格中的值

pip install notebook

1. 估算並通知 其工作原理是，您在空白儲存格中估算值，但同時建立一個列來指示該儲存格最初為空。

jupyter notebook

重複刪除
重複的單元格意味著重複的數(shù)據(jù)，它會影響模型的準確性。對付它們的唯一方法就是丟掉它們。

import numpy as np
import pandas as pd
import scipy
import sklearn

處理異常值
異常值是與資料集中的其他值顯著不同的值。與其他資料值相比，它們可能異常高或異常低。它們可能是由於輸入錯誤而出現(xiàn)，也可能確實是異常值。

處理異常值非常重要，否則它們將導(dǎo)致數(shù)據(jù)分析或模型不準確。檢測異常值的一種方法是計算 z 分數(shù)。

它的工作方式是使用 z 分數(shù)來檢查資料點是否距離平均值 3 點或更多。此計算針對每個數(shù)據(jù)點進行。如果資料點的 z 分數(shù)等於 3 或更高值，則該資料點為異常值。

data = pd.read_csv(r"melb_data.csv")

# View the first 5 columns of the dataset
data.head()

資料轉(zhuǎn)換

標準化
您對特徵進行標準化，以便將它們描述為常態(tài)分佈。

常態(tài)分佈（也稱為高斯分佈）是一種統(tǒng)計分佈，其中平均值上方和下方的距離或分佈大致相等。常態(tài)分佈資料的資料點圖形形成鐘形曲線。

標準化資料的要點是您要使用的機器學(xué)習(xí)演算法是否假設(shè)資料呈常態(tài)分佈。一個例子是高斯樸素貝葉斯模型。

from sklearn.model_selection import train_test_split

# Set the target
y = data['Price']

# Firstly drop categorical data types
melb_features = data.drop(['Price'], axis=1) #drop the target column

X = melb_features.select_dtypes(exclude=['object'])

# Divide data into training and validation sets
X_train, X_valid, y_train, y_valid = train_test_split(X, y, train_size=0.8, test_size=0.2, random_state=0)

標準化
標準化將資料集的特徵轉(zhuǎn)換為平均值 0 和標準差 1。此過程對每個特徵進行縮放，使其在資料中具有相似的範圍。這確保了每個功能對模型訓(xùn)練的貢獻平等。

在以下情況下使用標準化：

• 資料中的特徵具有不同的尺度或單位。
• 您想要使用的機器學(xué)習(xí)模型是基於距離或梯度最佳化（例如線性迴歸、邏輯迴歸、K 均值聚類）。

您可以使用 sklearn 庫中的 StandardScaler() 來標準化特徵。

pip install numpy scipy pandas scikit-learn

結(jié)論

資料預(yù)處理不只是一個初步階段。這是建立準確的機器學(xué)習(xí)模型過程的一部分。它還可以進行調(diào)整以滿足您正在使用的資料集的需求。

與大多數(shù)活動一樣，熟能生巧。當(dāng)您繼續(xù)預(yù)處理資料時，您的技能和模型都會提高。

我很想聽聽您對此的想法？

以上是ML 模型的資料預(yù)處理技術(shù)的詳細內(nèi)容。更多資訊請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！