數(shù)據(jù)預(yù)處理是在將數(shù)據(jù)集用于機(jī)器學(xué)習(xí)或其他任務(wù)之前對數(shù)據(jù)集執(zhí)行某些操作或步驟的行為。數(shù)據(jù)預(yù)處理涉及清理、格式化或轉(zhuǎn)換數(shù)據(jù)，以提高其質(zhì)量或確保其適合其主要目的（在本例中為訓(xùn)練模型）。干凈且高質(zhì)量的數(shù)據(jù)集可以增強(qiáng)機(jī)器學(xué)習(xí)模型的性能。

低質(zhì)量數(shù)據(jù)的常見問題包括：

• 缺失值
• 格式不一致
• 重復(fù)值
• 不相關(guān)的功能

在本文中，我將向您展示一些常見的數(shù)據(jù)預(yù)處理技術(shù)，以準(zhǔn)備用于訓(xùn)練模型的數(shù)據(jù)集。您將需要 Python 的基本知識(shí)以及如何使用 Python 庫和框架。

要求：
為了充分利用本指南，需要滿足以下條件

• Python 3.12
• Jupyter Notebook 或您最喜歡的筆記本
• Numpy
• 熊貓
• Scipy
• Scikit 學(xué)習(xí)
• 墨爾本住房數(shù)據(jù)集

您還可以在 Github 上查看這些 Jupyter 筆記本中每個(gè)代碼的輸出。

設(shè)置

如果您還沒有安裝Python，可以從Python網(wǎng)站下載并按照說明進(jìn)行安裝。

安裝 Python 后，安裝所需的庫

pip install numpy scipy pandas scikit-learn

安裝 Jupyter Notebook。

pip install notebook

安裝后，使用以下命令啟動(dòng) Jupyter Notebook

jupyter notebook

這將在您的默認(rèn)網(wǎng)絡(luò)瀏覽器中啟動(dòng) Jupyter Notebook。如果沒有，請檢查終端是否有可以手動(dòng)粘貼到瀏覽器中的鏈接。

從“文件”菜單打開一個(gè)新筆記本，導(dǎo)入所需的庫并運(yùn)行單元

import numpy as np
import pandas as pd
import scipy
import sklearn

前往墨爾本住房數(shù)據(jù)集網(wǎng)站并下載數(shù)據(jù)集。使用以下代碼將數(shù)據(jù)集加載到筆記本中。您可以復(fù)制計(jì)算機(jī)上的文件路徑以粘貼到 read_csv 函數(shù)中。您還可以將 csv 文件放在與筆記本相同的文件夾中，然后導(dǎo)入文件，如下所示。

data = pd.read_csv(r"melb_data.csv")

# View the first 5 columns of the dataset
data.head()

將數(shù)據(jù)分為訓(xùn)練集和驗(yàn)證集

from sklearn.model_selection import train_test_split

# Set the target
y = data['Price']

# Firstly drop categorical data types
melb_features = data.drop(['Price'], axis=1) #drop the target column

X = melb_features.select_dtypes(exclude=['object'])

# Divide data into training and validation sets
X_train, X_valid, y_train, y_valid = train_test_split(X, y, train_size=0.8, test_size=0.2, random_state=0)

您必須將數(shù)據(jù)拆分為訓(xùn)練集和驗(yàn)證集，以防止數(shù)據(jù)泄漏。因此，您對訓(xùn)練特征集執(zhí)行的任何預(yù)處理技術(shù)都與您對驗(yàn)證特征集執(zhí)行的預(yù)處理技術(shù)相同。

現(xiàn)在數(shù)據(jù)集已準(zhǔn)備好進(jìn)行處理！

數(shù)據(jù)清理

處理缺失值
數(shù)據(jù)集中的缺失值就像布料上的洞，應(yīng)該用來縫制裙子。衣服還沒做好就已經(jīng)被它弄壞了。

有 3 種方法來處理數(shù)據(jù)集中的缺失值。

1. 刪除包含空單元格的行或列

pip install numpy scipy pandas scikit-learn

此方法的問題是您可能會(huì)丟失用于訓(xùn)練模型的有價(jià)值的信息。除非刪除的行或列中的大多數(shù)值丟失，否則無需刪除包含空單元格的行或列。

1. 在空單元格中估算值 您可以使用該特定列中數(shù)據(jù)的平均值、中位數(shù)或眾數(shù)來估算或填充空單元格。 Scikit learn 中的 SimpleImputer 將用于估算空單元格中的值

pip install notebook

1. 估算并通知 其工作原理是，您在空單元格中估算值，但同時(shí)創(chuàng)建一個(gè)列來指示該單元格最初為空。

jupyter notebook

重復(fù)刪除
重復(fù)的單元格意味著重復(fù)的數(shù)據(jù)，它會(huì)影響模型的準(zhǔn)確性。對付它們的唯一方法就是扔掉它們。

import numpy as np
import pandas as pd
import scipy
import sklearn

處理異常值
異常值是與數(shù)據(jù)集中的其他值顯著不同的值。與其他數(shù)據(jù)值相比，它們可能異常高或異常低。它們可能是由于輸入錯(cuò)誤而出現(xiàn)，也可能確實(shí)是異常值。

處理異常值非常重要，否則它們將導(dǎo)致數(shù)據(jù)分析或模型不準(zhǔn)確。檢測異常值的一種方法是計(jì)算 z 分?jǐn)?shù)。

它的工作方式是使用 z 分?jǐn)?shù)來檢查數(shù)據(jù)點(diǎn)是否距平均值 3 點(diǎn)或更多。此計(jì)算針對每個(gè)數(shù)據(jù)點(diǎn)進(jìn)行。如果數(shù)據(jù)點(diǎn)的 z 分?jǐn)?shù)等于 3 或更高值，則該數(shù)據(jù)點(diǎn)為異常值。

data = pd.read_csv(r"melb_data.csv")

# View the first 5 columns of the dataset
data.head()

數(shù)據(jù)轉(zhuǎn)換

標(biāo)準(zhǔn)化
您對特征進(jìn)行標(biāo)準(zhǔn)化，以便將它們描述為正態(tài)分布。

正態(tài)分布（也稱為高斯分布）是一種統(tǒng)計(jì)分布，其中平均值上方和下方的距離或分布大致相等。正態(tài)分布數(shù)據(jù)的數(shù)據(jù)點(diǎn)圖形形成鐘形曲線。

標(biāo)準(zhǔn)化數(shù)據(jù)的要點(diǎn)是您要使用的機(jī)器學(xué)習(xí)算法是否假設(shè)數(shù)據(jù)呈正態(tài)分布。一個(gè)例子是高斯樸素貝葉斯模型。

from sklearn.model_selection import train_test_split

# Set the target
y = data['Price']

# Firstly drop categorical data types
melb_features = data.drop(['Price'], axis=1) #drop the target column

X = melb_features.select_dtypes(exclude=['object'])

# Divide data into training and validation sets
X_train, X_valid, y_train, y_valid = train_test_split(X, y, train_size=0.8, test_size=0.2, random_state=0)

標(biāo)準(zhǔn)化
標(biāo)準(zhǔn)化將數(shù)據(jù)集的特征轉(zhuǎn)換為均值 0 和標(biāo)準(zhǔn)差 1。此過程對每個(gè)特征進(jìn)行縮放，使其在數(shù)據(jù)中具有相似的范圍。這確保了每個(gè)功能對模型訓(xùn)練的貢獻(xiàn)均等。

在以下情況下使用標(biāo)準(zhǔn)化：

• 數(shù)據(jù)中的特征具有不同的尺度或單位。
• 您想要使用的機(jī)器學(xué)習(xí)模型基于距離或梯度優(yōu)化（例如線性回歸、邏輯回歸、K 均值聚類）。

您可以使用 sklearn 庫中的 StandardScaler() 來標(biāo)準(zhǔn)化特征。

pip install numpy scipy pandas scikit-learn

結(jié)論

數(shù)據(jù)預(yù)處理不僅僅是一個(gè)初步階段。這是構(gòu)建準(zhǔn)確的機(jī)器學(xué)習(xí)模型過程的一部分。它還可以進(jìn)行調(diào)整以滿足您正在使用的數(shù)據(jù)集的需求。

與大多數(shù)活動(dòng)一樣，熟能生巧。當(dāng)您繼續(xù)預(yù)處理數(shù)據(jù)時(shí)，您的技能和模型都會(huì)得到提高。

我很想聽聽您對此的想法？

以上是ML 模型的數(shù)據(jù)預(yù)處理技術(shù)的詳細(xì)內(nèi)容。更多信息請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！