データの前処理とは、データセットを機械學(xué)習(xí)やその他のタスクに使用する前に、データセットに対して特定のアクションやステップを?qū)g行する行為です。データの前処理には、品質(zhì)を向上させるため、または主な目的 (この場合はモデルのトレーニング) に適していることを確認(rèn)するために、データのクリーニング、フォーマット、または変換が含まれます。クリーンで高品質(zhì)なデータセットは、機械學(xué)習(xí)モデルのパフォーマンスを向上させます。

低品質(zhì)のデータに関する一般的な問題には次のようなものがあります。

• 欠損値
• 一貫性のない形式
• 値が重複しています
• 無関係な機能

この記事では、モデルのトレーニングで使用するデータセットを準(zhǔn)備するための一般的なデータ前処理手法をいくつか紹介します。 Python の基本的な知識と、Python ライブラリとフレームワークの使用方法が必要です。

要件:
このガイドを最大限に活用するには、次のことが必要です

• Python 3.12
• Jupyter Notebook またはお気に入りのノートブック
• でこぼこ
• パンダ
• シピー
• Scikit の學(xué)習(xí)
• メルボルンの住宅データセット

Github 上のこれらの Jupyter ノートブックで各コードの出力をチェックアウトすることもできます。

設(shè)定

Python をまだインストールしていない場合は、Python Web サイトからダウンロードし、指示に従ってインストールできます。

Python がインストールされたら、必要なライブラリをインストールします

pip install numpy scipy pandas scikit-learn

Jupyter Notebook をインストールします。

pip install notebook

インストール後、次のコマンドで Jupyter Notebook を起動します

jupyter notebook

これにより、デフォルトの Web ブラウザで Jupyter Notebook が起動します。そうでない場合は、ブラウザに手動で貼り付けることができるリンクがあるかターミナルを確認(rèn)してください。

[ファイル] メニューから新しいノートブックを開き、必要なライブラリをインポートしてセルを?qū)g行します

import numpy as np
import pandas as pd
import scipy
import sklearn

メルボルン住宅データセット サイトに移動し、データセットをダウンロードします。次のコードを使用して、データセットをノートブックに読み込みます。コンピューター上のファイル パスをコピーして、read_csv 関數(shù)に貼り付けることができます。以下に示すように、csv ファイルをノートブックと同じフォルダーに配置し、ファイルをインポートすることもできます。

data = pd.read_csv(r"melb_data.csv")

# View the first 5 columns of the dataset
data.head()

データをトレーニング セットと検証セットに分割します

from sklearn.model_selection import train_test_split

# Set the target
y = data['Price']

# Firstly drop categorical data types
melb_features = data.drop(['Price'], axis=1) #drop the target column

X = melb_features.select_dtypes(exclude=['object'])

# Divide data into training and validation sets
X_train, X_valid, y_train, y_valid = train_test_split(X, y, train_size=0.8, test_size=0.2, random_state=0)

データ漏洩を防ぐために、データをトレーニング セットと検証セットに分割する必要があります。結(jié)果として、トレーニング特徴セットに対して実行する前処理手法は、検証特徴セットに対して実行するものと同じになります。

これでデータセットを処理する準(zhǔn)備ができました!

データクリーニング

欠損値の処理
データセット內(nèi)の欠損値は、ドレスを縫うために使用されるはずの布地の穴のようなものです。それはドレスを作る前から臺無しにしてしまいます。

データセット內(nèi)の欠損値を処理するには 3 つの方法があります。

1. 空のセルを含む行または列を削除します

pip install numpy scipy pandas scikit-learn

この方法の問題は、モデルのトレーニングに使用する貴重な情報が失われる可能性があることです。削除された行または列のほとんどの値が欠落していない限り、空のセルを含む行または列を削除する必要はありません。

1. 空のセルに値を入力します 空のセルに、その特定の列のデータの平均値、中央値、または最頻値を代入したり埋めることができます。 Scikit learn の SimpleImputer は、空のセルに値を代入するために使用されます。

pip install notebook

1. 入力と通知 これがどのように機能するかというと、空のセルに値を入力しますが、そのセルが最初は空であったことを示す列も作成します。

jupyter notebook

重複の削除
重複したセルはデータが繰り返されていることを意味し、モデルの精度に影響します。それらに対処する唯一の方法は、それらをドロップすることです。

import numpy as np
import pandas as pd
import scipy
import sklearn

外れ値への対処
外れ値は、データセット內(nèi)の他の値と大きく異なる値です。他のデータ値と比較して、異常に高いか低い場合があります。これらは入力エラーによって発生する可能性もあれば、本當(dāng)に外れ値である可能性もあります。

外れ値に対処することが重要です。そうしないと、不正確なデータ分析やモデルが作成されてしまいます。外れ値を検出する方法の 1 つは、Z スコアを計算することです。

その仕組みは、Z スコアを使用して、データ ポイントが平均値から 3 ポイント以上離れているかどうかを確認(rèn)することです。この計算はすべてのデータ ポイントに対して実行されます。データ ポイントの Z スコアが 3 以上の値である場合、そのデータ ポイントは外れ値です。

data = pd.read_csv(r"melb_data.csv")

# View the first 5 columns of the dataset
data.head()

データ変換

正規(guī)化
特徴を正規(guī)化して、正規(guī)分布として記述できるようにします。

正規(guī)分布 (ガウス分布としても知られる) は、平均値の上下にほぼ等しい距離または分布がある統(tǒng)計的分布です。正規(guī)分布データのデータ ポイントのグラフは、釣鐘曲線を形成します。

データを正規(guī)化するポイントは、使用したい機械學(xué)習(xí)アルゴリズムがデータが正規(guī)分布していると仮定しているかどうかです。例としては、ガウス単純ベイズ モデルがあります。

from sklearn.model_selection import train_test_split

# Set the target
y = data['Price']

# Firstly drop categorical data types
melb_features = data.drop(['Price'], axis=1) #drop the target column

X = melb_features.select_dtypes(exclude=['object'])

# Divide data into training and validation sets
X_train, X_valid, y_train, y_valid = train_test_split(X, y, train_size=0.8, test_size=0.2, random_state=0)

標(biāo)準(zhǔn)化
標(biāo)準(zhǔn)化では、データセットの特徴が平均 0、標(biāo)準(zhǔn)偏差 1 になるように変換されます。このプロセスでは、データ全體で同様の範(fàn)囲になるように各特徴がスケーリングされます。これにより、各機能がモデルのトレーニングに均等に寄與することが保証されます。

次の場合に標(biāo)準(zhǔn)化を使用します。

• データ內(nèi)の特徴はスケールまたは単位が異なります。
• 使用したい機械學(xué)習(xí)モデルは、距離または勾配ベースの最適化 (線形回帰、ロジスティック回帰、K 平均法クラスタリングなど) に基づいています。

機能を標(biāo)準(zhǔn)化するには、sklearn ライブラリの StandardScaler() を使用します。

pip install numpy scipy pandas scikit-learn

結(jié)論

データの前処理は単なる準(zhǔn)備段階ではありません。これは、正確な機械學(xué)習(xí)モデルを構(gòu)築するプロセスの一部です。作業(yè)しているデータセットのニーズに合わせて調(diào)整することもできます。

ほとんどのアクティビティと同様、練習(xí)すれば完璧になります。データの前処理を続けると、モデルだけでなくスキルも向上します。

これについてのあなたのご意見をぜひ読みたいです?

以上がML モデルのデータ前処理手法の詳細(xì)內(nèi)容です。詳細(xì)については、PHP 中國語 Web サイトの他の関連記事を參照してください。