導(dǎo)入

機(jī)械學(xué)習(xí)モデルを評(píng)価することは、最終的なステップではなく、成功のキーストーンです?，F(xiàn)実世界のプレッシャーで崩れるのを見(jiàn)つけるためだけに、高い精度で魅了する最先端のモデルを構(gòu)築することを想像してください。評(píng)価は、メトリックを刻むだけではありません。それは、あなたのモデルが野生で一貫して機(jī)能することを保証することです。この記事では、最も有望な分類(lèi)モデルでさえ脫線(xiàn)させることができる一般的な落とし穴に飛び込み、モデルを良好から例外に引き上げることができるベストプラクティスを明らかにします。分類(lèi)モデリングタスクを信頼できる効果的なソリューションに変えましょう。

概要

• 分類(lèi)モデルの構(gòu)築：段階的なガイダンスを使用して、堅(jiān)実な分類(lèi)モデルを構(gòu)築します。
• 頻繁な間違いを特定する：分類(lèi)モデリングにおける一般的な落とし穴を見(jiàn)つけて避けます。
• 過(guò)剰フィッティングを理解する：過(guò)剰適合を理解し、モデルでそれを防ぐ方法を?qū)Wびます。
• モデル構(gòu)築スキルの向上：ベストプラクティスと高度なテクニックでモデル構(gòu)築スキルを向上させます。

目次

• 導(dǎo)入
• 分類(lèi)モデリング：概要
• 基本的な分類(lèi)モデルの構(gòu)築
  • 1。データ準(zhǔn)備
  • 2。ロジスティック回帰
  • 3。サポートベクターマシン（SVM）
  • 4。決定ツリー
  • 5。Tensorflowを備えたニューラルネットワーク
• 間違いを特定します
• グリッド検索を使用したロジスティック回帰の改善の例
• Tensorflowを備えたニューラルネットワーク
• さまざまなメトリックの重要性を理解する
• モデルパフォーマンスの視覚化
• 結(jié)論
• よくある質(zhì)問(wèn)

分類(lèi)モデリング：概要

分類(lèi)問(wèn)題では、獨(dú)立変數(shù)を使用してターゲット変數(shù)のラベルを予測(cè)するモデルを構(gòu)築しようとします。ラベル付きのターゲットデータを扱うため、ロジスティック回帰、SVM、意思決定ツリーなどの教師付き機(jī)械學(xué)習(xí)アルゴリズムが必要です。分類(lèi)問(wèn)題を解決するためのニューラルネットワークモデルも検討し、人々が犯す可能性のある一般的な間違いを特定し、それらを回避する方法を決定します。

基本的な分類(lèi)モデルの構(gòu)築

Kaggleの日付フルーツデータセットを使用して、基本的な分類(lèi)モデルの作成を?qū)g証します。データセットについて：ターゲット変數(shù)は、7種類(lèi)の日付果物で構(gòu)成されています：Barhee、Deglet Nour、Sukkary、Rotab Mozafati、Ruthana、Safawi、Sagai。データセットは、7つの異なる日付のフルーツ品種の898枚の畫(huà)像で構(gòu)成され、34の機(jī)能が畫(huà)像処理技術(shù)を通じて抽出されました。目的は、屬性に基づいてこれらの果物を分類(lèi)することです。

1。データ準(zhǔn)備

PDとしてパンダをインポートします

sklearn.model_selectionからimport train_test_splitから

Sklearn.Preprocessing Import StandardScalerから

＃データセットをロードします

data = pd.read_excel（ '/content/date_fruit_datasets.xlsx'）

＃データを機(jī)能とターゲットに分割します

x = data.drop（ 'class'、axis = 1）

y = data ['class']

＃データセットをトレーニングとテストセットに分割します

x_train、x_test、y_train、y_test = train_test_split（x、y、test_size = 0.3、random_state = 42）

＃機(jī)能スケーリング

scaler = startenscaler（）

x_train = scaler.fit_transform（x_train）

x_test = scaler.transform（x_test） 

2。ロジスティック回帰

sklearn.linear_modelからロジスティスレッジプレッシャーをインポートします

sklearn.metrics Import quarty_scoreから

＃ロジスティック回帰モデル

log_reg = logististregression（）

log_reg.fit（x_train、y_train）

＃予測(cè)と評(píng)価

y_train_pred = log_reg.predict（x_train）

y_test_pred = log_reg.predict（x_test）

＃ 正確さ

train_acc = quarchacy_score（y_train、y_train_pred）

test_acc = quarchacy_score（y_test、y_test_pred）

印刷（f'logistic回帰 - トレーニング精度：{train_acc}、テスト精度：{test_acc} '）

結(jié)果：

 - ロジスティック回帰 - 列車(chē)の精度：0.9538<br><br> - テスト精度：0.9222

また読む：ロジスティック回帰の紹介

3。サポートベクターマシン（SVM）

 Sklearn.svm Import Svcから

sklearn.metrics Import quarty_scoreから

＃svm

svm = svc（kernel = 'linear'、確率= true）

svm.fit（x_train、y_train）

＃予測(cè)と評(píng)価

y_train_pred = svm.predict（x_train）

y_test_pred = svm.predict（x_test）

train_accuracy = quarchacy_score（y_train、y_train_pred）

test_accuracy = quarchacy_score（y_test、y_test_pred）

印刷（f "svm -trainの精度：{train_accuracy}、テスト精度：{test_accuracy}"）

結(jié)果：

 -SVM-列車(chē)の精度：0.9602<br><br> - テスト精度：0.9074

また読む：サポートベクターマシン（SVM）アルゴリズムに関するガイド

4。決定ツリー

Sklearn.TreeからImport DecisionTreeClassifierから

sklearn.metrics Import quarty_scoreから

＃決定ツリー

tree = decisiontreeclassifier（random_state = 42）

tree.fit（x_train、y_train）

＃予測(cè)と評(píng)価

y_train_pred = tree.predict（x_train）

y_test_pred = tree.predict（x_test）

train_accuracy = quarchacy_score（y_train、y_train_pred）

test_accuracy = quarchacy_score（y_test、y_test_pred）

印刷（f "決定ツリー - 列車(chē)精度：{train_accuracy}、テスト精度：{test_accuracy}"）

結(jié)果：

 - 決定ツリー - トレーニングの正確性：1.0000<br><br> - テスト精度：0.8222

5。Tensorflowを備えたニューラルネットワーク

npとしてnumpyをインポートします

Sklearn.Preprocessing Import LabelEncoder、StandardScalerから

sklearn.model_selectionからimport train_test_splitから

Tensorflow.Kerasインポートモデル、レイヤーから

Tensorflow.keras.callbacksからImport Early -Stopping、ModelCheckpointから

＃ラベルターゲットクラスをエンコードします

label_encoder = labelencoder（）

y_encoded = label_encoder.fit_transform（y）

＃トレインテストの分割

x_train、x_test、y_train、y_test = train_test_split（x、y_encoded、test_size = 0.2、random_state = 42）

＃機(jī)能スケーリング

scaler = startenscaler（）

x_train = scaler.fit_transform（x_train）

x_test = scaler.transform（x_test）

＃ニューラルネットワーク

model = models.sequential（[[

layers.dense（64、activation = 'lelu'、input_shape =（x_train.shape [1]、））、

layers.dense（32、activation = 'lelu'）、

layers.dense（len（np.unique（y_encoded））、activation = 'softmax'）＃出力レイヤーサイズはクラスの數(shù)と一致することを確認(rèn)します

]））

model.compile（optimizer = 'adam'、loss = 'sparse_categorical_crossentropy'、metrics = ['quarty']）

＃コールバック

Early_Stopping = EarlyStopping（Monitor = 'Val_Loss'、Patience = 10、restore_best_weights = true）

model_checkpoint = modelcheckpoint（ 'best_model.keras'、monitor = 'val_loss'、save_best_only = true）

＃モデルをトレーニングします

history = model.fit（x_train、y_train、epochs = 100、batch_size = 32、validation_data =（x_test、y_test）、

callbacks = [Early_stopping、model_checkpoint]、verbose = 1）

＃モデルを評(píng)価します

train_loss、train_accuracy = model.evaluate（x_train、y_train、verbose = 0）

test_loss、test_accuracy = model.evaluate（x_test、y_test、verbose = 0）

印刷（f "ニューラルネットワーク - 列車(chē)精度：{train_accuracy}、テスト精度：{test_accuracy}"）

結(jié)果：

 - ニューラルネットワーク - 列車(chē)の精度：0.9234<br><br> - テスト精度：0.9278

また読む：Tensorflowを使用してニューラルネットワークを構(gòu)築します

間違いを特定します

分類(lèi)モデルは、有効性を損なう可能性のあるいくつかの課題に遭遇する可能性があります。信頼できるモデルを構(gòu)築するには、これらの問(wèn)題を認(rèn)識(shí)して取り組むことが不可欠です。以下は、考慮すべき重要な側(cè)面です。

1. 過(guò)剰適合と裝著：
   • 交差検証：単一の列車(chē)テストの分割のみに依存しないでください。 K-fold交差検証を利用して、さまざまなデータセグメントでテストすることにより、モデルのパフォーマンスをよりよく評(píng)価します。
   • 正規(guī)化：非常に複雑なモデルは、データ?jī)?nèi)のノイズをキャプチャすることで繊細(xì)に栄養(yǎng)を與える可能性があります。剪定や正則化などの正則化方法を使用して、複雑さを罰する必要があります。
   • ハイパーパラメーターの最適化：ハイパーパラメーター（グリッドやランダム検索など）を徹底的に調(diào)査および調(diào)整して、バイアスと分散のバランスを取ります。
2. アンサンブルテクニック：
   • モデルの集約：ランダムフォレストやグラデーションブーストなどのアンサンブル方法は、複數(shù)のモデルからの予測(cè)を組み合わせて、多くの場(chǎng)合、一般化が強(qiáng)化されます。これらの手法は、個(gè)々のモデルエラーを平均化することにより、過(guò)剰適合のリスクを軽減しながら、データの複雑なパターンをキャプチャできます。
3. クラスの不均衡：
   • 不均衡なクラス：多くの場(chǎng)合、1つのクラスは他のクラスよりも少ない場(chǎng)合があり、偏った予測(cè)につながります。オーバーサンプリング、アンダーサンプリング、またはスモートなどの方法は、問(wèn)題に応じて使用する必要があります。
4. データリーク：
   • 意図しない漏れ：データリークは、トレーニングセットの外部からの情報(bào)がモデルに影響を與え、パフォーマンスメトリックが膨らんだときに発生します。テストデータがトレーニング中に完全に目に見(jiàn)えないままであり、ターゲット変數(shù)から派生した機(jī)能が注意して管理されることを保証することが重要です。

グリッド検索を使用したロジスティック回帰の改善の例

sklearn.model_selectionからインポートGridsearchcvから

＃ロジスティック回帰のグリッド検索の実裝

param_grid = {'c'：[0.1、1、10、100]、 'solver'：['lbfgs']}

grid_search = gridsearchcv（logististrecression（multi_class = 'multinomial'、max_iter = 1000）、param_grid、cv = 5）

grid_search.fit（x_train、y_train）

＃最高のモデル

best_model = grid_search.best_estimator_

＃テストセットで評(píng)価します

test_accuracy = best_model.score（x_test、y_test）

印刷（f "最高のロジスティック回帰 - テスト精度：{test_accuracy}"）

結(jié)果：

 - 最高のロジスティック回帰 - テスト精度：0.9611

Tensorflowを備えたニューラルネットワーク

過(guò)剰適合を最小限に抑え、一般化を強(qiáng)化するための技術(shù)に焦點(diǎn)を當(dāng)て、以前のニューラルネットワークモデルの改善に焦點(diǎn)を當(dāng)てましょう。

早期停止とモデルのチェックポイント

早期の停止は、モデルの検証パフォーマンスの高原の場(chǎng)合、トレーニングを停止し、トレーニングデータノイズからの過(guò)度の學(xué)習(xí)を回避することで過(guò)剰適合を防ぎます。

モデルチェックポイントは、トレーニング全體で検証セットで最適なモデルを保存し、その後のトレーニングが過(guò)剰適合につながる場(chǎng)合でも、最適なモデルバージョンが保存されるようにします。

 npとしてnumpyをインポートします

Sklearn.Preprocessing Import LabelEncoder、StandardScalerから

sklearn.model_selectionからimport train_test_splitから

Tensorflow.Kerasインポートモデル、レイヤーから

Tensorflow.keras.callbacksからImport Early -Stopping、ModelCheckpointから

＃ラベルターゲットクラスをエンコードします

label_encoder = labelencoder（）

y_encoded = label_encoder.fit_transform（y）

＃トレインテストの分割

x_train、x_test、y_train、y_test = train_test_split（x、y_encoded、test_size = 0.2、random_state = 42）

＃機(jī)能スケーリング

scaler = startenscaler（）

x_train = scaler.fit_transform（x_train）

x_test = scaler.transform（x_test）

＃ニューラルネットワーク

model = models.sequential（[[

layers.dense（64、activation = 'lelu'、input_shape =（x_train.shape [1]、））、

layers.dense（32、activation = 'lelu'）、

layers.dense（len（np.unique（y_encoded））、activation = 'softmax'）＃出力レイヤーサイズはクラスの數(shù)と一致することを確認(rèn)します

]））

model.compile（optimizer = 'adam'、loss = 'sparse_categorical_crossentropy'、metrics = ['quarty']）

＃コールバック

Early_Stopping = EarlyStopping（Monitor = 'Val_Loss'、Patience = 10、restore_best_weights = true）

model_checkpoint = modelcheckpoint（ 'best_model.keras'、monitor = 'val_loss'、save_best_only = true）

＃モデルをトレーニングします

history = model.fit（x_train、y_train、epochs = 100、batch_size = 32、validation_data =（x_test、y_test）、

callbacks = [Early_stopping、model_checkpoint]、verbose = 1）

＃モデルを評(píng)価します

train_loss、train_accuracy = model.evaluate（x_train、y_train、verbose = 0）

test_loss、test_accuracy = model.evaluate（x_test、y_test、verbose = 0）

印刷（f "ニューラルネットワーク - 列車(chē)精度：{train_accuracy}、テスト精度：{test_accuracy}"）

さまざまなメトリックの重要性を理解する

1. 精度：重要ですが、特に不均衡なクラス分布を扱う場(chǎng)合、精度はモデルのパフォーマンスを完全にキャプチャしない場(chǎng)合があります。
2. 損失：損失関數(shù)は、予測(cè)値が真のラベルとどれだけうまく整合するかを評(píng)価します。損失値が小さく、精度が高いことを示します。
3. 精度、リコール、およびF1スコア：精度は、正の予測(cè)の正確性を評(píng)価し、リコールはすべての肯定的なケースを特定することでモデルの成功を測(cè)定し、F1スコアは精度とリコールのバランスをとります。
4. ROC-AUC ：ROC-AUCメトリックは、しきい値設(shè)定に関係なく、クラスを區(qū)別するモデルの容量を定量化します。

 sklearn.metrics Import Classification_Report、Roc_auc_scoreから

＃予測(cè)

y_test_pred_proba = model.predict（x_test）

y_test_pred = np.argmax（y_test_pred_proba、axis = 1）

＃分類(lèi)レポート

print（classification_report（y_test、y_test_pred））

＃roc-auc

roc_auc = roc_auc_score（y_test、y_test_pred_proba、multi_class = 'ovr'）

print（f'roc-aucスコア：{roc_auc} '）

モデルパフォーマンスの視覚化

トレーニング中のモデルのパフォーマンスは、精度と損失のために學(xué)習(xí)曲線(xiàn)をプロットし、モデルが過(guò)剰適合しているか過(guò)小裝著しているかを示すことで見(jiàn)ることができます。過(guò)剰適合を防ぐために早期停止を使用しましたが、これは新しいデータに一般化するのに役立ちます。

 pltとしてmatplotlib.pyplotをインポートします

＃トレーニングと検証の精度値をプロットします

plt.figure（figsize =（14、5））

plt.subplot（1、2、1）

plt.plot（history.history ['quarchasity']）

plt.plot（history.history ['val_accuracy']）

plt.title（ 'モデル精度'）

plt.xlabel（ 'epoch'）

plt.ylabel（「精度」）

plt.legend（['Train'、 'validation']、loc = '左上'））

＃トレーニングと検証の損失値をプロットします

plt.subplot（1、2、2）

plt.plot（history.history ['loss']）

plt.plot（history.history ['val_loss']）

plt.title（ 'モデル損失'）

plt.xlabel（ 'epoch'）

plt.ylabel（ 'loss'）

plt.legend（['Train'、 'validation']、loc = '左上'））

plt.show（）

結(jié)論

過(guò)剰適合や裝著などの問(wèn)題を防ぐためには、細(xì)心の評(píng)価が重要です。効果的な分類(lèi)モデルの構(gòu)築には、適切なアルゴリズムを選択してトレーニングする以上のものが含まれます。モデルの一貫性と信頼性は、アンサンブルメソッド、正規(guī)化、チューニングハイパーパラメーター、および相互検証を?qū)g裝することで強(qiáng)化できます。私たちの小さなデータセットは大きな過(guò)剰適合を経験していないかもしれませんが、これらの方法を採(cǎi)用することで、モデルが堅(jiān)牢で正確であることが保証され、実際のアプリケーションでの意思決定が改善されます。

よくある質(zhì)問(wèn)

Ans。精度は重要なメトリックですが、特に不均衡なデータセットでは、常に完全な畫(huà)像を與えるとは限りません。一貫性、堅(jiān)牢性、一般化などの他の側(cè)面を評(píng)価することで、制御されたテスト條件だけでなく、さまざまなシナリオでモデルがうまく機(jī)能することが保証されます。

Ans。一般的な間違いには、過(guò)剰フィッティング、アンダーフィッティング、データの漏れ、クラスの不均衡を無(wú)視し、モデルを適切に検証できないことが含まれます。これらの問(wèn)題は、テストでうまく機(jī)能するが、実際のアプリケーションでは失敗するモデルにつながる可能性があります。

Ans。過(guò)剰適合は、相互検証、正規(guī)化、早期停止、およびアンサンブル方法を通じて軽減できます。これらのアプローチは、モデルの複雑さのバランスをとり、新しいデータに適切に一般化することを保証します。

Ans。精度を超えて、精度、リコール、F1スコア、ROC-AUC、損失などのメトリックを検討してください。これらのメトリックは、特に不均衡なデータを処理し、正確な予測(cè)を行う際に、モデルのパフォーマンスをより微妙に理解することを提供します。

以上が分類(lèi)モデリングでこれらの間違いを犯していますか？の詳細(xì)內(nèi)容です。詳細(xì)については、PHP 中國(guó)語(yǔ) Web サイトの他の関連記事を參照してください。