介紹

評(píng)估機(jī)器學(xué)習(xí)模型不僅是最后一步，而且是成功的基石。想象一下，建立一個(gè)高精度使其眼花azz亂的尖端模型，只是發(fā)現(xiàn)它在現(xiàn)實(shí)世界的壓力下崩潰了。評(píng)估不僅僅是滴定指標(biāo)；這是關(guān)于確保您的模型在野外始終如一。在本文中，我們將潛入常見的陷阱，這些陷阱甚至可能是最有希望的分類模型，并揭示可以將您的模型從良好提升到卓越的最佳實(shí)踐。讓我們將您的分類建模任務(wù)變成可靠，有效的解決方案。

概述

• 構(gòu)建分類模型：通過分步指導(dǎo)構(gòu)建一個(gè)固體分類模型。
• 識(shí)別頻繁的錯(cuò)誤：在分類建模中發(fā)現(xiàn)并避免常見的陷阱。
• 理解過度擬合：了解過度擬合并學(xué)習(xí)如何在模型中預(yù)防它。
• 提高模型構(gòu)建技能：通過最佳實(shí)踐和高級(jí)技術(shù)來增強(qiáng)您的模型構(gòu)建技能。

目錄

• 介紹
• 分類建模：概述
• 建立基本分類模型
  • 1。數(shù)據(jù)準(zhǔn)備
  • 2。邏輯回歸
  • 3。支持向量機(jī)（SVM）
  • 4。決策樹
  • 5。帶張量的神經(jīng)網(wǎng)絡(luò)
• 確定錯(cuò)誤
• 使用網(wǎng)格搜索改進(jìn)邏輯回歸的示例
• 帶有張量的神經(jīng)網(wǎng)絡(luò)
• 了解各種指標(biāo)的意義
• 模型性能的可視化
• 結(jié)論
• 常見問題

分類建模：概述

在分類問題中，我們嘗試構(gòu)建一個(gè)模型，該模型使用自變量預(yù)測目標(biāo)變量的標(biāo)簽。當(dāng)我們處理標(biāo)記的目標(biāo)數(shù)據(jù)時(shí)，我們將需要監(jiān)督的機(jī)器學(xué)習(xí)算法，例如邏輯回歸，SVM，決策樹等。我們還將研究用于解決分類問題的神經(jīng)網(wǎng)絡(luò)模型，確定人們可能犯的常見錯(cuò)誤，并確定如何避免它們。

建立基本分類模型

我們將展示使用Kaggle的日期工作數(shù)據(jù)集創(chuàng)建基本分類模型。關(guān)于數(shù)據(jù)集：目標(biāo)變量由七種類型的日期水果組成：Barhee，Deglet Nour，Sukkary，Rotab Mozafati，Ruthana，Ruthana，Safawi和Sagai。數(shù)據(jù)集由898張圖像組成，這些圖像七個(gè)不同的日期水果品種，并通過圖像處理技術(shù)提取了34個(gè)特征。目的是根據(jù)其屬性對(duì)這些水果進(jìn)行分類。

1。數(shù)據(jù)準(zhǔn)備

導(dǎo)入大熊貓作為pd

來自sklearn.model_selection導(dǎo)入train_test_split

從sklearn.prepercorsing進(jìn)口標(biāo)準(zhǔn)標(biāo)準(zhǔn)

＃加載數(shù)據(jù)集

data = pd.read_excel（'/content/date_fruit_datasets.xlsx'）

＃將數(shù)據(jù)分為功能和目標(biāo)

x = data.drop（'class'，軸= 1）

y =數(shù)據(jù)['class']

＃將數(shù)據(jù)集分為培訓(xùn)和測試集

x_train，x_test，y_train，y_test = train_test_split（x，y，test_size = 0.3，andural_state = 42）

＃功能縮放

sualer = StandardScaler（）

x_train = scaler.fit_transform（x_train）

x_test = scaler.transform（x_test） 

2。邏輯回歸

來自sklearn.linear_model導(dǎo)入logisticRegress

來自Sklearn.metrics導(dǎo)入精度_score

＃邏輯回歸模型

log_reg = logisticRegress（）

log_reg.fit（x_train，y_train）

＃預(yù)測和評(píng)估

y_train_pred = log_reg.redict（x_train）

y_test_pred = log_reg.redict（x_test）

＃ 準(zhǔn)確性

train_acc = efceracy_score（y_train，y_train_pred）

test_acc = efceracy_score（y_test，y_test_pred）

打?。╢'logistic回歸 - 火車準(zhǔn)確性：{train_acc}，測試準(zhǔn)確性：{test_acc}'）

結(jié)果：

 - 邏輯回歸 - 火車準(zhǔn)確性：0.9538<br><br> - 測試準(zhǔn)確性：0.9222

另請(qǐng)閱讀：邏輯回歸簡介

3。支持向量機(jī)（SVM）

來自Sklearn.svm導(dǎo)入SVC

來自Sklearn.metrics導(dǎo)入精度_score

＃svm

svm = svc（kernel ='linear'，概率= true）

svm.fit（x_train，y_train）

＃預(yù)測和評(píng)估

y_train_pred = svm.predict（x_train）

y_test_pred = svm.predict（x_test）

train_accuracy = ecuctacy_score（y_train，y_train_pred）

test_accuracy = efcucy_score（y_test，y_test_pred）

打印（f“ svm-火車準(zhǔn)確性：{train_accuracy}，測試準(zhǔn)確性：{test_accuracy}”）

結(jié)果：

 -SVM-火車準(zhǔn)確性：0.9602<br><br> - 測試準(zhǔn)確性：0.9074

另請(qǐng)閱讀：支持向量機(jī)（SVM）算法指南

4。決策樹

從Sklearn.Tre Import DecisionTreeTreclalerifier

來自Sklearn.metrics導(dǎo)入精度_score

＃決策樹

tree = dekistionTreeClalsifier（Random_State = 42）

tree.fit（x_train，y_train）

＃預(yù)測和評(píng)估

y_train_pred = tree.predict（x_train）

y_test_pred = tree.predict（x_test）

train_accuracy = ecuctacy_score（y_train，y_train_pred）

test_accuracy = efcucy_score（y_test，y_test_pred）

打?。╢“決策樹 - 火車準(zhǔn)確性：{train_accuracy}，測試準(zhǔn)確性：{test_accuracy}”）

結(jié)果：

 - 決策樹 - 火車準(zhǔn)確性：1.0000<br><br> - 測試準(zhǔn)確性：0.8222

5。帶張量的神經(jīng)網(wǎng)絡(luò)

導(dǎo)入numpy作為NP

從Sklearn.Preprocessing Import LabElenCoder，StandardardScaler

來自sklearn.model_selection導(dǎo)入train_test_split

從TensorFlow.keras導(dǎo)入模型，層

從TensorFlow.keras.callbacks導(dǎo)入早期踩踏，modelCheckpoint

＃標(biāo)簽編碼目標(biāo)類

label_encoder = labelencoder（）

y_encoded = label_encoder.fit_transform（y）

?；疖嚋y試拆分

x_train，x_test，y_train，y_test = train_test_split（x，y_encoded，test_size = 0.2，andury_state = 42）

＃功能縮放

sualer = StandardScaler（）

x_train = scaler.fit_transform（x_train）

x_test = scaler.transform（x_test）

＃神經(jīng)網(wǎng)絡(luò)

模型=模型。

layers.dense（64，activation ='relu'，input_shape =（x_train.shape [1]，）），），

layers.dense（32，激活='relu'），

layers.dense（len（np.unique（y_encoded））），激活='softmax'）＃確保輸出層大小與類數(shù)量

）））

model.compile（優(yōu)化器='adam'，loss ='sparse_categorical_crossentropy'，metrics = ['fecicy']）

?；卣{(diào)

早期_STOPPING =早期stopping（Monitor ='Val_loss'，耐心= 10，Restore_best_weights = true）

model_checkpoint = modelCheckpoint（'best_model.keras'，monitor ='val_loss'，save_best_only = true）

＃訓(xùn)練模型

歷史= model.fit（x_train，y_train，epochs = 100，batch_size = 32，validation_data =（x_test，y_test），

回調(diào)= [早期_Stopping，model_checkpoint]，詳細(xì)= 1）

＃評(píng)估模型

train_loss，train_accuracy = model.evaluate（x_train，y_train，冗長= 0）

test_loss，test_accuracy = model.evaluate（x_test，y_test，冗長= 0）

打?。╢“神經(jīng)網(wǎng)絡(luò) - 火車精度：{train_accuracy}，測試精度：{test_accuracy}”）

結(jié)果：

 - 神經(jīng)網(wǎng)絡(luò) - 火車準(zhǔn)確性：0.9234<br><br> - 測試準(zhǔn)確性：0.9278

另請(qǐng)閱讀：使用TensorFlow構(gòu)建神經(jīng)網(wǎng)絡(luò)

確定錯(cuò)誤

分類模型可能會(huì)遇到一些可能損害其有效性的挑戰(zhàn)。必須識(shí)別和解決這些問題以建立可靠的模型。以下是要考慮的一些關(guān)鍵方面：

1. 過于擬合和不足：
   • 交叉驗(yàn)證：避免僅取決于單列火車測試拆分。利用K折的交叉驗(yàn)證來通過對(duì)各種數(shù)據(jù)段進(jìn)行測試來更好地評(píng)估模型的性能。
   • 正則化：高度復(fù)雜的模型可能會(huì)通過捕獲數(shù)據(jù)中的噪聲而過度。諸如修剪或正則化之類的正規(guī)化方法應(yīng)用于懲罰復(fù)雜性。
   • 高參數(shù)優(yōu)化：徹底探索和調(diào)整超參數(shù)（例如，通過網(wǎng)格或隨機(jī)搜索）來平衡偏差和方差。
2. 合奏技術(shù)：
   • 模型聚集：諸如隨機(jī)森林或梯度增強(qiáng)的集合方法結(jié)合了多個(gè)模型的預(yù)測，通常會(huì)導(dǎo)致概括。這些技術(shù)可以在數(shù)據(jù)中捕獲復(fù)雜的模式，同時(shí)通過平均單個(gè)模型錯(cuò)誤來減輕過度擬合的風(fēng)險(xiǎn)。
3. 班級(jí)失衡：
   • 班級(jí)不平衡：在許多情況下，一個(gè)類可能比其他類別少，導(dǎo)致偏見的預(yù)測。必須根據(jù)問題使用諸如過采樣，底漆或SMOTE之類的方法。
4. 數(shù)據(jù)泄漏：
   • 無意的泄漏：數(shù)據(jù)泄漏發(fā)生在訓(xùn)練集外部的信息會(huì)影響模型時(shí)導(dǎo)致膨脹性能指標(biāo)時(shí)。至關(guān)重要的是要確保在培訓(xùn)期間完全看不見測試數(shù)據(jù)，并且要謹(jǐn)慎管理從目標(biāo)變量獲得的功能。

使用網(wǎng)格搜索改進(jìn)邏輯回歸的示例

來自sklearn.model_selection導(dǎo)入GridSearchCV

＃實(shí)施網(wǎng)格搜索邏輯回歸

param_grid = {'c'：[0.1，1，10，100]，'solver'：['lbfgs']}

grid_search = GridSearchCV（LogisticRegression（Multi_class ='MultiNomial'，max_iter = 1000），param_grid，cv = 5）

grid_search.fit（x_train，y_train）

＃最佳模型

best_model = grid_search.best_estimator_

＃評(píng)估測試集

test_accuracy = best_model.score（x_test，y_test）

打?。╢“最佳邏輯回歸 - 測試精度：{test_accuracy}”）

結(jié)果：

 - 最佳邏輯回歸 - 測試準(zhǔn)確性：0.9611

帶有張量的神經(jīng)網(wǎng)絡(luò)

讓我們專注于改善以前的神經(jīng)網(wǎng)絡(luò)模型，專注于最大程度地減少過度擬合和增強(qiáng)概括的技術(shù)。

提早停止和模型檢查點(diǎn)

早期停止在模型的驗(yàn)證性能高原時(shí)停止訓(xùn)練，從而避免從訓(xùn)練數(shù)據(jù)噪聲中學(xué)習(xí)過多，從而防止過度適應(yīng)。

模型檢查點(diǎn)可以節(jié)省在整個(gè)訓(xùn)練中驗(yàn)證集中最佳的模型，從而確保保留最佳模型版本，即使隨后的培訓(xùn)導(dǎo)致過度擬合。

導(dǎo)入numpy作為NP

從Sklearn.Preprocessing Import LabElenCoder，StandardardScaler

來自sklearn.model_selection導(dǎo)入train_test_split

從TensorFlow.keras導(dǎo)入模型，層

從TensorFlow.keras.callbacks導(dǎo)入早期踩踏，modelCheckpoint

＃標(biāo)簽編碼目標(biāo)類

label_encoder = labelencoder（）

y_encoded = label_encoder.fit_transform（y）

?；疖嚋y試拆分

x_train，x_test，y_train，y_test = train_test_split（x，y_encoded，test_size = 0.2，andury_state = 42）

＃功能縮放

sualer = StandardScaler（）

x_train = scaler.fit_transform（x_train）

x_test = scaler.transform（x_test）

＃神經(jīng)網(wǎng)絡(luò)

模型=模型。

layers.dense（64，activation ='relu'，input_shape =（x_train.shape [1]，）），），

layers.dense（32，激活='relu'），

layers.dense（len（np.unique（y_encoded））），激活='softmax'）＃確保輸出層大小與類數(shù)量

）））

model.compile（優(yōu)化器='adam'，loss ='sparse_categorical_crossentropy'，metrics = ['fecicy']）

＃回調(diào)

早期_STOPPING =早期stopping（Monitor ='Val_loss'，耐心= 10，Restore_best_weights = true）

model_checkpoint = modelCheckpoint（'best_model.keras'，monitor ='val_loss'，save_best_only = true）

＃訓(xùn)練模型

歷史= model.fit（x_train，y_train，epochs = 100，batch_size = 32，validation_data =（x_test，y_test），

回調(diào)= [早期_Stopping，model_checkpoint]，詳細(xì)= 1）

＃評(píng)估模型

train_loss，train_accuracy = model.evaluate（x_train，y_train，冗長= 0）

test_loss，test_accuracy = model.evaluate（x_test，y_test，冗長= 0）

打?。╢“神經(jīng)網(wǎng)絡(luò) - 火車精度：{train_accuracy}，測試精度：{test_accuracy}”）

了解各種指標(biāo)的意義

1. 準(zhǔn)確性：盡管重要的是，精度可能無法完全捕獲模型的性能，尤其是在處理不平衡的班級(jí)分布時(shí)。
2. 損失：損耗函數(shù)評(píng)估預(yù)測值與真實(shí)標(biāo)簽的對(duì)齊程度；較小的損耗值表示較高的精度。
3. 精度，召回和F1得分：精確評(píng)估正面預(yù)測的正確性，召回衡量該模型在識(shí)別所有陽性案例方面的成功，以及F1得分平衡的精度和回憶。
4. ROC-AUC ：ROC-AUC度量標(biāo)準(zhǔn)量量化了模型區(qū)分類別的能力，無論閾值設(shè)置如何。

來自sklearn.metrics導(dǎo)入classification_report，roc_auc_score

＃預(yù)測

Y_TEST_PRED_PROBA = model.predict（x_test）

y_test_pred = np.argmax（y_test_pred_proba，axis = 1）

＃分類報(bào)告

print（classification_report（y_test，y_test_pred））

＃Roc-auc

roc_auc = roc_auc_score（y_test，y_test_pred_proba，multi_class ='ovr'）

打?。╢'Roc-auc得分：{roc_auc}'）

模型性能的可視化

通過繪制學(xué)習(xí)曲線的準(zhǔn)確性和損失，可以看到該模型在訓(xùn)練過程中的性能，顯示該模型是否過于擬合或不適合。我們使用早期停止來防止過度擬合，這有助于推廣到新數(shù)據(jù)。

導(dǎo)入matplotlib.pyplot作為PLT

＃情節(jié)培訓(xùn)和驗(yàn)證精度值

plt.figure（無花果=（14，5））

plt.subplot（1，2，1）

plt.plot（歷史學(xué)家['準(zhǔn)確性']）

plt.plot（history.history ['val_accuracy']）

plt.title（“模型精度”）

plt.xlabel（'epoch'）

plt.ylabel（“準(zhǔn)確性”）

plt.legend（['train'，'驗(yàn)證']，loc =“左上”）

＃情節(jié)培訓(xùn)和驗(yàn)證損失值

plt.subplot（1，2，2）

plt.plot（歷史學(xué)家['損失']）

plt.plot（歷史學(xué)家['val_loss']）

plt.title（“模型損失”）

plt.xlabel（'epoch'）

plt.ylabel（“損失”）

plt.legend（['train'，'驗(yàn)證']，loc =“左上”）

plt.show（）

結(jié)論

細(xì)致的評(píng)估對(duì)于防止過度擬合和不足之類的問題至關(guān)重要。建立有效的分類模型不僅涉及選擇和培訓(xùn)正確的算法?？梢酝ㄟ^實(shí)施集合方法，正則化，調(diào)整超級(jí)計(jì)和交叉驗(yàn)證來增強(qiáng)模型一致性和可靠性。盡管我們的小型數(shù)據(jù)集可能沒有經(jīng)歷過過度擬合，但采用這些方法可確保模型堅(jiān)固且精確，從而在實(shí)際應(yīng)用中更好地決策。

常見問題

Ans。雖然準(zhǔn)確性是關(guān)鍵指標(biāo)，但并不總是給出完整的圖片，尤其是在數(shù)據(jù)集中的情況下。評(píng)估一致性，魯棒性和泛化等其他方面，可確保模型在各種情況下的表現(xiàn)良好，而不僅僅是在受控的測試條件下。

Ans。常見的錯(cuò)誤包括過度擬合，擬合不足，數(shù)據(jù)泄漏，忽略類失衡以及無法正確驗(yàn)證模型。這些問題可能會(huì)導(dǎo)致模型在測試中表現(xiàn)良好，但在現(xiàn)實(shí)世界中的應(yīng)用中失敗。

Ans。通過交叉驗(yàn)證，正則化，早期停止和集合方法可以緩解過度擬合。這些方法有助于平衡模型的復(fù)雜性，并確保其良好地推廣到新數(shù)據(jù)。

Ans。除了準(zhǔn)確性之外，還要考慮諸如精度，召回，F(xiàn)1得分，ROC-AUC和損失之類的指標(biāo)。這些指標(biāo)提供了對(duì)模型性能的更加細(xì)微的理解，尤其是在處理不平衡數(shù)據(jù)并進(jìn)行準(zhǔn)確的預(yù)測方面。

以上是您是否在分類建模中犯了這些錯(cuò)誤？的詳細(xì)內(nèi)容。更多信息請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！