本文旨在指導如何將vision transformer (vit) 模型從單標簽多分類任務轉換到多標簽分類任務。核心在于替換原有的`crossentropyloss`為`torch.nn.bcewithlogitsloss`，并確保標簽數(shù)據(jù)格式正確。同時，文章還將探討多標簽分類任務中適用的評估指標與策略，確保模型能夠準確反映其在復雜多標簽場景下的性能。

在深度學習領域，圖像分類任務通常分為單標簽分類和多標簽分類。單標簽分類指一張圖片只屬于一個類別，而多標簽分類則允許一張圖片同時屬于多個類別。當需要將一個為單標簽任務設計的Vision Transformer (ViT) 模型調整為處理多標簽分類任務時，最關鍵的改動在于損失函數(shù)和評估策略。

1. 損失函數(shù)的選擇與實現(xiàn)

對于單標簽多分類任務，torch.nn.CrossEntropyLoss是標準的選擇，它結合了LogSoftmax和NLLLoss，適用于互斥類別。然而，在多標簽分類中，由于一個樣本可以同時擁有多個標簽，類別之間不再是互斥關系，因此CrossEntropyLoss不再適用。

1.1 替換為BCEWithLogitsLoss

多標簽分類任務的正確損失函數(shù)是二元交叉熵損失（Binary Cross-Entropy Loss）。PyTorch提供了torch.nn.BCEWithLogitsLoss，它在數(shù)值上更穩(wěn)定，因為它將Sigmoid激活函數(shù)和二元交叉熵損失結合在一起，避免了在計算Sigmoid后再計算對數(shù)時可能出現(xiàn)的數(shù)值溢出問題。

BCEWithLogitsLoss 的工作原理：BCEWithLogitsLoss 期望模型的輸出是“l(fā)ogits”（即未經Sigmoid激活的原始預測分數(shù)），而標簽則是浮點型（通常是0.0或1.0）。對于每個樣本，它會獨立地計算每個類別的二元交叉熵損失，然后將這些損失求平均。

1.2 代碼示例

假設您已經有一個ViT模型，并且其輸出層已經調整為輸出與標簽數(shù)量相匹配的logits（例如，如果您的標簽有7個類別，模型輸出的張量形狀應為 [batch_size, 7]）。

import torch
import torch.nn as nn

# 假設模型輸出的logits (未經激活的原始預測分數(shù))
# 這里的例子中，batch_size=3，有7個可能的標簽
# logits的形狀應為 [batch_size, num_labels]
logits = torch.randn(3, 7) # 示例logits，例如：torch.randn(batch_size, num_labels)

# 假設真實的標簽，形狀應與logits相同，且數(shù)據(jù)類型為float
# 例如：[0, 1, 1, 0, 0, 1, 0] 表示第一個樣本的標簽
# 注意：標簽必須是浮點型 (float)
labels = torch.tensor([
    [0, 1, 1, 0, 0, 1, 0],
    [1, 0, 1, 1, 0, 0, 0],
    [0, 0, 0, 1, 1, 1, 1]
]).float() # 真實的標簽，必須轉換為float類型

# 初始化BCEWithLogitsLoss
loss_fn = nn.BCEWithLogitsLoss()

# 計算損失
loss = loss_fn(logits, labels)

print(f"計算得到的損失: {loss.item()}")

# 原始的計算片段將變?yōu)椋?# pred = model(images.to(device)) # pred現(xiàn)在是logits
# labels_float = labels.to(device).float() # 確保標簽是float類型
# loss = loss_fn(pred, labels_float)

重要提示：

小羊標書

一鍵生成百頁標書，讓投標更簡單高效

62

查看詳情

• 模型輸出： 您的ViT模型的最后一層（分類頭）不應包含softmax或sigmoid激活函數(shù)。BCEWithLogitsLoss 會在內部處理Sigmoid激活。模型輸出的維度應與您任務中的標簽數(shù)量一致。
• 標簽格式： 標簽必須是浮點型張量（例如 torch.tensor([0, 1, 1, 0, 0, 1, 0]).float()）。每個元素代表該類別是否存在（1.0表示存在，0.0表示不存在）。

2. 多標簽分類的評估策略

在單標簽分類中，通常使用準確率（Accuracy）作為主要評估指標。然而，在多標簽分類中，簡單地計算準確率可能無法全面反映模型性能。我們需要更細致的指標。

2.1 常用評估指標

• 精確率（Precision）：模型預測為正類中，有多少是真正的正類。
• 召回率（Recall）：所有真正的正類中，有多少被模型正確預測為正類。
• F1-分數(shù)（F1-Score）：精確率和召回率的調和平均值，是衡量模型綜合性能的常用指標。
  • Micro F1-Score： 聚合所有類別的真陽性、假陽性和假陰性計數(shù)，然后計算總體的F1-Score。它平等對待每個樣本-標簽對。
  • Macro F1-Score： 為每個類別獨立計算F1-Score，然后取這些F1-Score的平均值。它平等對待每個類別，即使某些類別樣本很少。
• 平均準確率（Average Precision, AP）：PR曲線（Precision-Recall curve）下的面積，對不平衡數(shù)據(jù)集更魯棒。
• ROC曲線下面積（AUC-ROC）：衡量模型區(qū)分正負類的能力，但更常用于二分類或多分類（one-vs-rest）。對于多標簽，可以計算每個類別的AUC-ROC然后取平均。

2.2 預測閾值

由于模型輸出的是logits，為了得到最終的二進制預測（0或1），需要對Sigmoid激活后的概率應用一個閾值。例如，如果 sigmoid(logits) > 0.5，則預測該標簽存在。這個閾值可以根據(jù)任務需求和驗證集性能進行調整。

2.3 評估流程示例

1. 獲取模型預測的logits： pred_logits = model(images)
2. 應用Sigmoid激活： pred_probs = torch.sigmoid(pred_logits)
3. 應用閾值得到二進制預測： pred_binary = (pred_probs > threshold).long()
4. 將預測和真實標簽移到CPU并轉換為NumPy數(shù)組： 方便使用sklearn.metrics等庫進行評估。
5. 計算各項指標： 使用如 sklearn.metrics.f1_score, sklearn.metrics.precision_score, sklearn.metrics.recall_score, sklearn.metrics.roc_auc_score 等函數(shù)。

3. 總結

將ViT模型從單標簽分類轉換為多標簽分類，核心在于理解任務性質的變化并相應地調整損失函數(shù)和評估策略。通過使用torch.nn.BCEWithLogitsLoss并確保標簽數(shù)據(jù)格式正確，可以有效地訓練多標簽分類模型。在評估階段，應采用更全面的指標，如F1-Score、精確率和召回率，并考慮合適的預測閾值，以準確衡量模型在復雜多標簽場景下的性能。

以上就是從單標簽到多標簽：ViT模型損失函數(shù)與評估策略調整指南的詳細內容，更多請關注php中文網(wǎng)其它相關文章！