本文詳細介紹瞭如何利用PEFT庫的merge_and_unload功能，將LoRA適配器高效、準確地合併到基礎大語言模型中，從而創(chuàng)建一個全新的、集成了微調(diào)知識的模型。文章糾正了直接通過transformers.AutoModel加載適配器和手動合併模型權重的常見??誤區(qū)，並提供了完整的代碼示例，包括模型合併、分詞器處理以及解決潛在版本兼容性問題的專業(yè)指導，確保合併過程順暢無誤。

理解PEFT適配器合併的挑戰(zhàn)與正確方法

在使用參數(shù)高效微調(diào)（PEFT）技術，特別是LoRA（Low-Rank Adaptation）對大型語言模型進行微調(diào)後，一個常見的需求是將訓練好的適配器（adapter）與原始的基礎模型合併，形成一個獨立的、完整的、可以直接部署的新模型。然而，許多初學者可能會嘗試直接使用transformers庫的AutoModel.from_pretrained來加載適配器，或者嘗試手動合併兩個模型的state_dict，這通常會導致錯誤。

為何傳統(tǒng)方法不可行？

1. AutoModel.from_pretrained的局限性： PEFT適配器並非一個完整的模型，它只包含微調(diào)過程中修改的少量權重。 transformers.AutoModel.from_pretrained期望加載一個包含完整模型結構和所有權重的模型文件（如pytorch_model.bin）。當它嘗試從一個只包含適配器權重的目錄加載時，會因為找不到預期的模型文件而拋出OSError。
2. 手動合併state_dict的誤區(qū)： PEFT的工作原理是在基礎模型的特定層注入低秩矩陣，而不是直接修改基礎模型的全部權重。因此，簡單地將基礎模型和適配器的state_dict進行加權平均（如0.8 * pretrained_weights 0.2 * lora_adapter_weights）是無效的，因為適配器的權重結構與基礎模型的完整權重結構並不直接對應，且這種操作無法正確地將LoRA矩陣應用到基礎模型中。

正確的做法是利用PEFT庫自身提供的強大功能，它已經(jīng)為我們準備好了合併適配器的專用工具。

使用PEFT庫合併LoRA適配器

PEFT庫設計了專門的類和方法來處理適配器模型。核心思想是先加載帶有適配器的模型，然後調(diào)用其內(nèi)置的合併功能。

1. 加載PEFT適配器模型

要加載一個PEFT適配器模型，我們應該使用peft庫中的AutoPeftModelForCausalLM（或其他針對特定任務的AutoPeftModelFor...類）。這個類能夠識別並正確加載帶有LoRA配置的基礎模型和適配器權重。

以下是加載適配器模型的代碼示例：

 from peft import AutoPeftModelForCausalLM
import torch

# 假設您的PEFT適配器模型已保存在本地路徑# 或者直接從Hugging Face Hub加載，例如"ArcturusAI/Crystalline-1.1B-v23.12-tagger"
# 對於本地路徑，確保模型目錄結構正確model_id = "./ArcturusAI/Crystalline-1.1B-v23.12-tagger" 

# 加載帶有PEFT適配器的模型# 如果您的基礎模型是CausalLM，使用AutoPeftModelForCausalLM
# 如果是其他任務，請選擇對應的AutoPeftModelFor...
peft_model = AutoPeftModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16 # 推薦指定數(shù)據(jù)類型，如bfloat16或float16，以節(jié)省內(nèi)存)

print(f"加載後模型的類型: {type(peft_model)}")
# 預期輸出: <class></class>

AutoPeftModelForCausalLM.from_pretrained會自動處理基礎模型的加載和適配器權重的應用，使其成為一個PeftModelForCausalLM實例。

2. 執(zhí)行合併操作

加載適配器模型後，PeftModel對象提供了一個便捷的方法merge_and_unload()，它負責將適配器權重合併到基礎模型的對應層中，並返回一個純粹的transformers模型實例。

 # 執(zhí)行合併操作merged_model = peft_model.merge_and_unload()

print(f"合併後模型的類型: {type(merged_model)}")
# 預期輸出示例: <class>
# 具體類型取決於您的基礎模型架構</class>

merge_and_unload()方法會：

• 將LoRA權重矩陣（A和B）與基礎模型的原始權重矩陣相乘並相加，從而更新基礎模型的權重。
• 移除PEFT相關的包裝，返回一個標準的transformers.PreTrainedModel實例，該實例已包含了微調(diào)後的全部知識。

3. 保存合併後的模型

合併後的merged_model現(xiàn)在是一個獨立的transformers模型，您可以像保存任何其他transformers模型一樣保存它：

 # 定義保存路徑save_directory = "ArcturusAI/Crystalline-1.1B-v23.12-tagger-fullmodel"

# 保存合併後的模型merged_model.save_pretrained(save_directory)

print(f"合併後的模型已保存至: {save_directory}")

處理分詞器（Tokenizer）

需要注意的是，merge_and_unload()方法只處理模型的權重。一個完整的模型包通常還需要包含對應的分詞器（tokenizer）。由於LoRA微調(diào)通常不改變分詞器，因此您需要從原始的基礎模型庫中加載分詞器，並將其與合併後的模型一起保存。

 from transformers import AutoTokenizer

# 加載基礎模型的分詞器base_model_tokenizer_id = "TinyLlama/TinyLlama-1.1B-Chat-v0.6"
tokenizer = AutoTokenizer.from_pretrained(base_model_tokenizer_id)

# 將分詞器保存到與合併模型相同的目錄tokenizer.save_pretrained(save_directory)

print(f"分詞器已從{base_model_tokenizer_id} 加載並保存至: {save_directory}")

完成以上步驟後，save_directory中將包含一個完整的、可直接加載和使用的模型，包括合併後的模型權重和對應的分詞器。

潛在問題與註意事項

PEFT版本兼容性：

PEFT庫在不斷發(fā)展，不同版本之間可能會存在配置文件的兼容性問題。例如，如果您使用舊版PEFT訓練模型，然後嘗試使用新版PEFT加載並合併，可能會遇到錯誤。這通常表現(xiàn)為adapter_config.json中存在新版PEFT引入但在舊版中不存在的字段，或者反之。

解決方案：如果遇到加載錯誤，提示adapter_config.json中的某些鍵不兼容，您可以嘗試手動編輯adapter_config.json文件，移除導致問題的鍵。常見的可能需要移除的鍵包括：

• loftq_config
• megatron_config
• megatron_core

在移除這些鍵後，重新嘗試加載模型。建議在進行此操作前備份原始的adapter_config.json文件。

最佳實踐：

• 版本管理：盡量在訓練和合併模型時使用相同或兼容的PEFT版本。
• 環(huán)境隔離：使用虛擬環(huán)境管理項目依賴，確保依賴版本的一致性。
• 檢查文檔：遇到問題時，查閱PEFT庫的官方文檔，了解不同版本之間的變化和兼容性要求。

總結

將PEFT LoRA適配器與基礎模型合併是一個直接且高效的過程，關鍵在於利用peft庫提供的AutoPeftModelForCausalLM和merge_and_unload()方法。通過避免手動權重合併的誤區(qū)，並正確處理分詞器的保存，您可以輕鬆地創(chuàng)建和部署一個集成了微調(diào)知識的獨立模型。同時，注意PEFT版本兼容性問題，並在必要時調(diào)整配置文件，可以確保整個流程的順暢執(zhí)行。

以上是如何正確合併PEFT LoRA適配器與基礎模型的詳細內(nèi)容。更多資訊請關注PHP中文網(wǎng)其他相關文章！