本文詳細(xì)介紹了如何利用PEFT庫(kù)的merge_and_unload功能，將LoRA適配器高效、準(zhǔn)確地合并到基礎(chǔ)大語(yǔ)言模型中，從而創(chuàng)建一個(gè)全新的、集成了微調(diào)知識(shí)的模型。文章糾正了直接通過(guò)transformers.AutoModel加載適配器和手動(dòng)合并模型權(quán)重的常見誤區(qū)，并提供了完整的代碼示例，包括模型合并、分詞器處理以及解決潛在版本兼容性問(wèn)題的專業(yè)指導(dǎo)，確保合并過(guò)程順暢無(wú)誤。

理解PEFT適配器合并的挑戰(zhàn)與正確方法

在使用參數(shù)高效微調(diào)（PEFT）技術(shù)，特別是LoRA（Low-Rank Adaptation）對(duì)大型語(yǔ)言模型進(jìn)行微調(diào)后，一個(gè)常見的需求是將訓(xùn)練好的適配器（adapter）與原始的基礎(chǔ)模型合并，形成一個(gè)獨(dú)立的、完整的、可以直接部署的新模型。然而，許多初學(xué)者可能會(huì)嘗試直接使用transformers庫(kù)的AutoModel.from_pretrained來(lái)加載適配器，或者嘗試手動(dòng)合并兩個(gè)模型的state_dict，這通常會(huì)導(dǎo)致錯(cuò)誤。

為何傳統(tǒng)方法不可行？

1. AutoModel.from_pretrained的局限性： PEFT適配器并非一個(gè)完整的模型，它只包含微調(diào)過(guò)程中修改的少量權(quán)重。transformers.AutoModel.from_pretrained期望加載一個(gè)包含完整模型結(jié)構(gòu)和所有權(quán)重的模型文件（如pytorch_model.bin）。當(dāng)它嘗試從一個(gè)只包含適配器權(quán)重的目錄加載時(shí)，會(huì)因?yàn)檎也坏筋A(yù)期的模型文件而拋出OSError。
2. 手動(dòng)合并state_dict的誤區(qū)： PEFT的工作原理是在基礎(chǔ)模型的特定層注入低秩矩陣，而不是直接修改基礎(chǔ)模型的全部權(quán)重。因此，簡(jiǎn)單地將基礎(chǔ)模型和適配器的state_dict進(jìn)行加權(quán)平均（如0.8 * pretrained_weights 0.2 * lora_adapter_weights）是無(wú)效的，因?yàn)檫m配器的權(quán)重結(jié)構(gòu)與基礎(chǔ)模型的完整權(quán)重結(jié)構(gòu)并不直接對(duì)應(yīng)，且這種操作無(wú)法正確地將LoRA矩陣應(yīng)用到基礎(chǔ)模型中。

正確的做法是利用PEFT庫(kù)自身提供的強(qiáng)大功能，它已經(jīng)為我們準(zhǔn)備好了合并適配器的專用工具。

使用PEFT庫(kù)合并LoRA適配器

PEFT庫(kù)設(shè)計(jì)了專門的類和方法來(lái)處理適配器模型。核心思想是先加載帶有適配器的模型，然后調(diào)用其內(nèi)置的合并功能。

1. 加載PEFT適配器模型

要加載一個(gè)PEFT適配器模型，我們應(yīng)該使用peft庫(kù)中的AutoPeftModelForCausalLM（或其他針對(duì)特定任務(wù)的AutoPeftModelFor...類）。這個(gè)類能夠識(shí)別并正確加載帶有LoRA配置的基礎(chǔ)模型和適配器權(quán)重。

以下是加載適配器模型的代碼示例：

from peft import AutoPeftModelForCausalLM
import torch

# 假設(shè)您的PEFT適配器模型已保存在本地路徑
# 或者直接從Hugging Face Hub加載，例如 "ArcturusAI/Crystalline-1.1B-v23.12-tagger"
# 對(duì)于本地路徑，確保模型目錄結(jié)構(gòu)正確
model_id = "./ArcturusAI/Crystalline-1.1B-v23.12-tagger" 

# 加載帶有PEFT適配器的模型
# 如果您的基礎(chǔ)模型是CausalLM，使用AutoPeftModelForCausalLM
# 如果是其他任務(wù)，請(qǐng)選擇對(duì)應(yīng)的AutoPeftModelFor...
peft_model = AutoPeftModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16 # 推薦指定數(shù)據(jù)類型，如bfloat16或float16，以節(jié)省內(nèi)存
)

print(f"加載后模型的類型: {type(peft_model)}")
# 預(yù)期輸出: <class></class>

AutoPeftModelForCausalLM.from_pretrained會(huì)自動(dòng)處理基礎(chǔ)模型的加載和適配器權(quán)重的應(yīng)用，使其成為一個(gè)PeftModelForCausalLM實(shí)例。

2. 執(zhí)行合并操作

加載適配器模型后，PeftModel對(duì)象提供了一個(gè)便捷的方法merge_and_unload()，它負(fù)責(zé)將適配器權(quán)重合并到基礎(chǔ)模型的對(duì)應(yīng)層中，并返回一個(gè)純粹的transformers模型實(shí)例。

# 執(zhí)行合并操作
merged_model = peft_model.merge_and_unload()

print(f"合并后模型的類型: {type(merged_model)}")
# 預(yù)期輸出示例: <class>
# 具體類型取決于您的基礎(chǔ)模型架構(gòu)</class>

merge_and_unload()方法會(huì)：

• 將LoRA權(quán)重矩陣（A和B）與基礎(chǔ)模型的原始權(quán)重矩陣相乘并相加，從而更新基礎(chǔ)模型的權(quán)重。
• 移除PEFT相關(guān)的包裝，返回一個(gè)標(biāo)準(zhǔn)的transformers.PreTrainedModel實(shí)例，該實(shí)例已包含了微調(diào)后的全部知識(shí)。

3. 保存合并后的模型

合并后的merged_model現(xiàn)在是一個(gè)獨(dú)立的transformers模型，您可以像保存任何其他transformers模型一樣保存它：

# 定義保存路徑
save_directory = "ArcturusAI/Crystalline-1.1B-v23.12-tagger-fullmodel"

# 保存合并后的模型
merged_model.save_pretrained(save_directory)

print(f"合并后的模型已保存至: {save_directory}")

處理分詞器（Tokenizer）

需要注意的是，merge_and_unload()方法只處理模型的權(quán)重。一個(gè)完整的模型包通常還需要包含對(duì)應(yīng)的分詞器（tokenizer）。由于LoRA微調(diào)通常不改變分詞器，因此您需要從原始的基礎(chǔ)模型庫(kù)中加載分詞器，并將其與合并后的模型一起保存。

from transformers import AutoTokenizer

# 加載基礎(chǔ)模型的分詞器
base_model_tokenizer_id = "TinyLlama/TinyLlama-1.1B-Chat-v0.6"
tokenizer = AutoTokenizer.from_pretrained(base_model_tokenizer_id)

# 將分詞器保存到與合并模型相同的目錄
tokenizer.save_pretrained(save_directory)

print(f"分詞器已從 {base_model_tokenizer_id} 加載并保存至: {save_directory}")

完成以上步驟后，save_directory中將包含一個(gè)完整的、可直接加載和使用的模型，包括合并后的模型權(quán)重和對(duì)應(yīng)的分詞器。

潛在問(wèn)題與注意事項(xiàng)

PEFT版本兼容性：

PEFT庫(kù)在不斷發(fā)展，不同版本之間可能會(huì)存在配置文件的兼容性問(wèn)題。例如，如果您使用舊版PEFT訓(xùn)練模型，然后嘗試使用新版PEFT加載并合并，可能會(huì)遇到錯(cuò)誤。這通常表現(xiàn)為adapter_config.json中存在新版PEFT引入但在舊版中不存在的字段，或者反之。

解決方案： 如果遇到加載錯(cuò)誤，提示adapter_config.json中的某些鍵不兼容，您可以嘗試手動(dòng)編輯adapter_config.json文件，移除導(dǎo)致問(wèn)題的鍵。常見的可能需要移除的鍵包括：

• loftq_config
• megatron_config
• megatron_core

在移除這些鍵后，重新嘗試加載模型。建議在進(jìn)行此操作前備份原始的adapter_config.json文件。

最佳實(shí)踐：

• 版本管理： 盡量在訓(xùn)練和合并模型時(shí)使用相同或兼容的PEFT版本。
• 環(huán)境隔離： 使用虛擬環(huán)境管理項(xiàng)目依賴，確保依賴版本的一致性。
• 檢查文檔： 遇到問(wèn)題時(shí)，查閱PEFT庫(kù)的官方文檔，了解不同版本之間的變化和兼容性要求。

總結(jié)

將PEFT LoRA適配器與基礎(chǔ)模型合并是一個(gè)直接且高效的過(guò)程，關(guān)鍵在于利用peft庫(kù)提供的AutoPeftModelForCausalLM和merge_and_unload()方法。通過(guò)避免手動(dòng)權(quán)重合并的誤區(qū)，并正確處理分詞器的保存，您可以輕松地創(chuàng)建和部署一個(gè)集成了微調(diào)知識(shí)的獨(dú)立模型。同時(shí)，注意PEFT版本兼容性問(wèn)題，并在必要時(shí)調(diào)整配置文件，可以確保整個(gè)流程的順暢執(zhí)行。

以上是如何正確合并PEFT LoRA適配器與基礎(chǔ)模型的詳細(xì)內(nèi)容。更多信息請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！