このチュートリアルは、PEFT LORAアダプターをベースモデルと効率的にマージして、完全に獨(dú)立したモデルを生成する方法を詳しく説明しています。この記事は、トランスフォーマーを直接使用することは間違っていることを指摘しています。Automodelはアダプターをロードし、重みを手動(dòng)でマージし、PEFTライブラリでMerge_and_unloadメソッドを使用する正しいプロセスを提供します。さらに、このチュートリアルでは、単語セグメントターを扱うことの重要性も強(qiáng)調(diào)し、PEFTバージョンの互換性の問題とソリューションについて説明しています。

はじめに：PEFT LORAアダプターとベースモデルをマージする必要性

パラメーター効率的な微調(diào)整（PEFT）テクノロジー、特にLORA（低ランク適応）を使用して大規(guī)模な言語モデルを微調(diào)整した後、通常は軽量アダプターモデルを取得します。このアダプターモデルには、微調(diào)整中に変更された少量の重みのみが含まれており、推論を行うには元の基本モデルと組み合わせる必要があります。モデルを展開または共有する場合、2つのモデルコンポーネントを同時(shí)に管理する必要なく、モデルモデルと完全な獨(dú)立モデルにマージすることが一般的な要件です。

ただし、多くの初心者は、Transformers Libraryからのautomodel.from_pretratedを使用してPEFTアダプターを直接ロードしようとする場合、または平均モデルの重量を手動(dòng)で重み付けしようとするなど、マージしようとする際に困難を経験する場合があります。 PEFTアダプターには特定の構(gòu)造と負(fù)荷メカニズムがあるため、これらのメソッドはしばしばエラーにつながります。

誤ったマージの試みと原因の分析

一般的な間違いの試みは、トランスフォーマーを使用することです。Automodel.from_pretrainedは、PEFTアダプターをロードし、以下に示すように手動(dòng)で重み付けして重みをマージしようとします。

変圧器から輸入automodelから
＃エラーデモンストレーション：PEFTアダプターを直接ロードしてみてください＃pretrained_model = automodel.from_pretrained（ "tinyllama/tinyllama-1.1b-chat-v0.6"）
＃lora_adapter = automodel.from_pretrained（ "arcturusai/crystalline-1.1b-v23.12-tagger"）＃ここでエラーが報(bào)告されます＃...後続の重量合併ロジックも間違っています...

lora_adapter = automodel.from_pretrained（ "arcturusai/crystalline-1.1b-v23.12-tagger"）を?qū)g行すると、通常、oserrorが遭遇し、pytorch_model.bin、tf_model.h5などの標(biāo)準(zhǔn)的なモデルの重量ファイルがモデルパスになくないことを促します。これは、PEFTアダプターには通常、完全なモデル重量ファイルではなく、アダプターレイヤーの重みのみが含まれているため、トランスはこの形式を認(rèn)識できないためです。さらに、PEFTモデルは、ベースモデルとアダプターモデルの重みを単純に重み付けするのではなく、アダプター層をベースモデルの特定のレイヤーに注入することで動(dòng)作を変更するのではなく機(jī)能します。したがって、手動(dòng)で重みをマージする方法も論理的に正しくありません。

正しいマージ戦略：PEFTライブラリのMerge_and_unloadメソッドを使用します

PEFTライブラリ自體は、アダプターを基礎(chǔ)となるモデルのmerge_and_unload（）とマージする公式で効率的な方法を提供します。この方法は、アダプターの重みをベースモデルの対応する層に正しく統(tǒng)合し、標(biāo)準(zhǔn)のトランスモデルインスタンスを返します。

1。PEFTアダプターモデルをロードします

まず、AutopeFtmodelforcausallmなどのPEFTモデルをロードするために特別に使用されるPEFTライブラリでクラスを使用して、訓(xùn)練されたPEFTアダプターをロードする必要があります。このクラスは、PEFTアダプターとそれに関連する基礎(chǔ)となるモデル構(gòu)成を自動(dòng)的に認(rèn)識してロードします。

 PEFT Import AutopeFtModelforcausallmから
トーチをインポートします

＃PEFTアダプターモデルのローカルパスまたは抱き合った顔モデルIDを定義する
＃アダプターモデルをローカルにダウンロードしたか、モデル_ID= "./ARCTURUSAI/CRYSTALLINE-1B-V23.12-TAGGER"を直接ロードできると仮定します。
    model_id、
    TORCH_DTYPE = TORCH.BFLOAT16＃ハードウェアとモデルサイズに基づいて適切なDTYPEを選択します
））

print（f "ロード後のモデルタイプ：{type（peft_model）}"）
＃予想出力：<class></class>

2。モデルの合併を?qū)g行します

ロード後、PEFT_MODELはPEFTMODELFORCAUSALLMインスタンスです。 Merge_and_unload（）メソッドを呼び出すことにより、PEFTライブラリはアダプターの重みをベースモデルに自動(dòng)的にマージし、標(biāo)準(zhǔn)のトランスモデルインスタンスを返します。

 ＃merged_model = peft_model.merge_and_unload（）を?qū)g行する

印刷（f "マージモデルタイプ：{type（merged_model）}"）
＃期待される出力：<class>（またはベースモデルに対応するタイプ）</class>

この時(shí)點(diǎn)で、merged_modelはすでに必要なすべての重みを備えた完全なモデルであり、他のトランスモデルと同じように使用および保存できます。

3.マージされたモデルを保存します

マージされたモデルは、トランスライブラリのsave_pretrainedメソッドを使用してローカルに保存できます。

 ＃Save Path save_directory = "./arcturusai/crystalline-1.1b-v23.12-tagger-fullmodel"を定義します "

＃マージモデルを保存merged_model.save_pretrained（save_directory）
印刷（f "マージモデルが保存されました：{save_directory}"）

トークンザー

Merge_and_unload（）メソッドは、モデルの重みを処理し、単語セグメントターを処理しないことに注意してください。トークネザーは、モデルの重みとは無関係のコンポーネントであり、テキストをモデルが理解できる數(shù)のシーケンスに変換する責(zé)任があります。したがって、ベースモデルの単語セグメントターを個(gè)別にロードし、マージモデルと同じディレクトリに保存して、モデルの整合性を確保する必要があります。

変圧器から輸入オートトケン剤から

＃単語segmenter base_model_name = "tinyllama/tinyllama-1.1b-chat-v0.6"を読み込む
tokenizer = autotokenizer.from_pretrained（base_model_name）

＃分詞をマージモデルtokenizer.save_pretrained（save_directory）と同じディレクトリに保存
印刷（f "word分詞保存：{save_directory}"）

上記の手順を完了した後、./arcturusai/crystalline-1.1b-v23.12-tagger-fullmodelディレクトリには、完全で直接読みやすい使用モデル（ウェイトとワードセグメーターを含む）が含まれます。

注：PEFTバージョンの互換性

PEFTモデルを操作する場合、PEFTライブラリのさまざまなバージョンでトレーニングされたモデル間の互換性の問題に遭遇する可能性があります。たとえば、PEFTの新しいバージョンでは、adapter_config.jsonファイルに新しい構(gòu)成キー（loftq_config、megatron_config、megatron_coreなど）が導(dǎo)入される場合がありますが、PEFTの古いバージョンは負(fù)荷時(shí)にこれらのキーを認(rèn)識しない場合があります。

このタイプの問題が発生した場合、1つのソリューションは、adapter_config.jsonファイルを手動(dòng)で編集し、それらの互換性のない構(gòu)成キーを削除することです。これは通常、古いPEFTバージョンを使用して新しいバージョンでトレーニングされたアダプターをロードしようとすると発生します。

例（モデルをローカルでダウンロードし、変更する必要があると仮定）：

1. モデルのダウンロード： PEFTアダプターモデルがローカルパスにダウンロードされていることを確認(rèn)してください。
2. adapter_config.jsonの位置：モデルパスの下でadapter_config.jsonファイルを見つけます。
3. 編集ファイル：テキストエディターを使用してadapter_config.jsonを開きます。
4. 互換性のないキーを削除します： 「loftq_config」などのキー値のペアを見つけて削除します：null、 "megatron_config"：{}、 "megatron_core"：{}など。
5. ファイルを保存：変更されたadapter_config.jsonを保存します。

重要：構(gòu)成ファイルのこの手動(dòng)変更は、どのキーが問題の原因であるかを明確に知っている場合にのみ、一時(shí)的なソリューションとして使用する必要があります。ベストプラクティスは、PEFTライブラリバージョンの一貫性を維持するか、トレーニング時(shí)に展開環(huán)境のPEFTバージョンを検討することです。

要約します

PEFT LORAアダプターとベースモデルをマージすることは比較的簡単なプロセスであり、重要なのはPEFTライブラリが提供する適切なツールを使用することです。 AutopeFtmodelforcausallmを介してアダプターをロードし、Merge_and_unload（）メソッドを呼び出してモデルMergeを効率的に完了します。同時(shí)に、単語セグメントターを個(gè)別に処理し、マージされたモデルで保存して、モデルの展開の整合性と利便性を確保することを忘れないでください。 PEFTのさまざまなバージョンでトレーニングされたモデルを扱う場合、潛在的な互換性の問題に注意を払い、それらを解決するための適切な措置を講じてください。

以上がPEFT LORAアダプターとベースモデルの効率的なマージ戦略の詳細(xì)內(nèi)容です。詳細(xì)については、PHP 中國語 Web サイトの他の関連記事を參照してください。