Tutorial ini terperinci bagaimana untuk menggabungkan penyesuai PEFT LORA dengan model asas untuk menghasilkan model yang sepenuhnya bebas. Artikel ini menunjukkan bahawa adalah salah untuk menggunakan transformer.automodel secara langsung untuk memuatkan penyesuai dan menggabungkan berat secara manual, dan menyediakan proses yang betul untuk menggunakan kaedah Merge_and_unload di perpustakaan PEFT. Di samping itu, tutorial juga menekankan pentingnya menangani segmen perkataan dan membincangkan isu dan penyelesaian keserasian versi PEFT.

PENGENALAN: Keperluan menggabungkan penyesuai PEFT LORA dengan model asas

Selepas menala model bahasa yang besar menggunakan parameter teknologi penalaan yang cekap (PEFT), terutamanya LORA (penyesuaian peringkat rendah), kami biasanya mendapat model penyesuai ringan. Model penyesuai ini hanya mengandungi sedikit berat yang diubahsuai semasa penalaan halus, dan ia perlu digabungkan dengan model asas asal untuk membuat kesimpulan. Apabila menggunakan atau berkongsi model, ia adalah keperluan umum untuk menggabungkan penyesuai dengan model asas ke dalam model yang lengkap, bebas, yang memudahkan pemuatan dan penggunaan model tanpa perlu menguruskan dua komponen model secara serentak.

Walau bagaimanapun, ramai pemula mungkin mengalami kesukaran apabila cuba menggabungkan, seperti cuba memuatkan penyesuai PEFT secara langsung menggunakan automodel.from_pretrained dari Perpustakaan Transformers, atau cuba untuk berat badan model purata secara manual. Kaedah ini sering membawa kepada kesilapan kerana penyesuai PEFT mempunyai struktur khusus dan mekanisme pemuatan.

Percubaan gabungan yang tidak betul dan menyebabkan analisis

Percubaan kesilapan yang biasa adalah menggunakan transformer.automodel.from_pretrained untuk memuatkan penyesuai PEFT dan cuba menggabungkan berat dengan berat secara manual, seperti yang ditunjukkan di bawah:

 dari Transformers Import Automodel
# Demonstrasi ralat: Cuba muatkan penyesuai PEFT secara langsung# pretrained_model = automodel.from_pretrained ("Tinyllama/Tinyllama-1.1b-chat-v0.6")
# lora_adapter = automodel.from_pretrained ("Arcturusai/crystalline-1.1b-v23.12-tagger") # Ralat akan dilaporkan di sini # ... logik penggabungan berat berikutnya juga tidak betul ...

Apabila melaksanakan lora_adapter = automodel.from_pretrained ("arcturusai/crystalline-1.1b-v23.12-tagger"), oserror biasanya ditemui, menyebabkan fail berat model standard seperti pytorch_model.bin, tf_model.h5 hilang dalam model. Ini kerana penyesuai PEFT biasanya hanya mengandungi berat lapisan penyesuai, bukannya fail berat model lengkap, dan transformer.Automodel tidak dapat mengenali format ini. Selain itu, model PEFT berfungsi bukan sekadar berat badan model asas dan model penyesuai, tetapi mengubah suai tingkah lakunya dengan menyuntik lapisan penyesuai ke dalam lapisan tertentu model asas. Oleh itu, kaedah penggabungan berat secara manual juga secara logiknya tidak betul.

Strategi Gabungan Betul: Gunakan kaedah Perpustakaan PEFT MERGE_AND_UNLOAD

Perpustakaan PEFT sendiri menyediakan cara rasmi dan cekap untuk menggabungkan penyesuai dengan model asas: merge_and_unload (). Kaedah ini dengan betul mengintegrasikan berat penyesuai ke dalam lapisan yang sepadan dengan model asas dan mengembalikan contoh model Transformers standard.

1. Muatkan model penyesuai PEFT

Pertama, kita perlu menggunakan kelas di perpustakaan PEFT yang digunakan secara khusus untuk memuatkan model PEFT, seperti AutopeftModelForCausallm, untuk memuatkan penyesuai PEFT yang terlatih. Kelas ini secara automatik mengiktiraf dan memuatkan penyesuai PEFT dan konfigurasi model asas yang berkaitan.

 Dari PEFT Import Autopeftmodelforcausallm
obor import

# Tentukan jalan tempatan atau memeluk ID model muka model PEFT Adapter
# Anggaplah bahawa anda telah memuat turun model penyesuai secara tempatan, atau anda boleh memuatkan model_id = "./arcturusai/crystalline-1.1b-v23.12-tagger" Secara langsung dari memeluk hub muka # Sampel Laluan # Memuatkan model penyesuai PEFT # Nota: Model asas dan berat Adapter akan dimuatkan pada masa yang sama PEFT_MODE Autopeftmodelforcausallm.from_pretrained (
    model_id,
    Torch_dtype = obor.bfloat16 # Pilih dtype yang sesuai berdasarkan perkakasan dan saiz model anda
)

cetak (f "jenis model selepas memuat: {type (peft_model)}")
# Output yang dijangkakan: <kelas></kelas>

2. Melakukan penggabungan model

Selepas memuatkan, peft_model adalah contoh peftmodelforcausallm. Dengan memanggil kaedah Merge_and_unload (), perpustakaan PEFT secara automatik menggabungkan berat penyesuai ke dalam model asas dan mengembalikan contoh model Transformers standard.

 # Melakukan gabungan_model = peft_model.merge_and_unload ()

cetak (f "jenis model yang digabungkan: {type (merged_model)}")
# Output yang diharapkan: <kelas> (atau jenis yang sepadan dengan model asas)</kelas>

Pada ketika ini, MERGED_MODEL sudah menjadi model lengkap dengan semua berat yang diperlukan dan boleh digunakan dan disimpan seperti model Transformers lain.

3. Simpan model yang digabungkan

Model yang digabungkan boleh disimpan secara tempatan menggunakan kaedah save_pretrained perpustakaan transformer untuk pemuatan dan penggunaan berikutnya.

 # Tentukan jalan menyelamatkan save_directory = "./arcturusai/crystalline-1.1b-v23.12-tagger-fullmodel"

# Simpan model yang digabungkan MERGED_MODEL.SAVE_PRETRAINED (SAVE_DIRECTORY)
cetak (f "Model yang digabungkan telah disimpan ke: {save_directory}")

Tokenizer

Harus diingat bahawa kaedah merge_and_unload () hanya memproses berat model, dan tidak mengendalikan segmen perkataan. Tokenizer adalah komponen yang bebas daripada berat model, yang bertanggungjawab untuk menukar teks ke dalam urutan nombor yang dapat difahami oleh model. Oleh itu, anda perlu memuatkan segmen perkataan untuk model asas secara berasingan dan menyimpannya ke direktori yang sama seperti model yang digabungkan untuk memastikan integriti model.

 Dari Transformers Import Autotokenizer

# Muatkan perkataan segmene base_model_name = "tinyllama/tinyllama-1.1b-chat-v0.6"
tokenizer = autotokenizer.from_pretrained (base_model_name)

# Simpan perkataan participle ke direktori yang sama dengan model gabungan tokenizer.save_pretrained (save_directory)
cetak (f "participle perkataan disimpan ke: {save_directory}")

Setelah melengkapkan langkah-langkah di atas, direktori.

Nota: Keserasian versi PEFT

Apabila bekerja dengan model PEFT, anda mungkin menghadapi masalah keserasian antara model yang dilatih oleh versi Perpustakaan PEFT yang berlainan. Sebagai contoh, versi PEFT yang lebih baru boleh memperkenalkan kekunci konfigurasi baru (seperti loftq_config, megatron_config, megatron_core) dalam fail adapter_config.json, manakala versi lama PEFT tidak dapat mengenali kunci ini apabila memuatkan, menyebabkan kegagalan beban.

Sekiranya anda menghadapi masalah ini, satu penyelesaian adalah untuk mengedit fail adapter_config.json secara manual dan mengeluarkan kekunci konfigurasi yang tidak serasi. Ini biasanya berlaku apabila anda cuba memuatkan penyesuai yang dilatih oleh versi yang lebih baru menggunakan versi PEFT yang lebih lama.

Contoh (dengan andaian anda telah memuat turun model tempatan dan perlu diubahsuai):

1. Muat turun model: Pastikan model penyesuai PEFT telah dimuat turun ke laluan tempatan.
2. Kedudukan adapter_config.json: Cari fail adapter_config.json di bawah laluan model.
3. Edit Fail: Buka adapter_config.json menggunakan editor teks.
4. Keluarkan kekunci yang tidak serasi: Cari dan padamkan pasangan nilai kunci seperti "loftq_config": null, "megatron_config": {}, "megatron_core": {}, dan sebagainya.
5. Simpan fail: Simpan adapter_config.json yang diubahsuai.

PENTING: Pengubahsuaian manual fail konfigurasi ini harus digunakan sebagai penyelesaian sementara dan hanya jika anda tahu dengan jelas kekunci yang menjadi sumber masalah. Amalan terbaik adalah cuba mengekalkan versi perpustakaan PEFT yang konsisten, atau untuk mempertimbangkan versi PEFT persekitaran penempatan apabila latihan.

Meringkaskan

Menggabungkan penyesuai LORA PEFT dengan model asas adalah proses yang agak mudah, dan kunci adalah menggunakan alat yang betul yang disediakan oleh perpustakaan PEFT. Muatkan penyesuai melalui AutopeftModelForCausAllm dan kemudian hubungi kaedah Merge_and_unload () untuk melengkapkan model bergabung dengan cekap. Pada masa yang sama, jangan lupa untuk memproses segmen perkataan secara berasingan dan simpan dengan model yang digabungkan untuk memastikan integriti dan kemudahan penggunaan model. Apabila berurusan dengan model yang terlatih dengan versi PEFT yang berbeza, perhatikan isu -isu keserasian yang berpotensi dan mengambil langkah yang sesuai untuk menyelesaikannya.

Atas ialah kandungan terperinci Strategi penggabungan yang cekap bagi penyesuai dan model asas PEFT Lora. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!