Microsoft memperkenalkan PHI-3.5: Keluarga model bahasa kecil yang cekap dan berkuasa

Model bahasa kecil Microsoft (SLMS), keluarga PHI-3.5, menawarkan prestasi unggul di pelbagai tanda aras yang merangkumi bahasa, penalaran, pengekodan, dan matematik. Direka untuk kedua -dua kuasa dan kecekapan, model -model ini memperluaskan penawaran Azure, menyediakan pemaju dengan alat yang dipertingkatkan untuk aplikasi AI generatif. Membina maklum balas pengguna sejak pelancaran PHI-3 April 2024, PHI-3.5 memperkenalkan tiga model utama: PHI-3.5-Mini, Phi-3.5-vision, dan PHI-3.5-MOE (model campuran-ekspersa).

Ciri Model Utama:

• PHI-3.5-Mini: Mempunyai panjang konteks 128k yang diperluaskan dan keupayaan berbilang bahasa yang lebih baik.
• PHI-3.5-Vision: Mempunyai pemahaman dan pemikiran imej pelbagai bingkai yang dipertingkatkan, yang membawa kepada peningkatan hasil penanda aras imej tunggal.
• PHI-3.5-MOE: Model campuran-eksperts yang memanfaatkan 16 pakar dan parameter aktif 6.6B, mengatasi model yang lebih besar sambil mengekalkan kecekapan, sokongan berbilang bahasa, dan ciri keselamatan yang mantap. Ia juga menyokong panjang konteks 128k.

PHI-3.5-MOE: menyelam yang mendalam

Model PHI-3.5-MoE utama terdiri daripada 16 pakar, masing-masing dengan parameter 3.8B, berjumlah 42B parameter. Walau bagaimanapun, hanya parameter 6.6B yang aktif pada bila -bila masa. Senibina ini melampaui model padat bersaiz setanding dalam prestasi dan kualiti, menyokong lebih dari 20 bahasa. Latihan keselamatan yang ketat, menggabungkan kedua-dua data proprietari dan sumber terbuka, menggunakan pengoptimuman keutamaan langsung (DPO) dan diselia penalaan (SFT) untuk memastikan kebencian dan kebijaksanaan.

Data Latihan Phi-3.5-MoE:

Latihan model ini menggunakan token 4.9 trilion (10% berbilang bahasa) dari pelbagai sumber:

• Dokumen awam dan data pendidikan yang berkualiti tinggi dan ketat.
• Data sintetik "buku teks" untuk kemahiran matematik, pengekodan, dan pemikiran.
• Data sembang berkualiti tinggi yang mencerminkan keutamaan manusia untuk pengajaran berikut, kebenaran, dan membantu.

Jadual di atas menyoroti prestasi unggul PHI-3.5-MOE berbanding dengan model yang lebih besar di pelbagai tanda aras.

Jadual ini menunjukkan keupayaan berbilang bahasa Phi-3.5-Moe, mengatasi model yang lebih besar pada tugas berbilang bahasa.

PHI-3.5-Mini: saiz kecil, kesan besar

Manfaat PHI-3.5-Mini dari latihan pra-latihan dan pasca latihan tambahan (DPO, PPO, SFT) menggunakan data berbilang bahasa dan berkualiti tinggi.

Data Latihan Phi-3.5-Mini:

Sama seperti PHI-3.5-MOE, data latihan Phi-3.5-mini (token 3.4 trilion) termasuk dokumen awam yang ditapis, data sintetik, dan data sembang berkualiti tinggi.

Jadual ini menggambarkan prestasi kompetitif PHI-3.5-mini terhadap model yang lebih besar.

Jadual ini mempamerkan prestasi berbilang bahasa Phi-3.5-mini, terutamanya dalam bahasa seperti Arab, Belanda, dan Finlandia.

Panjang konteks 128K PHI-3.5-Mini menjadikannya sesuai untuk tugas pemprosesan dokumen yang lama.

Phi-3.5-Vision: Pemahaman Imej Ditakrifkan semula

PHI-3.5-Vision memanfaatkan dataset latihan yang pelbagai, termasuk dokumen awam yang ditapis, data teks imej, data sintetik, dan data sembang berkualiti tinggi. Ia cemerlang dalam pemahaman imej pelbagai bingkai, membolehkan tugas-tugas seperti perbandingan imej dan ringkasan pelbagai imej. Ia juga menunjukkan prestasi yang lebih baik pada tanda aras imej tunggal.

Jadual-jadual ini menggambarkan penambahbaikan prestasi Phi-3.5-Vision pada tanda aras pelbagai imej.

Mencuba model:

Arahan dan contoh disediakan untuk menggunakan PHI-3.5-Mini dan PHI-3.5-penglihatan melalui Face Hugging dan Azure AI Studio. Perhatikan bahawa ruang muka yang memeluk digunakan untuk Phi-3.5-penglihatan kerana keperluan GPUnya.

Kesimpulan:

Keluarga PHI-3.5 menawarkan pelbagai kos efektif yang berkesan, berprestasi tinggi untuk kedua-dua pemaju sumber terbuka dan pengguna Azure. Setiap model memenuhi keperluan khusus, dari PHI-3.5-Mini yang padat dan berbilang bahasa kepada PHI-3.5-MoE yang kuat dan serba boleh dan Phi-3-vision yang berfokus pada imej.

Soalan Lazim: (termasuk dalam teks asal)

Atas ialah kandungan terperinci Apa yang menjadikan Phi 3.5 SLMS sebagai penukar permainan untuk AI generatif?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!