MicrosoftはPHI-3.5を発表します：効率的で強(qiáng)力な小言語(yǔ)モデルのファミリー

Microsoftの最新世代の小言語(yǔ)モデル（SLMS）であるPhi-3.5ファミリーは、言語(yǔ)、推論、コーディング、數(shù)學(xué)を含む多様なベンチマーク全體で優(yōu)れたパフォーマンスを誇っています。パワーと効率の両方に合わせて設(shè)計(jì)されたこれらのモデルは、Azureの製品を拡張し、開(kāi)発者に生成AIアプリケーションのための強(qiáng)化ツールを提供します。 2024年4月のPHI-3の発売以來(lái)、ユーザーフィードバックに基づいて、PHI-3.5では、PHI-3.5-MINI、PHI-3.5-Vision、およびPHI-3.5-MOE（Experts Modelの混合モデル）の3つの重要なモデルを?qū)毪筏皮い蓼埂?

重要なモデル機(jī)能：

• PHI-3.5-MINI：拡張された128Kコンテキストの長(zhǎng)さを備えており、多言語(yǔ)機(jī)能が改善されています。
• Phi-3.5-vision：マルチフレームの畫(huà)像の理解と推論が強(qiáng)化されており、シングルイメージベンチマークの結(jié)果が改善されます。
• PHI-3.5-MOE： 16人の専門(mén)家と6.6Bのアクティブパラメーターを活用し、効率、多言語(yǔ)サポート、堅(jiān)牢な安全機(jī)能を維持しながら、より大きなモデルを上回るエキスパートと6.6Bのアクティブパラメーターを活用します。また、128Kのコンテキスト長(zhǎng)をサポートします。

PHI-3.5-MOE：深いダイビング

フラッグシップPHI-3.5-MOEモデルは、それぞれ3.8Bパラメーターを備えた16人の専門(mén)家で構(gòu)成され、合計(jì)42Bパラメーターがあります。ただし、いつでもアクティブなパラメーターは6.6Bのみです。このアーキテクチャは、パフォーマンスと品質(zhì)における同等のサイズの密なモデルを上回り、20を超える言語(yǔ)をサポートしています。獨(dú)自およびオープンソースの両方のデータを組み込んだ厳格な安全トレーニングは、直接選好最適化（DPO）と監(jiān)視付き微調(diào)整（SFT）を採(cǎi)用して、無(wú)害性と有用性を確保します。

PHI-3.5-MOEトレーニングデータ：

このモデルのトレーニングでは、多様なソースから4.9兆個(gè)のトークン（10％多言語(yǔ)）を使用しました。

• 高品質(zhì)で厳密にフィルタリングされた公開(kāi)文書(shū)と教育データ。
• 數(shù)學(xué)、コーディング、および推論スキルの合成「教科書(shū)のような」データ。
• フォロー、真実性、有用性に対する指導(dǎo)に対する人間の好みを反映する高品質(zhì)のチャットデータ。

上の表は、さまざまなベンチマークの大規(guī)模なモデルと比較して、Phi-3.5-Moeの優(yōu)れたパフォーマンスを強(qiáng)調(diào)しています。

この表は、Phi-3.5-Moeの強(qiáng)力な多言語(yǔ)機(jī)能を示しており、多言語(yǔ)のタスクでより大きなモデルを上回っています。

Phi-3.5-mini：サイズが小さい、大きな衝撃

PHI-3.5-MINIは、多言語(yǔ)および高品質(zhì)のデータを使用して、トレーニング前およびトレーニング後の追加およびトレーニング後（DPO、PPO、SFT）の恩恵を受けます。

PHI-3.5-MINIトレーニングデータ：

PHI-3.5-MOEと同様に、PHI-3.5-MINIのトレーニングデータ（3.4兆トークン）には、フィルタリングされた公開(kāi)文書(shū)、合成データ、および高品質(zhì)のチャットデータが含まれています。

この表は、PHI-3.5-MINIのより大きなモデルに対する競(jìng)爭(zhēng)力のあるパフォーマンスを示しています。

このテーブルは、特にアラビア語(yǔ)、オランダ語(yǔ)、フィンランド語(yǔ)などの言語(yǔ)で、Phi-3.5-miniの多言語(yǔ)パフォーマンスの改善を紹介しています。

PHI-3.5-miniの128Kコンテキストの長(zhǎng)さは、長(zhǎng)期の処理タスクに適しています。

Phi-3.5-vision：再定義された畫(huà)像理解

PHI-3.5-Visionは、フィルタリングされた公開(kāi)ドキュメント、畫(huà)像テキストデータ、合成データ、高品質(zhì)のチャットデータなど、多様なトレーニングデータセットを活用しています。マルチフレームの畫(huà)像理解に優(yōu)れており、畫(huà)像比較やマルチイメージの要約などのタスクを可能にします。また、シングルイメージのベンチマークでのパフォーマンスの向上を示しています。

これらのテーブルは、マルチイメージベンチマークでのPhi-3.5-Visionのパフォーマンスの改善を示しています。

モデルを試す：

指示と例は、抱き合った顔とAzure AIスタジオを介してPhi-3.5-miniおよびPhi-3.5-visionを使用するためのものです。 GPUの要件により、Phi-3.5-visionには顔のスペースを抱きしめたことに注意してください。

結(jié)論：

PHI-3.5ファミリーは、オープンソース開(kāi)発者とAzureユーザーの両方に、費(fèi)用対効果の高い高性能SLMの魅力的な範(fàn)囲を提供します。各モデルは、コンパクトで多言語(yǔ)のPHI-3.5-miniから、強(qiáng)力で多目的なPHI-3.5-MOEおよび畫(huà)像中心のPHI-3.5-visionまで、特定のニーズに対応しています。

よくある質(zhì)問(wèn)：（元のテキストに含まれています）

以上がPHI 3.5 SLMが生成AIのゲームチェンジャーになる理由は何ですか？の詳細(xì)內(nèi)容です。詳細(xì)については、PHP 中國(guó)語(yǔ) Web サイトの他の関連記事を參照してください。