Microsoft揭幕了PHI-3.5：一個高效且強大的小語言模型的家族

Microsoft的最新一代小語言模型（SLM），PHI-3.5家族，具有涵蓋語言，推理，編碼和數(shù)學的各種基準測試的卓越性能。這些模型既專為功率和效率，又擴展了Azure的產(chǎn)品，為開發(fā)人員提供了增強的生成AI應(yīng)用程序的工具。自2024年4月PHI-3發(fā)布以來，PHI-3.5以用戶反饋為基礎(chǔ)，引入了三個關(guān)鍵型號：PHI-3.5-MINI，PHI-3.5-Vision和Phi-3.5-Moe（Experts模型的混合物）。

關(guān)鍵模型特徵：

• PHI-3.5-MINI：具有擴展的128K上下文長度和改進的多語言功能。
• PHI-3.5-Vision：擁有增強的多幀圖像理解和推理，從而改善了單像基準的結(jié)果。
• PHI-3.5-MOE： Experts模型的混合物利用16個專家和6.6B活動參數(shù)，優(yōu)於較大的模型，同時保持效率，多語言支持和魯棒的安全功能。它還支持128K上下文長度。

phi-3.5-moe：深度潛水

旗艦PHI-3.5-MOE模型包括16個專家，每個專家都有3.8B參數(shù)，總計42B參數(shù)。但是，在任何給定時間都只有6.6b參數(shù)活躍。該體系結(jié)構(gòu)超過了性能和質(zhì)量的可比大小的密集模型，支持20多種語言。嚴格的安全培訓，包括專有和開源數(shù)據(jù)，採用直接偏好優(yōu)化（DPO）和監(jiān)督微調(diào)（SFT），以確保無害和幫助。

PHI-3.5-MOE培訓數(shù)據(jù)：

該模型的培訓利用了來自不同來源的4.9萬億代幣（多語言）：

• 高質(zhì)量，嚴格過濾的公共文件和教育數(shù)據(jù)。
• 用於數(shù)學，編碼和推理技能的合成“類似教科書”數(shù)據(jù)。
• 高質(zhì)量的聊天數(shù)據(jù)反映了人類對教學的偏好，真實性和樂於助人。

上表與跨各種基準的較大模型相比，PHI-3.5-MOE的出色性能。

該表展示了Phi-3.5-Moe的強大多語言功能，在多語言任務(wù)上的表現(xiàn)優(yōu)於較大的模型。

PHI-3.5-Mini：尺寸很小，影響很大

PHI-3.5-MINI使用多語言和高質(zhì)量數(shù)據(jù)受益於額外的培訓和訓練後（DPO，PPO，SFT）。

PHI-3.5-MINI培訓數(shù)據(jù)：

類似於Phi-3.5-MoE，PHI-3.5-Mini的培訓數(shù)據(jù)（3.4萬億代幣）包括過濾後的公共文檔，合成數(shù)據(jù)和高質(zhì)量的聊天數(shù)據(jù)。

該表說明了PHI-3.5-Mini對較大模型的競爭性能。

該表展示了PHI-3.5-Mini的改進多語言性能，尤其是在阿拉伯語，荷蘭語和芬蘭語等語言中。

PHI-3.5-MINI的128K上下文長度使其適合長期處理任務(wù)。

phi-3.5-Vision：圖像理解重新定義

PHI-3.5視頻利用了多樣化的培訓數(shù)據(jù)集，包括過濾的公共文檔，圖像文本數(shù)據(jù)，合成數(shù)據(jù)和高質(zhì)量的聊天數(shù)據(jù)。它在多幀圖像理解中表現(xiàn)出色，從而實現(xiàn)了圖像比較和多圖像摘要等任務(wù)。它還顯示了單像基準測試的性能的提高。

這些表說明了Phi-3.5-Vision在多圖像基準上的性能改進。

嘗試模型：

提供了通過擁抱面和Azure AI工作室使用Phi-3.5-Mini和Phi-3.5-Vision的說明和示例。請注意，由於其GPU要求，擁抱面積用於PHI-3.5視頻。

結(jié)論：

PHI-3.5家族為開源開發(fā)人員和Azure用戶提供了一系列具有成本效益，高性能的SLM。每個模型都可以滿足特定需求，從緊湊和多語言的PHI-3.5-MINI到功能強大且用途廣泛的PHI-3.5-MOE以及以圖像為中心的Phi-3.5-Vision。

常見問題：（原始文本中包括）

以上是是什麼使Phi 3.5 SLM成為生成AI的遊戲改變者？的詳細內(nèi)容。更多資訊請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！