2023年，幾乎 AI 的每個(gè)領(lǐng)域都在以前所未有的速度進(jìn)化，同時(shí)，AI也在不斷地推動(dòng)著具身智能、自動(dòng)駕駛等關(guān)鍵賽道的技術(shù)邊界。多模態(tài)趨勢(shì)下，Transformer 作為 AI 大模型主流架構(gòu)的局面是否會(huì)撼動(dòng)？為何探索基于 MoE （專家混合）架構(gòu)的大模型成為業(yè)內(nèi)新趨勢(shì)？大型視覺模型 （LVM）能否成為通用視覺的新突破？...我們從過去的半年發(fā)布的2023年本站PRO會(huì)員通訊中，挑選了 10 份針對(duì)以上領(lǐng)域技術(shù)趨勢(shì)、產(chǎn)業(yè)變革進(jìn)行深入剖析的專題解讀，助您在新的一年里為大展宏圖做好準(zhǔn)備。本篇解讀來(lái)自2023年 Week50 業(yè)內(nèi)通訊??

日期：12 月 12 日

事件：Mistral AI 開源了基于 MoE（Mixture-of-Experts，專家混合）架構(gòu)的模型 Mixtral 8x7B，其性能達(dá)到 Llama 2 70B 和 GPT-3.5 的水平"的事件進(jìn)行延展解讀。

首先，弄清楚 MoE 是什么及其來(lái)龍去脈

1、概念：

MoE（Mixture of Experts）是一種混合模型，由多個(gè)子模型（即專家）組成，每個(gè)子模型都是一個(gè)局部模型，專門處理輸入空間的一個(gè)子集。MoE 的核心思想是使用一個(gè)門控網(wǎng)絡(luò)來(lái)決定每個(gè)數(shù)據(jù)應(yīng)該被哪個(gè)模型去訓(xùn)練，從而減輕不同類型樣本之間的干擾。

2、主要構(gòu)成：

混合專家模型技術(shù)（MoE）是由專家模型和門控模型組成稀疏門控制的深度學(xué)習(xí)技術(shù)。MoE 通過門控網(wǎng)絡(luò)實(shí)現(xiàn)任務(wù)/訓(xùn)練數(shù)據(jù)在不同專家模型間的分配，讓每個(gè)模型專注處理其最擅長(zhǎng)的任務(wù)，進(jìn)而實(shí)現(xiàn)模型的稀疏性。

① 在門控網(wǎng)絡(luò)的訓(xùn)練中，每個(gè)樣本都會(huì)被分配到一個(gè)或多個(gè)專家中；
② 在專家網(wǎng)絡(luò)的訓(xùn)練中，每個(gè)專家都會(huì)被訓(xùn)練以最小化其分配給它的樣本的誤差。

3、MoE 的「前身」：

MoE 的「前身」是集成學(xué)習(xí)（Ensemble Learning）。集成學(xué)習(xí)是通過訓(xùn)練練多個(gè)模型（基學(xué)習(xí)器）未解決同一問題，并且將它們的預(yù)測(cè)結(jié)果簡(jiǎn)單組合（例如投票或平均）。集成學(xué)習(xí)的主要目標(biāo)是通過減少過擬合，提高泛化能力，以提高預(yù)測(cè)性能。常見的集成學(xué)習(xí)方法包括 Bagging，Boosting 和 Stacking。

4、MoE 歷史來(lái)源：

① MoE 的根源可以追溯到 1991 年的論文《 Adaptive Mixture of Local Experts》。這個(gè)想法與集成方法類似，目的是為由不同子網(wǎng)絡(luò)組成的系統(tǒng)提供一種監(jiān)督過程，每個(gè)單獨(dú)的網(wǎng)絡(luò)或?qū)＜叶紝ｉT處理輸入空間的不同區(qū)域。通過門控網(wǎng)絡(luò)確定每個(gè)專家的權(quán)重。在訓(xùn)練過程中，專家和門控都會(huì)被訓(xùn)練。

② 在 2010 年至 2015 年期間，兩個(gè)不同的研究領(lǐng)域?qū)?MoE 的進(jìn)一步發(fā)展做出了貢獻(xiàn)：

一是專家作為組件：在傳統(tǒng)的 MoE 設(shè)置中，整個(gè)系統(tǒng)包括一個(gè)門控網(wǎng)絡(luò)和多個(gè)專家。MoEs 作為整個(gè)模型已經(jīng)在支持向量機(jī)、高斯過程和其他方法中進(jìn)行了探索?！禠earning Factored Representations in a Deep Mixture of Experts》工作探索了 MoEs 作為更深層網(wǎng)絡(luò)組件的可能性。這使得模型可以同時(shí)變得龐大和高效。

另一個(gè)是條件計(jì)算：傳統(tǒng)的網(wǎng)絡(luò)通過每一層處理所有輸入數(shù)據(jù)。在這個(gè)時(shí)期，Yoshua Bengio 研究了根據(jù)輸入 token 動(dòng)態(tài)激活或停用組件的方法。

③ 由此，人們開始在自然語(yǔ)言處理的背景下探索專家混合模型。在論文《Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer》中通過引入稀疏性，將其擴(kuò)展到了一個(gè) 137B LSTM，從而實(shí)現(xiàn)了高規(guī)模下的快速推理。

為什么基于 MoE 的大模型值得關(guān)注？

1、通常來(lái)講，模型規(guī)模的擴(kuò)展會(huì)導(dǎo)致訓(xùn)練成本顯著增加，計(jì)算資源的限制成為了大規(guī)模密集模型訓(xùn)練的瓶頸。為了解決這個(gè)問題，基于稀疏 MoE 層的深度學(xué)習(xí)模型架構(gòu)被提出。

2、稀疏混合專家模型（MoE）是一種特殊的神經(jīng)網(wǎng)絡(luò)架構(gòu)，可以在不增加推理成本的情況下，為大型語(yǔ)言模型（LLM）增加可學(xué)習(xí)的參數(shù)，而指令調(diào)優(yōu)（instruction tuning）則是一種訓(xùn)練 LLM 遵循指令的技術(shù)。

3、MoE+指令微調(diào)技術(shù)的結(jié)合，可大幅度提升語(yǔ)言模型的性能。2023 年 7 月，谷歌、UC 伯克利和 MIT 等機(jī)構(gòu)的研究者發(fā)表了論文《Mixture-of-Experts Meets Instruction Tuning: A Winning Combination for Large Language Models》，證明了混合專家模型（MoE）與指令調(diào)優(yōu)的結(jié)合能夠讓大型語(yǔ)言模型（LLM）的性能大幅提升。

① 具體來(lái)說(shuō)，研究者在一組經(jīng)過指令微調(diào)的稀疏混合專家模型 FLAN-MOE 中，使用稀疏激活 MoE，并用 MoE 層替換 Transformer 層的前饋組件，以提供更優(yōu)的模型容量與計(jì)算靈活性；其次，在 FLAN 集合數(shù)據(jù)集的基礎(chǔ)上對(duì) FLAN-MOE 進(jìn)行微調(diào)。

② 研究者基于上述方法研究在沒有指令調(diào)優(yōu)的情況下在單個(gè)下游任務(wù)進(jìn)行直接微調(diào)，在指令調(diào)優(yōu)后對(duì)下游任務(wù)進(jìn)行 in-context 少樣本或零樣本泛化，以及在指令調(diào)優(yōu)后對(duì)單個(gè)下游任務(wù)進(jìn)行進(jìn)一步微調(diào)等三種實(shí)驗(yàn)設(shè)置下 LLM 的性能區(qū)別。

③ 實(shí)驗(yàn)結(jié)果表明，如果不使用指令調(diào)優(yōu)，MoE 模型的性能通常不如與之計(jì)算能能力相當(dāng)?shù)拿芗Ｐ?。但?dāng)結(jié)合指令調(diào)優(yōu)時(shí)，情況發(fā)生了變化。指令調(diào)優(yōu)后的 MoE 模型（Flan-MoE）在多個(gè)任務(wù)上的表現(xiàn)超越了更大的密集模型，即使 MoE 模型的計(jì)算成本只是密集模型的三分之一。與密集模型相比。MoE 模型從指令調(diào)優(yōu)中獲得的性能提升更為顯著，因此當(dāng)考慮計(jì)算效率與性能時(shí)，MoE 將成為大型語(yǔ)言模型訓(xùn)練的有力工具。

4、此次，發(fā)布的 Mixtral 8x7B 模型同樣采用了稀疏混合專家網(wǎng)絡(luò)。

① Mixtral 8x7B 是一個(gè) decoder-only 的模型。前饋模塊從 8 組不同的參數(shù)中進(jìn)行選擇。在每一層網(wǎng)絡(luò)中，對(duì)于每個(gè) token，路由器網(wǎng)絡(luò)選擇 8 組中的兩組（專家），來(lái)處理 token 并將其輸出累加組合。

② Mixtral 8x7B 模型在大多數(shù)基準(zhǔn)測(cè)試中均匹配或優(yōu)于 Llama 2 70B 以及 GPT3.5，推理速度快了 6 倍。

MoE 的重要優(yōu)勢(shì)：稀疏性是什么？

1、在傳統(tǒng)的密集模型中，對(duì)于每一個(gè)輸入都需要在完整的模型中進(jìn)行計(jì)算。在稀疏混合專家模型中，處理輸入數(shù)據(jù)時(shí)只有少數(shù)專家模型被激活成者使用，而大部分專家模型處于未被激活狀態(tài)，這種狀態(tài)便是「稀疏「。而稀疏性是混合專家模型的重要優(yōu)點(diǎn)，也是提升模型訓(xùn)練和推理過程的效率的關(guān)鍵。

以上是PRO | 為什么基于 MoE 的大模型更值得關(guān)注？的詳細(xì)內(nèi)容。更多信息請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！