Im Jahr 2023 entwickeln sich fast alle Bereiche der KI in beispielloser Geschwindigkeit weiter. Gleichzeitig verschiebt die KI st?ndig die technologischen Grenzen wichtiger Bereiche wie der verk?rperten Intelligenz und des autonomen Fahrens. Wird Transformer angesichts des multimodalen Trends als Mainstream-Architektur für gro?e KI-Modelle ins Wanken geraten? Warum ist die Erforschung gro?er Modelle auf Basis der MoE-Architektur (Mixture of Experts) zu einem neuen Trend in der Branche geworden? Kann das Large Vision Model (LVM) ein neuer Durchbruch im allgemeinen Sehverm?gen werden? ...Aus dem PRO-Mitglieder-Newsletter 2023 dieser Website, der in den letzten sechs Monaten ver?ffentlicht wurde, haben wir 10 spezielle Interpretationen ausgew?hlt, die eine detaillierte Analyse der technologischen Trends und industriellen Ver?nderungen in den oben genannten Bereichen bieten, um Ihnen dabei zu helfen, Ihre Ziele in der Zukunft zu erreichen Jahr vorbereitet sein. Diese Interpretation stammt aus dem Branchennewsletter Week50 2023.

Spezielle Interpretation Warum verdienen gro?e Modelle, die auf MoE basieren, mehr Aufmerksamkeit?

Datum: 12. Dezember

Ereignis: Mistral AI hat das Modell Mixtral 8x7B auf Basis der MoE-Architektur (Mixture-of-Experts, Mix of Experts) als Open Source bereitgestellt und seine Leistung erreichte das Niveau von Llama 2 70B und GPT-3.5" Die Veranstaltung fand statt. Erweiterte Interpretation.

Erkl?ren Sie zun?chst, was MoE ist und welche Vor- und Nachteile es hat

1 Konzept:

MoE (Mixture of Experts) ist ein Hybridmodell, das aus mehreren Untermodellen (d. h. Experten) besteht. Jedes Untermodell ist ein lokales Modell, das auf die Verarbeitung einer Teilmenge des Eingaberaums spezialisiert ist. Die Kernidee von MoE besteht darin, mithilfe eines Gating-Netzwerks zu entscheiden, welches Modell anhand der einzelnen Daten trainiert werden soll, wodurch die Interferenz zwischen verschiedenen Modellen verringert wird Arten von Proben.

2. Hauptkomponenten:

Mixed Expert Model Technology (MoE) ist eine Deep-Learning-Technologie, die aus Expertenmodellen und Gated-Modellen besteht und die Verteilung von Aufgaben/Trainingsdaten auf verschiedene Experten realisiert Modelle über das Gated-Netzwerk, sodass sich jedes Modell auf die Aufgaben konzentrieren kann, die es am besten beherrscht, wodurch die Sparsit?t des Modells erreicht wird.

① Beim Training des Gated-Netzwerks wird jede Stichprobe einem oder mehreren Experten zugewiesen.
② Bei der Schulung des Expertennetzwerks wird jeder Experte geschult, um die Fehler der ihm zugewiesenen Proben zu minimieren.

Der ?Vorg?nger“ von MoE ist Ensemble Learning. Beim Ensemble-Lernen werden mehrere Modelle (Basislerner) trainiert, um dasselbe Problem zu l?sen, und ihre Vorhersagen einfach kombiniert (z. B. durch Abstimmung oder Mittelung). Das Hauptziel des Ensemble-Lernens besteht darin, die Vorhersageleistung durch Reduzierung der überanpassung und Verbesserung der Generalisierungsf?higkeiten zu verbessern. Zu den g?ngigen Ensemble-Lernmethoden geh?ren Bagging, Boosting und Stacking.

4. Historische Quelle des MoE:

① Die Wurzeln des MoE lassen sich auf das Papier ?Adaptive Mixture of Local Experts“ aus dem Jahr 1991 zurückführen. Die Idee ?hnelt Ensemble-Ans?tzen, da sie darauf abzielt, einen überwachungsprozess für ein System bereitzustellen, das aus verschiedenen Teilnetzwerken besteht, wobei jedes einzelne Netzwerk oder jeder einzelne Experte auf einen anderen Bereich des Eingaberaums spezialisiert ist. Das Gewicht jedes Experten wird über ein geschlossenes Netzwerk bestimmt. W?hrend des Schulungsprozesses werden sowohl Experten als auch Gatekeeper geschult.

② Zwischen 2010 und 2015 trugen zwei verschiedene Forschungsbereiche zur Weiterentwicklung von MoE bei:

Einer sind Experten als Komponenten: In einem traditionellen MoE-Aufbau besteht das gesamte System aus einem geschlossenen Netzwerk und mehreren Experten. MoEs als ganze Modelle wurden in Support-Vektor-Maschinen, Gau?schen Prozessen und anderen Methoden untersucht. Die Arbeit ?Learning Factored Representations in a Deep Mixture of Experts“ untersucht die M?glichkeit von MoEs als Komponenten tieferer Netzwerke. Dadurch kann das Modell gleichzeitig gro? und effizient sein.

Das andere ist die bedingte Berechnung: Herk?mmliche Netzwerke verarbeiten alle Eingabedaten über jede Ebene. W?hrend dieser Zeit untersuchte Yoshua Bengio M?glichkeiten, Komponenten basierend auf Eingabe-Tokens dynamisch zu aktivieren oder zu deaktivieren.

③ Infolgedessen begannen die Menschen, Expertenmischungsmodelle im Kontext der Verarbeitung natürlicher Sprache zu erforschen. In dem Artikel ?Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer“ wurde es durch die Einführung von Sparsity auf ein 137B LSTM erweitert, wodurch schnelles Denken in gro?em Ma?stab erreicht wurde.

Warum verdienen MoE-basierte gro?e Modelle Aufmerksamkeit?

1. Im Allgemeinen wird die Erweiterung des Modellma?stabs zu einem erheblichen Anstieg der Trainingskosten führen, und die Begrenzung der Rechenressourcen ist zu einem Engpass für das intensive Modelltraining in gro?em Ma?stab geworden. Um dieses Problem zu l?sen, wird eine Deep-Learning-Modellarchitektur vorgeschlagen, die auf dünn besetzten MoE-Schichten basiert.

2. Das Sparse Mixed Expert Model (MoE) ist eine spezielle neuronale Netzwerkarchitektur, die lernbare Parameter zu gro?en Sprachmodellen (LLM) hinzufügen kann, ohne die Inferenzkosten zu erh?hen, w?hrend Instruction Tuning eine Technik zum Trainieren von LLM ist, um Anweisungen zu befolgen .

3. Die Kombination der MoE+-Anweisungs-Feinabstimmungstechnologie kann die Leistung von Sprachmodellen erheblich verbessern. Im Juli 2023 ver?ffentlichten Forscher von Google, der UC Berkeley, dem MIT und anderen Institutionen das Papier ?Mixture-of-Experts Meets Instruction Tuning: A Winning Combination for Large Language Models“, das bewies, dass das hybride Expertenmodell (MoE) und die Instruction Tuning Die Kombination kann die Leistung gro?er Sprachmodelle (LLM) erheblich verbessern.

① 具體的には、研究者らは、命令によって微調(diào)整された一連のスパース ハイブリッド エキスパート モデル FLAN-MOE でスパース アクティベーション MoE を使用し、Transformer レイヤーのフィードフォワード コンポーネントを MoE レイヤーに置き換えて、より優(yōu)れたモデル容量とコンピューティングの柔軟性を提供しました。 . パフォーマンス; 次に、FLAN 集合データセットに基づいて FLAN-MOE を微調(diào)整します。

② 上記の方法に基づいて、研究者らは、命令チューニングを行わない単一の下流タスクに対する直接微調(diào)整、命令チューニング後の下流タスクに対するコンテキスト內(nèi)の少數(shù)ショットまたはゼロショット一般化、および命令チューニングを研究しました。単一の下流タスクをさらに微調(diào)整し、3 つの実験設(shè)定の下で LLM のパフォーマンスの違いを比較します。

③ 実験結(jié)果は、命令チューニングを使用しない場(chǎng)合、MoE モデルは同等の計(jì)算能力を持つ高密度モデルよりもパフォーマンスが劣ることが多いことを示しています。しかし、ディレクティブチューニングと組み合わせると狀況は変わります。命令調(diào)整された MoE モデル (Flan-MoE) は、MoE モデルの計(jì)算コストが密モデルの 3 分の 1 しかないにもかかわらず、複數(shù)のタスクで大規(guī)模な密モデルよりも優(yōu)れたパフォーマンスを発揮します。高密度モデルとの比較。 MoE モデルは命令チューニングにより大幅なパフォーマンス向上が得られるため、コンピューティングの効率とパフォーマンスを考慮すると、MoE は大規(guī)模な言語(yǔ)モデルのトレーニング用の強(qiáng)力なツールになります。

4. 今回リリースされたMixtral 8x7Bモデルもスパース混合エキスパートネットワークを使用しています。

① Mixtral 8x7Bはデコーダー専用モデルです。フィードフォワード モジュールは、8 つの異なるパラメータ セットから選択します。ネットワークの各層で、トークンごとに、ルーター ネットワークは 8 つのグループ (エキスパート) のうち 2 つを選択して、トークンを処理し、その出力を集約します。

② Mixtral 8x7B モデルは、ほとんどのベンチマークで Llama 2 70B および GPT3.5 と同等またはそれを上回り、推論速度が 6 倍高速です。

MoE の重要な利點(diǎn): スパース性とは何ですか?

1. 従來(lái)の高密度モデルでは、各入力を完全なモデルで計(jì)算する必要があります。スパース混合エキスパート モデルでは、入力データを処理するときに少數(shù)のエキスパート モデルのみがアクティブ化されて使用されますが、ほとんどのエキスパート モデルは非アクティブな狀態(tài)にあり、スパース性は混合エキスパートの重要な側(cè)面です。モデルの利點(diǎn)は、モデルのトレーニングと推論プロセスの効率を向上させる鍵でもあります

。

以上がPRO | なぜ MoE に基づく大規(guī)模モデルがより注目に値するのでしょうか?の詳細(xì)內(nèi)容です。詳細(xì)については、PHP 中國(guó)語(yǔ) Web サイトの他の関連記事を參照してください。