Microsoft enthüllt Phi-3.5: eine Familie effizienter und leistungsstarker kleiner Sprachmodelle

Die neueste Generation von SLMs (SLMS) von Microsoft, die Phi-3,5-Familie, bietet über verschiedene Benchmarks, die Sprache, Argumentation, Codierung und Mathematik umfassen, überlegene Leistung. Diese Modelle wurden sowohl für Leistung als auch für Effizienz entwickelt und erweitern die Angebote von Azure und bieten Entwicklern erweiterte Tools für generative KI -Anwendungen. Aufbauend auf dem Feedback des Benutzers seit dem Start von Phi-3 April 2024 führt Phi-3,5 drei Schlüsselmodelle ein: Phi-3,5-Mini, Phi-3,5-Vision und Phi-3,5-MOE (ein Modell der Expertenmischung).

Schlüsselmodellmerkmale:

• PHI-3,5-MINI: verfügt über eine erweiterte Kontextl?nge von 128.000 und verbesserte mehrsprachige Funktionen.
• PHI-3,5-Vision: bietet ein verbessertes Multi-Rahmen-Bildverst?ndnis und Argumentation, was zu verbesserten Ein-Image-Benchmark-Ergebnissen führt.
• PHI-3,5-MOE: Ein Modell der Expertenmischung mit 16 Experten und 6,6B-aktiven Parametern, die gr??ere Modelle übertreffen und gleichzeitig Effizienz, mehrsprachige Unterstützung und robuste Sicherheitsmerkmale beibehalten. Es unterstützt auch eine Kontextl?nge von 128.000.

Phi-3,5-MOE: ein tiefer Tauchgang

Das Flaggschiff phi-3,5-MOE-Modell umfasst 16 Experten mit jeweils 3,8B-Parametern und insgesamt 42B-Parameter. Zu einem bestimmten Zeitpunkt sind jedoch nur 6,6B -Parameter aktiv. Diese Architektur übertrifft vergleichbare dichte Modelle in Bezug auf Leistung und Qualit?t und unterstützt über 20 Sprachen. Strenge Sicherheitstraining, die sowohl propriet?re als auch Open-Source-Daten einbezieht, verwendet direkte Pr?ferenzoptimierung (DPO) und beaufsichtigte Feinabstimmung (SFT), um Harmlosigkeit und Hilfsbereitschaft zu gew?hrleisten.

PHI-3.5-MOE-Trainingsdaten:

Das Training des Modells verwendete 4,9 Billionen Token (10% mehrsprachig) aus verschiedenen Quellen:

• Hochwertige, streng gefilterte ?ffentliche Dokumente und Bildungsdaten.
• Synthetische "Lehrbuch-?hnliche" Daten für Mathematik-, Codierungs- und Argumentationsf?higkeiten.
• Hochwertige Chat-Daten, die menschliche Vorlieben für Anweisungen, Wahrhaftigkeit und Hilfsbereitschaft widerspiegeln.

In der obigen Tabelle werden die überlegene Leistung von Phi-3,5-MOE im Vergleich zu gr??eren Modellen über verschiedene Benchmarks hinweg hervorgehoben.

Diese Tabelle zeigt die starken mehrsprachigen F?higkeiten von Phi-3,5-MOE und übertreffen gr??ere Modelle für mehrsprachige Aufgaben.

Phi-3,5-mini: kleine Gr??e, gro?e Auswirkungen

Phi-3,5-Mini profitiert von zus?tzlichen Voraussetzungen und Nachtraining (DPO, PPO, SFT) unter Verwendung mehrsprachiger und qualitativ hochwertiger Daten.

Phi-3,5-Mini-Trainingsdaten:

?hnlich wie bei Phi-3,5-MOE enth?lt die Trainingsdaten von Phi-3,5-Mini (3,4 Billionen Token) gefilterte ?ffentliche Dokumente, synthetische Daten und qualitativ hochwertige Chat-Daten.

Diese Tabelle zeigt die Wettbewerbsleistung von Phi-3,5-Mini gegen gr??ere Modelle.

Diese Tabelle zeigt die verbesserte mehrsprachige Leistung von Phi-3,5-mini, insbesondere in Sprachen wie Arabisch, Niederl?ndisch und Finnisch.

Die 128K-Kontextl?nge von Phi-3,5-Mini macht es für Langdokumentverarbeitungsaufgaben geeignet.

Phi-3.5-Vision: Bildverst?ndnis neu definiert

PHI-3.5-Vision nutzt einen vielf?ltigen Schulungsdatensatz, einschlie?lich gefilterter ?ffentlicher Dokumente, Bildtextdaten, synthetischen Daten und qualitativ hochwertigen Chat-Daten. Es zeichnet sich im Multi-Frame-Bildverst?ndnis aus und erm?glicht Aufgaben wie Bildvergleich und Zusammenfassung der Mehrfach image. Es zeigt auch eine verbesserte Leistung bei Einzel-Image-Benchmarks.

Diese Tabellen veranschaulichen die Leistungsverbesserungen der PHI-3.5-Vision gegenüber Multi-Image-Benchmarks.

Die Modelle ausprobieren:

Anweisungen und Beispiele werden zur Verwendung von Phi-3,5-Mini und Phi-3,5-Vision über Umarmung und Azure-AI-Studio vorgesehen. Beachten Sie, dass für die PHI-3,5-Vision aufgrund seiner GPU-Anforderungen umarme Gesichtsr?ume verwendet wurden.

Abschluss:

Die Phi-3,5-Familie bietet eine überzeugende Auswahl an kostengünstigen, leistungsstarken SLMs für Open-Source-Entwickler und Azure-Benutzer. Jedes Modell richtet sich an bestimmte Bedürfnisse, von kompakten und mehrsprachigen pHi-3,5-mini bis zum leistungsstarken und vielseitigen Phi-3,5-MOE und der bildorientierten pHi-3,5-Vision.

H?ufig gestellte Fragen: (im Originaltext enthalten)

Das obige ist der detaillierte Inhalt vonWas macht PHI 3.5 SLMS zu einem Game-Changer für generative KI?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!