Microsoft dévoile PHI-3.5: une famille de modèles de petit langage efficaces et puissants

La dernière génération de modèles de petits langues de Microsoft (SLMS), la famille PHI-3.5, possède des performances supérieures à travers divers repères englobant le langage, le raisonnement, le codage et les mathématiques. Con?us pour la puissance et l'efficacité, ces modèles élargissent les offres d'Azure, fournissant aux développeurs des outils améliorés pour les applications d'IA génératives. S'appuyant sur les commentaires des utilisateurs depuis le lancement de PHI-3 avril 2024, PHI-3.5 introduit trois modèles clés: PHI-3,5-MINI, PHI-3.5-VISION et PHI-3.5-MOE (un modèle de mélange de temps).

Caractéristiques du modèle clé:

• PHI-3,5-moins: dispose d'une longueur de contexte de 128k étendue et de capacités multilingues améliorées.
• PHI-3.5-VISION: possède une compréhension et un raisonnement d'image multi-trames améliorées, conduisant à des résultats de référence à image unique améliorés.
• PHI-3.5-MOE: un modèle de mélange de réseaux tirant parti de 16 experts et des paramètres actifs 6.6b, surpassant les modèles plus grands tout en maintenant l'efficacité, le support multilingue et les caractéristiques de sécurité robustes. Il prend également en charge une longueur de contexte de 128K.

PHI-3.5-MOE: une plongée profonde

Le modèle phare PHI-3.5-MOE comprend 16 experts, chacun avec des paramètres de 3,8b, totalisant 42B paramètres. Cependant, seuls les paramètres 6.6b sont actifs à tout moment. Cette architecture dépasse les modèles denses de taille comparable en performance et en qualité, soutenant plus de 20 langues. Une formation rigoureuse en matière de sécurité, incorporant des données propriétaires et open source, utilise une optimisation directe des préférences (DPO) et un réglage fin supervisé (SFT) pour garantir l'absence et l'utilité.

Données de formation PHI-3.5-MOE:

La formation du modèle a utilisé 4,9 billions de jetons (10% multilingues) à partir de diverses sources:

• Des documents publics et des données éducatives de haute qualité et rigoureusement filtrées.
• Données synthétiques "de type manuel" pour les compétences en mathématiques, en codage et en raisonnement.
• Données de chat de haute qualité reflétant les préférences humaines pour l'enseignement suivant, véracité et utile.

Le tableau ci-dessus met en évidence les performances supérieures de PHI-3.5-MOE par rapport aux modèles plus grands à travers divers repères.

Ce tableau démontre des capacités multilingues fortes de PHI-3.5-MOE, surpassant les modèles plus grands sur des taches multilingues.

PHI-3,5-moins: petite taille, grand impact

PHI-3,5-moins bénéficie d'une pré-formation supplémentaire et post-formation (DPO, PPO, SFT) utilisant des données multilingues et de haute qualité.

Données de formation PHI-3,5-moins:

Semblable à PHI-3.5-MOE, les données de formation de PHI-3,5-Mini (3,4 billions de jetons) comprennent des documents publics filtrés, des données synthétiques et des données de chat de haute qualité.

Ce tableau illustre les performances concurrentielles de PHI-3,5-Mini contre les modèles plus grands.

Ce tableau présente des performances multilingues améliorées de PHI-3,5-MINI, en particulier dans des langues comme l'arabe, le néerlandais et le finnois.

La longueur de contexte 128K de PHI-3,5-moins le rend adapté aux taches de traitement à long document.

PHI-3.5-VISION: Compréhension de l'image redéfinie

PHI-3.5-Vision tire parti d'un ensemble de données de formation diversifié, y compris des documents publics filtrés, des données de texte d'image, des données synthétiques et des données de chat de haute qualité. Il excelle dans la compréhension de l'image multi-trame, permettant des taches comme la comparaison d'images et la résumé multi-images. Il montre également des performances améliorées sur les références à image unique.

Ces tableaux illustrent les améliorations de performances de PHI-3.5-VISION sur les références multi-images.

Essayer les modèles:

Des instructions et des exemples sont fournis pour l'utilisation de PHI-3,5-MINI et PHI-3,5-VISION via des étreintes Face et Azure AI Studio. Notez que les espaces de face étreintes ont été utilisés pour PHI-3,5 vision en raison de ses besoins en GPU.

Conclusion:

La famille PHI-3.5 propose une gamme convaincante de SLMs rentables et hautes performances pour les développeurs open-source et les utilisateurs d'Azure. Chaque modèle répond à des besoins spécifiques, du PHI-3,5-MINI compact et multilingue au PHI-3.5 puissant et polyvalent et le PHI-3,5-vision axé sur l'image.

Questions fréquemment posées: (incluse dans le texte original)

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!