Mais si vous retracez ces avancées à la loi de Moore et déballez vraiment comment les fonctions de doublement incrémentielles, l'image devient claire.

Rappelez-vous la parabole du sage (parfois dit être l'inventeur des échecs) qui a demandé à un roi un seul grain de riz, doublé sur chaque carré de la planche à 64 fois. Cette histoire illustre parfaitement comment la croissance exponentielle commence modestement - 1, 2, 4, 8, 16, 32 - puis explose soudainement en nombres si vastes qu'ils défient l'imagination. à la place finale, vous avez affaire à 18 quintillions, 446 quadrillions, 744 billions de grains de riz - une quantité incompréhensible.

C'est des mathématiques simples, mais c'est comme une sorcellerie. Et j'adore cette note de bas de page de Wikipedia à propos de l'origine du conte: ?Selon la version, l'inventeur intelligent devient un conseiller royal de confiance ou est rapidement exécuté.?

Ce même principe se joue maintenant dans le boom de l'IA d'aujourd'hui. En fait, Ray Kurzweil visionnaire de l'IA a inventé le terme ?la seconde moitié des échecs? pour décrire le moment où le progrès exponentiel passe à peine perceptible à totalement transformateur. La première moitié a l'air gérable; La seconde moitié remodèle la réalité. C'est à ce moment que la courbe ne se contente pas de s'élever - elle s'élève vers le haut, brisant les plafonds que nous pensons une fois permanentes.

La vitesse effrontée de l'innovation matérielle

J'ai déjà écrit sur la puce WSE de Cerebras - un silicium meurt de la taille d'une assiette, remplie d'environ 90 000 c?urs.

Selon des rapports de sources comme IEEE Spectrum, le WSE-2 (utilisé dans le système CSE CS-2 Cerebras) atteint environ 7,5 Petaflops de calcul FP16 - 7 500 billions d'opérations par seconde. Le nouveau WSE-3? Il saute vers un étonnant 125 Petaflops.

Tenir l'un de ces puces, c'est comme tenir un morceau du futur. Il incarne la puissance brute du parallélisme massif. Il n'y a pas longtemps, nous avons célébré des processeurs à double c?ur. Puis est venu quad-core, octa-core - chaque étape s'est senti révolutionnaire. Maintenant, nous sommes entrés dans un domaine où des dizaines de milliers de c?urs fonctionnent à l'unisson.

Ensuite, il existe des systèmes comme Huawei CloudMatrix, où les spécifications exactes sont étroitement gardées, mais le message sous-jacent est indubitable: la puissance de calcul a dépassé ce que la plupart des gens peuvent même conceptualiser.

Matériel en tant qu'écosystème

Lors d'un récent événement TED, le jeune technologue Caleb Sirak a livré un matériel de conférence convaincant comme une sorte de ?prison de silicium?.

Il a traversé l'évolution de l'accélération matérielle - des premières machines gérant des millions d'opérations par seconde, aux systèmes d'aujourd'hui, des milliards de milliards de dollars, voire des quadrillions. Bien que les jeux aient aidé à alimenter l'innovation précoce, a-t-il noté, la vraie percée est venue lorsque des plates-formes comme Cuda de Nvidia ont ouvert la porte à l'informatique GPU à usage général.

Maintenant, a-t-il soutenu, il est temps pour un nouveau paradigme.

"Nous devons repenser toute l'architecture", a déclaré Sirak.

Réclamer l'avantage matériel

Une clé pour débloquer les performances du GPU de nouvelle génération, a-t-il souligné, est la quantification.

Par exemple, un multiplicateur 4 bits est considérablement plus efficace que son homologue 32 bits, ce qui concerne moins de puissance, d'espace et de temps.

Il a cité des puces comme WSE de Cerebras comme principaux exemples de la fa?on dont la minimisation du mouvement des données peut suralimenter l'efficacité de l'IA.

?Lorsque les paramètres sont plus petits?, a-t-il expliqué, ?nous pouvons les déplacer davantage à travers le système chaque seconde, réduisant considérablement les goulots d'étranglement en mémoire et les interconnexions réseau.?

Il a fait référence au projet Colossus de Xai et à sa ?feuille de route? ambitieuse pour passer jusqu'à un million de GPU. Pourtant, même à cette échelle, l'efficacité reste roi.

"Vous pouvez concevoir une ville avec des rues sinueuses et une circulation mixte", a-t-il dit, "ou vous pouvez construire une piste de circulation F1. Sur cette piste, la voiture F1 ne se contente pas de se contenter de vite - elle domine."

Il a mis en évidence les efforts de plusieurs sociétés pour créer des grappes coordonnées d'unités matérielles - ce qu'il appelle des ?colonies intelligentes? - travaillant de concert comme des essaims de brillance ingénieuse.

"Les capacités que nous déverrouillons via les puces AI et les sauts architecturales sont transformatrices", a ajouté Sirak. ?Et pour que cette révolution bénéficie à l'humanité, l'innovation doit être ouverte, accessible et partagée à l'échelle mondiale.

Pour illustrer l'interdépendance mondiale, il a souligné qu'une seule puce peut traverser une douzaine de pays avant d'atteindre sa destination finale. Cela est parfaitement logique pour quiconque soit conscient que TSMC - Taiwan Semiconductor Manufacturing Company - produit la majorité des puces semi-conductrices avancées mondiales.

Une chose est certaine: nous sommes maintenant profondément dans la montée en puissance verticale de la courbe de baton de hockey - une vague historique d'accélération matérielle. L'avenir ne vient pas seulement. C'est déjà là.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!