Les utilisateurs qui ont expérimenté Chatgpt, Claude, Google Gemini, Microsoft Copilot, Deepseek, Perplexity, Meta AI via WhatsApp, ou l'un des services AI de la plate-forme d'entreprise tels que Amazon Code Whisperer,, ou l'une des bonnes moyennes de demander des services d'automatisation.

être assez précis sur vos demandes et structurer la langue dans une invite avec des termes descriptifs plus précis pour diriger un service d'IA et étroiter ses options est généralement un moyen d'obtenir un résultat plus précis. Ensuite, il y a le facteur de politesse.

La politique de la politesse

Bien qu'une certaine analyse de cet espace et un certain degré de recherche suggèrent une approche polie est préférable lors de l'interaction avec un service d'IA (cela pourrait aider à être de meilleurs humains, après tout), il y a un argument plus large qui dit que la politesse n'est pas réellement nécessaire car elle prend un espace supplémentaire de ?jeton?… et ce n'est pas efficace en calcul ou bon pour l'empreinte carbone de la main-d'?uvre de la planète. Un jeton est une unité centrale du texte du langage naturel ou un composant d'une image, d'un clip audio ou d'une vidéo, selon la ?modalité? du traitement AI qui se produit; Alors que ?Sullen? est un jeton, ?maussade? serait plus probablement deux jetons: ?maussade? et ?ness? au total. Tous ceux s'il vous pla?t, merci et ?vous êtes juste génial? interactions qu'un utilisateur a avec l'IA ne sont pas nécessairement une bonne idée.

Alors demandons à Chatgpt quoi faire…

échelles de complexité d'inférence avec la longueur

Ale? Wilk , logiciel Cloud et spécialiste du référencement chez Opify, une entreprise connue pour sa plate-forme qui permet aux développeurs de créer, de déployer et de publier des grattoirs Web, d'agents d'IA et d'outils d'automatisation.

"Pour comprendre ce sujet de conversation croissant, nous devons commencer par réaliser que chaque jeton qu'un utilisateur soumet à un modèle de langue AI représente une unité mesurable en co?t de calcul", a déclaré Wilk. ?Ces modèles fonctionnent et s'appuient sur des? architectures de transformateurs ?, où la complexité d'inférence évolue avec la longueur de séquence, en particulier en raison de la nature quadratique des mécanismes d'auto-agencement. L'utilisation d'un langage non fonctionnel comme` `s'il vous pla?t '' ou` `merci '' ressemble à un niveau naturel de dialogue conversationnel.

En regardant cela d'un point de vue technique et d'efficacité, il s'agit d'un co?t caché. Wilk explique que si nous regardons des plateformes telles que GPT-4-Turbo, par exemple, où les prix et le calcul sont basés sur des jetons, la verbosité dans la conception rapide augmente directement le temps d'inférence, la consommation d'énergie et les dépenses opérationnelles. Il note également que les analyses empiriques suggèrent que 1 000 jetons sur un LLM de pointe peuvent émettre 0,5 à 4 grammes de CO?, en fonction de la taille du modèle, de l'optimisation et de l'infrastructure de déploiement. à plus grande échelle et sur des milliards d'invites quotidiennes, des jetons inutiles peuvent contribuer à des milliers de tonnes métriques d'émissions supplémentaires par an.

?Ce sujet est devenu largement discuté, car non seulement il concerne le co?t, mais aussi la durabilité. En examinant les environnements d'inférence extensifs GPU, les invites plus longues peuvent augmenter le tirage de puissance, augmenter les exigences de refroidissement et réduire l'efficacité du débit. Pourquoi? Parce qu'en tant qu'IA se déplace dans les pipelines, les cadres d'agent, les systèmes de chiffon et les opérations commerciales embarquées, par exemple, la sous-élaboration de la monnaie commerciale de la pading invite. Wilk.

Rationalisation des entrées utilisateur

Spécialiste d'optimisation lui-même, Wilk propose une solution potentielle en disant qu'une notion est que les développeurs et les scientifiques des données pourraient créer une conception rapide similaire à la fa?on dont ils rédigent le code de performance, tels que la suppression de la redondance, la maximisation de l'utilité fonctionnelle et la rationalisation des entrées utilisateur. De la même manière que nous utilisons des liners et des profileurs ( outils d'amélioration du code ) pour les logiciels, nous avons besoin d'outils pour nettoyer et optimiser automatiquement les invites.

Pour l'instant, Wilks dit qu'il encouragerait les utilisateurs à être précis et minimes avec leurs invites. "Dire" s'il vous pla?t "et" merci "à l'IA pourrait sembler poli, mais c'est une pollution polie en termes informatiques", a-t-il déclaré.

Greg Osuri , fondateur d'Akash, une entreprise connue pour ses marchés de calcul décentralisés que l'impact environnemental de l'IA n'est plus seulement une préoccupation périphérique, c'est un défi de conception central. Il souligne que les rapports suggérant que les co?ts d'inférence de l'IA contribuent à plus de 80% de la consommation totale d'énergie d'IA. L'industrie a passé les deux dernières années à faire pression pour des modèles plus importants, de meilleures performances et un déploiement plus rapide, mais l'inférence de l'IA, le processus qu'un modèle LLM formé utilise pour tirer des conclusions à partir de nouvelles données, pourrait faire la plupart des dégats en ce moment.

Modèles linguistiques contre Google Search

"Chaque requête utilisateur sur les modèles LLM consomme environ 10 à 15 fois plus d'énergie qu'une recherche sur Google standard. Derrière chaque réponse se trouve une infrastructure extrêmement à forte intensité d'énergie. Ce défi ne concerne pas seulement la consommation d' énergie en termes abstraits, nous parlons d'une cha?ne d'approvisionnement entière d'émissions qui commencent par une invite décontractée et se termine par des mous mois.

Il convient que beaucoup de choses sont dit autour des invites polies et s'il est plus économe en énergie d'être impoli (ou du moins direct et de point) à l'IA; Cependant, il dit que ces conversations manquent le point plus large.

?La majeure partie de l'architecture de l'IA aujourd'hui est inefficace par la conception. En tant que personne qui a passé des années à développer des logiciels et à soutenir l'infrastructure, nous optimisons tout. Contrainte, nous continuerons à former des modèles et à accélérer davantage nos propres limites ", a-t-il conclu.

Cette discussion arrivera inévitablement à savoir si l'IA elle-même a réussi à devenir sensible. Lorsque cela se produit, l'IA aura suffisamment de conscience de soi et de conscience pour avoir des sentiments subjectifs conscients et donc être en mesure de prendre une décision exécutive sur la fa?on de gérer l'équilibre de la politesse par rapport au traitement du pouvoir. Jusque-là, nous devons nous rappeler que nous utilisons simplement des modèles de langage pour générer du contenu, que ce soit du code, des mots ou des images.

Si j'avais un marteau AI

"être poli ou impoli est un gaspillage d'espace de contexte précieux. Ce que les utilisateurs essaient d'accomplir, c'est d'amener l'IA à générer le contenu qu'ils veulent. Plus nous sommes concis et direct avec nos invites, meilleur sera la sortie", a expliqué Brett Smith , ingénieur logiciel distingué et architecte de plate-forme chez SAS. "Nous n'utilisons pas de formalités lorsque nous écrivons du code, alors pourquoi devrions-nous utiliser des formalités lorsque nous écrivons des invites pour l'IA? Si nous considérons les LLM comme un outil comme un marteau, nous ne disons pas" s'il vous pla?t "lorsque nous frappons un clou avec un marteau. Nous ne faisons que le fait d'être poli ou de Rude."

Le problème est que les humains aiment l'empathie. Cela signifie que lorsqu'un service d'IA répond d'une manière bavarde et familière qui est spécialement con?ue pour imiter les conversations humaines, les humains sont plus susceptibles d'être amicaux en réponse. La règle générale est que plus les utilisateurs sont concises et directs avec vos invites, meilleur sera la sortie.

"L'IA n'est pas sensible ... et elle n'a pas besoin d'être traitée comme telle", a affirmé Smith. Arrêtez de br?ler des cycles de calcul, gaspillant l'électricité du centre de données et réchauffez la planète avec vos invites polies. Je ne dis pas que nous ?zéro? à chaque invite [un terme utilisé pour définir lorsque nous posons une question à un AI LLM ou lui donnons une tache sans fournir de contexte ou d'exemples], mais les utilisateurs peuvent être concises, directs et peut-être envisager de lire des guides d'ingénierie rapides. Utilisez l'espace contextuel pour ce dont il est destiné à générer du contenu. Du point de vue du génie logiciel, être poli est un gaspillage de ressources. Finalement, vous manquez de contexte et le modèle oubliera que vous l'avez jamais dit ?s'il vous pla?t? et ?merci? de toute fa?on. Cependant, vous pouvez bénéficier en tant que personne à long terme d'être plus poli lorsque vous parlez à votre LLM, car cela peut vous conduire plus agréable dans les interactions personnelles avec les humains. "

SAM's Smith nous rappelle que les jetons d'IA ne sont pas libres. Il envisage également ce qu'il appelle une ?circonstance hypothétique hilarante? où nos invites s'il vous pla?t et merci sont adoptées par le logiciel lui-même et les agents finissent par ajouter des subtilités lors de l'agent parlant à l'agent. Le tout finit par devenir incontr?lable, augmentant la vitesse que le système gaspille les jetons, l'espace de contexte et la puissance de calcul à mesure que la communication agent à agent augmente. Heureusement, nous pouvons nous programmer contre cette réalité, principalement.

Guerre contre les déchets

Mustafa Kaboul dit que lorsqu'il s'agit de gérer les cha?nes d'approvisionnement des entreprises au niveau plus large (pas seulement en termes de logiciels et de données), les entreprises prudentes ont passé des décennies à éliminer les déchets de chaque processus, c'est-à-dire un inventaire excédentaire, des points de contact redondants, des étapes inutiles.

?La même discipline opérationnelle doit s'appliquer à nos interactions d'IA?, a déclaré Kaboul, en sa qualité de vice-président directeur de la science des données, de l'apprentissage automatique et de l'IA chez la société de renseignement de décision Aera Technology.

?Lorsque vous orchestrez les équipes d'agent à travers la planification de la demande, les achats et les décisions logistiques à l'échelle de l'entreprise, chaque invite inefficace se multiplie de fa?on exponentielle. Les décisions ne se contentent pas de gaspiller les ressources de calcul, il introduit la latence qui peut se casser tout au long de la cha?ne de décision ?, a précisé Kaboul.

Il dit que tout comme nous (en tant que communauté collective des technologies commerciales), nous avons appris que les opérations maigres nécessitons une précision, et non une politesse, la coordination efficace des agents d'IA exige la même ?efficacité impitoyable? aujourd'hui. Kaboul insiste sur le fait que les entreprises qui traitent les interactions d'IA avec la même rigueur opérationnelle qu'elles s'appliquent à leurs processus de fabrication auront un ?avantage décisif? à la fois en vitesse et en durabilité.

Cela vous dérangerait, terriblement?

Bien que le Royaume-Uni soit connu pour sa politesse infaillible, même les Britanniques devront peut-être apprendre à abandonner les airs et les graces normaux, nous considérerions normalement une partie requise des civilités normales et des rapports sociaux. Le chatbot ne dérange pas si vous ne dites pas s'il vous pla?t… et, si votre première réponse d'IA n'est pas ce que vous vouliez, ne soyez jamais aussi anglais et pensez que vous devez dire désolé non plus.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!