Par exemple, si vous posez une question à un modèle comme: "Que fait (x) personne à (x) l'entreprise?" Vous pouvez voir une cha?ne de raisonnement qui ressemble à quelque chose comme ceci, en supposant que le système sait comment récupérer les informations nécessaires:

• Localisation des détails sur l'entreprise
• Identifier la personne dans le répertoire
• évaluer le r?le et les antécédents de la personne
• Compilation des points de résumé

Il s'agit d'un cas de base, mais depuis plusieurs années, les gens se sont de plus en plus appuyés sur de telles cha?nes de raisonnement.

Pourtant, les chercheurs commencent à souligner les lacunes du raisonnement de la cha?ne de réflexion, ce qui suggère que cela peut nous donner un niveau de confiance sans fondement dans la fiabilité des réponses générées par l'IA.

La langue est intrinsèquement limitée

Une fa?on de comprendre les limites des cha?nes de raisonnement consiste à reconna?tre l'imprécision du langage lui-même - et la difficulté de la marquer efficacement.

La langue est intrinsèquement maladroite. Il y a des centaines de langues parlées à l'échelle mondiale, donc s'attendre à ce qu'une machine articule clairement sa logique interne dans un seul s'accompagne de contraintes importantes.

Considérez cet extrait d'un article de recherche publié par Anthropic , co-écrit par plusieurs chercheurs.

De telles études impliquent que les explications de la cha?ne de pensées n'ont pas la profondeur nécessaire pour une précision réelle, d'autant plus que les modèles augmentent et démontrent des performances plus avancées.

Considérez également une idée soulevée par Melanie Mitchell sur la substitution en 2023 , tout comme les méthodes COT gagnaient en popularité:

"Le raisonnement réside au c?ur de l'intelligence humaine, et la réalisation d'un raisonnement robuste et à usage général est depuis longtemps un objectif central de l'IA", a noté Mitchell. ?Bien que les modèles de grands langues (LLM) ne soient pas explicitement formés à la raison, ils ont montré des comportements qui semblent comme le raisonnement. Mais ces signes de pensée abstraite authentique, ou sont-ils motivés par des mécanismes moins fiables - comme la mémorisation et la correspondance de modèles basés sur les données d'entra?nement??

Mitchell a ensuite demandé pourquoi cette distinction importait.

?Si les LLM possèdent vraiment de fortes capacités de raisonnement général, cela suggérerait qu'ils progressent vers une intelligence générale artificielle de confiance?, a-t-elle expliqué. "Mais si leurs capacités reposent principalement sur les modèles de mémorisation, nous ne pouvons pas leur faire confiance pour gérer les taches en dehors du champ d'application de ce qu'ils ont déjà vu."

Mesurer la véracité?

Alan Turing a proposé le test de Turing au milieu du 20e siècle - l'idée étant que nous pouvons juger à quel point les machines imitent le comportement humain. Nous pouvons également évaluer les LLM en utilisant des références de haut niveau - testant leur capacité à résoudre des problèmes mathématiques ou à s'attaquer aux taches cognitives complexes.

Mais comment déterminer si une machine est véridique - ou, comme certains chercheurs le disent, "fidèle"?

L'article mentionné précédemment plonge dans le sujet de la mesure de la fidélité dans les sorties LLM. En le lisant, j'ai conclu que la véracité est subjective d'une manière que la précision mathématique ne l'est pas. Cela signifie que notre capacité à évaluer si une machine est honnête est assez limitée.

Voici une autre fa?on de le voir - nous savons que lorsque les LLM répondent aux invites, ils parcouraient essentiellement de grandes quantités de texte écrits par l'homme en ligne et l'imitent. Ils copient les connaissances factuelles, reproduisent les styles de raisonnement et reflètent la fa?on dont les humains communiquent - y compris les tactiques évasives, les omissions et même la tromperie délibérée dans des formes simples et sophistiquées.

Le lecteur pour les récompenses

De plus, les auteurs de l'article soutiennent que les LLM pourraient se comporter de manière similaire aux humains lors de la poursuite des incitations. Ils pourraient hiérarchiser certaines informations inexactes ou trompeuses si cela conduit à une récompense.

Ils appellent cela comme un ?piratage de récompense?.

?Le piratage de récompense est problématique?, déclarent les auteurs. "Même si cela fonctionne bien pour une tache spécifique, il est peu probable qu'il soit transféré à d'autres.

Au mieux inutile, au pire risqué - ce n'est pas rassurant.

Philosophie de la technologie

Il y a un autre angle crucial qui mérite d'être exploré.

L'évaluation des cha?nes de raisonnement n'est pas un problème technique en soi. Cela ne dépend pas du nombre de paramètres d'un modèle, de la fa?on dont ces poids sont ajustés ou de la fa?on de résoudre une équation particulière. Au contraire, il dépend des données de formation et de la fa?on dont elle est interprétée intuitivement. Autrement dit, cette discussion implique des domaines avec lesquels les experts quantitatifs s'engagent rarement lors de l'évaluation des modèles.

Cela me fait encore réfléchir que nous avons besoin de quelque chose que j'ai préconisé auparavant - une nouvelle génération de philosophes professionnels qui nous aident à naviguer dans les interactions de l'IA. Au lieu de compter uniquement sur les codeurs, nous avons besoin de penseurs capables d'appliquer des idées humaines profondes, souvent intuitives enracinées dans l'histoire et les valeurs sociétales à l'intelligence artificielle. Nous sommes loin dans ce domaine parce que nous nous sommes concentrés presque entièrement sur l'embauche de développeurs Python.

Je vais descendre de ma bo?te à savon maintenant, mais le point à retenir est clair: aller au-delà des approches de la cha?ne de pensées peut nécessiter de repenser la fa?on dont nous nous entra?nons et embauchons pour des r?les liés à l'IA.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!