à la fin de 2024, le procureur général du Texas Ken Paxton a révélé une colonie historique avec des technologies de pièces, une startup de technologie de santé basée à Dallas qui avait promu son assistant clinique alimenté par l'IA comme étant presque sans erreur, ce qui a fait un ?taux d'hallucination sévère? inférieur à 100 000.

Cependant, une enquête menée par l'état a révélé que les allégations de la société n'avaient pas été étayées par des preuves solides. Les autorités ont déterminé que des pièces avaient induit en erreur les h?pitaux pour croire que l'outil pourrait résumer avec précision les dossiers des patients avec une fiabilité qu'il n'a pas réellement offert.

Bien qu'aucun patient n'a été blessé et qu'aucune pénalité n'a été imposée, les pièces ont consenti à des divulgations plus claires autour de la précision, des risques et une utilisation appropriée - un précédent juridique important suggérant que la performance théorique n'équivaut pas à l'efficacité du monde réel.

Des experts tels que les scientifiques cognitifs et le critique de l'IA Gary Marcus ont longtemps averti que les modèles de grande langue actuels sont intrinsèquement limités. Comme il le dit, ces systèmes sont des ?approximations de l'utilisation du langage? , et non de la véritable compréhension du langage - une différence cruciale qui devient particulièrement risquée lorsque des modèles à usage général sont appliqués dans des contextes hautement spécialisés et ne parviennent pas à comprendre comment le travail réel se déroule.

Selon Gal Steinberg, co-fondateur et PDG de Twofold Health , la racine de nombreuses lacunes en IA n'est pas des algorithmes défectueux. C'est un manque de contexte. ?Parce que le? modèle ?ne détecte que des modèles, pas d'intention?, a-t-il expliqué. ?Une IA peut prédire les mots ou les clics avec une haute précision, tout en restant aveugle aux réglementations, aux workflows et aux règles non écrites qui définissent une clinique - ou toute organisation. Lorsque l'optimisation ignore ces réalités, l'IA rencontre son KPI mais manque le point.?

Contexte: le cadre invisible

Steinberg définit le contexte comme ?tout ce que la feuille de calcul omet - objectifs, limites, jargon, ton émotionnel, exigences de conformité et timing.?

Lorsque les systèmes d'IA sous-performent , cela est rarement d? à une puissance de traitement insuffisante, mais plut?t à une conscience de situation insuffisante. Ils n'ont pas les connaissances culturelles, les subtilités spécifiques au domaine ou la compréhension sensible au temps que les professionnels humains absorbent naturellement. Par exemple, 90 secondes de silence dans une session de thérapie peuvent signaler une détresse. Pour un générateur de transcription AI, c'est juste un espace vide. Dans les audits financiers, une abréviation manquante pourrait indiquer la tromperie. Pour un modèle formé sur un large texte Internet, cela peut sembler être un acronyme trivial.

C'est pourquoi, chez Twofold Health, l'équipe commence par poser trois questions fondamentales: qui est impliqué? Que essaient-ils de réaliser? Et quelles sont les conséquences si l'IA se trompe?

Un autre problème clé, a souligné Steinberg, est que la plupart des organisations traitent le contexte comme une tache de configuration unique. Mais les environnements évoluent. Les politiques changent. Besoin de transformations. "Si vous ne raffinez pas continuellement vos invites et ne recyclez pas vos modèles, les dérives de l'IA", a-t-il déclaré.

C'est pourquoi tant d'initiatives d'IA précoces sont désormais abandonnées. Rand Corporation rapporte que plus de 80% des projets d'IA échouent ou ne sont pas dus parce que la technologie ne fonctionne pas, mais parce que le contexte dans lequel ils ont été formés ne reflète plus la réalité opérationnelle. Le résultat? Une IA qui a l'air correcte sur le papier mais échoue dans la pratique - comme un acteur récitant des lignes sur la mauvaise étape.

Ingénierie du monde réel

Le correctif, soutient Steinberg, n'est pas seulement en train de construire des modèles plus intelligents, mais de les intégrer avec une conscience environnementale plus profonde. ?Cela commence par impliquer des experts du domaine directement dans le processus de développement de l'IA. à deux fois, les cliniciens - pas les ingénieurs - les parties critiques de l'?uvre. Ils enseignent à l'IA sur le langage médical, les frontières éthiques et les cadres réglementaires grace à l'expérience vécue?, a-t-il déclaré.

Ensuite, il y a le travail négligé et peu glamour qui fait rarement les gros titres: déterminer quels cas rares comptent, la normalisation de la parole informelle ou la réalisation que la disposition d'une forme peut être plus importante que les données qu'elle contient. Ces choix peuvent sembler mineurs - jusqu'à ce qu'ils se déroulent en erreurs systémiques.

Des recherches antérieures ont montré que les modèles d'IA formés sur de larges ensembles de données se comportent souvent de manière imprévisible lorsqu'ils sont placés dans des environnements de niche - un défi appelé Domain Shift . Dans une étude bien connue, des scientifiques de Google et de Stanford ont observé que les modèles d'apprentissage automatique modernes sont souvent ?sous-spécifiés?, ce qui signifie qu'ils réussissent des tests internes mais se décomposent dans des conditions réelles.

Dans les domaines à enjeux élevés comme les soins de santé et les finances, où les décisions ont une responsabilité juridique, même les petites inexactitudes sont inacceptables. Cet écart est un procès en cours.

Même le principal scientifique de l'IA de Meta, Yann LeCun, a ouvertement critiqué la précipitation de déployer des modèles massifs sans les fonder dans des domaines réels. S'exprimant à l'Université nationale de Singapour en avril 2025, LeCun a contesté l'hypothèse répandue que les modèles plus importants égalent à une IA plus intelligente : "Vous ne pouvez pas supposer plus de données et plus de puissance de calcul conduit automatiquement à des systèmes plus intelligents."

Il a souligné que si la mise à l'échelle aide aux taches de base, elle ne résout pas les complexités de la vie réelle - ambigu?té, adaptation et raisonnement. Au lieu de cela, il a appelé à des ?systèmes d'IA capables de planifier, de raisonner et de comprendre les environnements comme les humains?.

Pourtant, selon l'indice de préparation de l'IA de Cisco 2024 , 98% des chefs d'entreprise ont déclaré une pression accrue pour adopter l'IA - souvent sans métriques, surveillance ou structures de responsabilité. Dans un tel climat, il n'est pas surprenant que le contexte devienne une réflexion après coup.

C'est le danger que Steinberg veut souligner: non seulement que l'IA pourrait générer de fausses informations, mais que personne au sein de l'organisation n'est prêt à assumer la responsabilité lorsqu'il le fait. "Nous nous concentrons trop sur la précision et trop peu sur la propriété", a-t-il déclaré. ?Le contexte ne conna?t pas seulement la bonne réponse - il sait qui répond aux dommages lorsque la réponse est erronée. établissez d'abord cette cha?ne de responsabilité, et votre IA sera nourri d'un régime plus riche et plus responsable du contexte dès le premier jour.?

Ancrer l'IA dans la réalité

Le contexte n'est pas créé en ajoutant plus de paramètres ou de puissance GPU. Il provient du traitement de l'IA comme un système dynamique qui nécessite des conseils humains continus - pas juste une formation initiale. Et cela vient de placer des gens - pas simplement des invites - dans la boucle de rétroaction.

L'IA n'est pas intrinsèquement défectueuse. Mais sans contexte, il agit comme s'il l'est. La réponse n'est pas une confiance aveugle. C'est une meilleure nourriture, une surveillance régulière et s'assurer qu'il y a toujours quelqu'un qui regarde quand l'IA devient trop confiant.

"Parce qu'un modèle qui atteint sa cible mais qui manque son objectif n'est pas seulement un gaspillage. C'est dangereux", a déclaré Steinberg.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!