Si une entreprise d’IA devait faire face à des allégations d’utilisation de tactiques trompeuses d’exploration du Web pour accéder au contenu de sites Web, peu de gens se seraient attendus à Perplexity. Avec ses revenus récurrents annuels de 150 millions de dollars, on pourrait s’attendre à ce qu’il ait la solidité financière nécessaire pour accéder légitimement au contenu et obtenir des réponses en temps réel aux requêtes. Cloudflare a maintenant dévoilé plusieurs détails secrets sur les pratiques d'exploration de Perplexity, alléguant que la société d'IA utilise des ? robots d'exploration furtifs et non déclarés pour échapper aux directives de non-exploration des sites Web ?.

La plupart des sites Web ont des directives de non-exploration, qui visent à mettre en échec les activités des robots d'exploration de sites Web en spécifiant quelle partie d'un site Web ils sont autorisés à explorer. Un bon exemple d'une telle directive de non-exploration d'un site Web est robots.txt, un document texte situé dans le répertoire racine d'un site Web qui contient une liste de règles pour les activités des robots d'exploration de sites Web.

Tout comme les robots d'exploration de Google ont besoin de robots d'exploration de sites Web (Googlebot) pour lire les pages Web et présenter le contenu aux utilisateurs de recherche Google, Perplexity utilise également son robot d'exploration de sites Web (PerplexityBot) pour accéder au contenu du site Web. D'un point de vue éthique, tous les robots d'exploration doivent respecter les réglementations robots.txt et autres directives, car la plupart des sites Web comportent des parties où l'exploration est interdite. Cloudflare allègue que chaque fois que PerplexityBot se voit présenter une règle interdisant l'exploration d'un site Web, il utilise une tactique sournoise pour contourner ces règles et explore le site Web avec force.


Cloudflare aurait également découvert des preuves solides suggérant que Perplexity modifie ses agents utilisateurs. Un agent utilisateur ressemble davantage à une cha?ne ou à un nom qu'un site Web utilise pour demander des pages Web aux serveurs Web. Ainsi, chaque fois que l'agent utilisateur de Perplexity est empêché d'accéder à un site Web, il usurpe l'identité d'un utilisateur aléatoire en utilisant un agent utilisateur générique.
Si vous examinez le tableau ci-dessous, vous verrez la différence entre les agents utilisateurs lorsque Perplexity utilise son robot d'exploration Web officiel et lorsqu'il en utilise un non déclaré pour usurper l'identité d'un utilisateur aléatoire de Google Chrome sur un système d'exploitation macOS.

Les craintes que les entreprises utilisent du contenu non autorisé pour entra?ner leurs modèles d’IA continuent de cro?tre. Par exemple, l’année dernière, Reddit a demandé à Microsoft de payer pour récupérer ses données ou être bloqué. Cette récente découverte alimente l’inquiétude largement répandue selon laquelle les grandes sociétés d’IA s’engagent publiquement à mettre en ?uvre des pratiques éthiques, alors qu’elles pratiqueraient apparemment le contraire.

Images gracieuseté de Cloudflare

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!