Sekiranya mana -mana syarikat AI menghadapi tuduhan menggunakan taktik merangkak web yang menipu untuk mengakses kandungan laman web, beberapa orang akan menjangkakan kebingungan. Dengan pendapatan berulang tahunan $ 150 juta, seseorang akan menjangkakan bahawa ia mempunyai kekuatan kewangan untuk mengakses kandungan untuk jawapan masa nyata kepada pertanyaan secara sah. Cloudflare kini telah mendedahkan beberapa butiran rahsia mengenai amalan merangkak kebingungan, mendakwa bahawa syarikat AI menggunakan "stealth, crawlers yang tidak diisytiharkan untuk mengelakkan laman web tanpa perarakan laman web."

Kebanyakan laman web mempunyai arahan tidak merangkak, yang bertujuan untuk memeriksa aktiviti crawler laman web dengan menentukan bahagian laman web yang mereka dibenarkan merangkak. Contoh yang baik dari arahan no-crawl laman web sedemikian adalah robots.txt, yang dokumen teks dalam direktori akar laman web yang mengandungi senarai peraturan untuk aktiviti crawler laman web.

Sama seperti crawlers Google memerlukan crawler laman web (GoogleBot) untuk membaca halaman web dan kandungan hadir untuk pengguna carian Google, kebingungan juga menggunakan crawler laman webnya (PerplexityBot) untuk mengakses kandungan laman web. Dari sudut pandang etika, semua crawler harus menghormati peraturan robots.txt dan garis panduan lain kerana kebanyakan laman web mempunyai bahagian di mana merangkak tidak dibenarkan. Cloudflare mendakwa bahawa setiap kali PerplexityBot dibentangkan dengan peraturan untuk tidak membenarkan merangkak di laman web, ia menggunakan taktik yang licik untuk mengelakkan peraturan ini dan merangkak laman web dengan kuat.


Cloudflare juga dilaporkan menemui bukti kukuh yang menunjukkan bahawa kebingungan mengubah ejen penggunanya. Ejen pengguna lebih seperti rentetan atau nama yang digunakan oleh laman web untuk meminta laman web dari pelayan web. Oleh itu, apabila ejen pengguna kebingungan disekat daripada mengakses laman web, ia didakwa menyamar sebagai pengguna rawak dengan menggunakan ejen pengguna generik.
Jika anda memeriksa jadual di bawah, anda akan melihat perbezaan ejen pengguna apabila kebingungan menggunakan crawler web rasmi dan apabila ia didakwa menggunakan satu yang tidak diisytiharkan untuk menyamar sebagai pengguna Google Chrome secara rawak pada sistem operasi macOS.

Kebimbangan bahawa syarikat menggunakan kandungan yang tidak dibenarkan untuk melatih model AI mereka terus berkembang. Sebagai contoh, tahun lepas, Reddit memberitahu Microsoft untuk membayar untuk mengikis datanya atau disekat. Penemuan baru -baru ini membakar kebimbangan yang meluas bahawa syarikat -syarikat utama AI secara terbuka komited untuk menjalankan amalan etika, sementara didakwa berlatih sebaliknya.

Gambar ihsan Cloudflare

Atas ialah kandungan terperinci CloudFlare mendedahkan taktik web merangkak yang menipu. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!