Generasi Pengambilan Pengambilan Diri (Rag sendiri): Meningkatkan LLMS dengan pengambilan semula dan kritikan diri

Model bahasa yang besar (LLMs) adalah transformatif, tetapi pergantungan mereka terhadap pengetahuan parametrik sering membawa kepada ketidaktepatan faktual. Generasi pengambilan semula (RAG) bertujuan untuk menangani perkara ini dengan menggabungkan pengetahuan luaran, tetapi kaedah RAG tradisional mengalami batasan. Artikel ini meneroka RAG diri, pendekatan baru yang meningkatkan kualiti dan faktual LLM.

Menangani kekurangan standard RAG

RAG standard mengambil nombor tetap petikan, tanpa mengira kaitannya. Ini membawa kepada beberapa isu:

• Maklumat yang tidak relevan: Pengambilan dokumen yang tidak perlu mencairkan kualiti output.
• Kekurangan penyesuaian: Ketidakupayaan untuk menyesuaikan pengambilan semula berdasarkan tuntutan tugas menghasilkan prestasi yang tidak konsisten.
• output yang tidak konsisten: teks yang dihasilkan mungkin tidak sejajar dengan maklumat yang diambil kerana kekurangan latihan eksplisit mengenai integrasi pengetahuan.
• ketiadaan penilaian diri: Tiada mekanisme untuk menilai kualiti atau kaitan petikan yang diambil atau output yang dihasilkan.
• atribusi sumber terhad: petikan yang tidak mencukupi atau petunjuk sokongan sumber untuk teks yang dihasilkan.

Memperkenalkan Rag Diri: Pengambilan Adaptif dan Refleksi Sendiri

RAG sendiri meningkatkan LLM dengan mengintegrasikan pengambilan semula dan refleksi diri. Tidak seperti kain standard, ia secara dinamik mengambil bahagian -bahagian hanya apabila perlu, menggunakan "token mengambil." Secara asasnya, ia menggunakan token refleksi khas -Isrel (relevan), ISSUP (sokongan), dan ISUSE (utiliti) - untuk menilai proses penjanaannya sendiri.

Ciri-ciri utama RAG diri termasuk:

• pengambilan semula permintaan: pengambilan yang cekap hanya apabila diperlukan.
• Token Refleksi: Penilaian Sendiri Menggunakan Isrel, Issup, dan Token ISUSE.
• diri sendiri: Penilaian kualiti dan kualiti output yang diambil.
• Latihan akhir-ke-akhir: Latihan serentak penjanaan output dan ramalan token refleksi.
• Penyahkodan yang disesuaikan: Pelarasan fleksibel frekuensi pengambilan dan penyesuaian kepada tugas yang berbeza.

aliran kerja RAG sendiri

1. Pemprosesan input dan keputusan pengambilan semula: Model menentukan jika pengetahuan luaran diperlukan.
Pengambilan petikan yang relevan:
2. Jika diperlukan, petikan yang relevan diambil menggunakan model retriever (mis., Contriever-MS Marco).
Pemprosesan Paralel dan Generasi Segmen:
3. Model Generator memproses setiap laluan yang diambil, mewujudkan pelbagai calon kesinambungan dengan token kritikan yang berkaitan.
Kritikan diri dan penilaian:
4. Token refleksi menilai relevansi (ISREL), sokongan (ISSUP), dan utiliti (ISUSE) bagi setiap segmen yang dihasilkan.
Pemilihan segmen dan output terbaik:
5. Carian rasuk peringkat segmen memilih urutan output terbaik berdasarkan skor berwajaran yang menggabungkan kebarangkalian token kritikan. Proses Latihan Proses latihan dua peringkat melibatkan latihan model pengkritik di luar talian untuk menjana token refleksi, diikuti dengan melatih model penjana menggunakan data yang ditambah dengan token ini.

Kelebihan Rag Diri

Rag sendiri menawarkan beberapa kelebihan utama:

ketepatan faktual yang lebih baik:

pengambilan semula permintaan dan kritikan diri membawa kepada ketepatan faktual yang lebih tinggi.

• Relevan yang dipertingkatkan: Pengambilan penyesuaian memastikan hanya maklumat yang relevan digunakan.
• petikan dan verifiability yang lebih baik: petikan dan penilaian terperinci meningkatkan ketelusan dan kepercayaan.
• tingkah laku yang disesuaikan: token refleksi membolehkan pelarasan khusus tugas.
• Kesimpulan yang cekap: Latihan model pengkritik luar talian mengurangkan overhead kesimpulan.
• pelaksanaan dengan Langchain dan Langgraph

Butiran artikel Pelaksanaan praktikal menggunakan Langchain dan Langgraph, meliputi persediaan ketergantungan, definisi model data, pemprosesan dokumen, konfigurasi penilai, persediaan rantai kain, fungsi aliran kerja, pembinaan aliran kerja, dan ujian. Kod ini menunjukkan cara membina sistem ragut diri yang mampu mengendalikan pelbagai pertanyaan dan menilai kaitan dan ketepatan responsnya.

Keterbatasan Rag Diri

Walaupun kelebihannya, RAG diri mempunyai batasan:

• Output tidak disokong sepenuhnya: output mungkin tidak selalu disokong sepenuhnya oleh bukti yang dipetik.
• Potensi untuk kesilapan faktual: Walaupun bertambah baik, ralat faktual masih boleh berlaku.
• saiz model trade-off: model yang lebih kecil mungkin kadang-kadang mengatasi yang lebih besar dalam ketepatan faktual.
• Penyesuaian perdagangan: Melaraskan berat token refleksi boleh memberi kesan kepada aspek lain dari output (mis., Lancar).

Kesimpulan

RAG diri mewakili kemajuan yang ketara dalam teknologi LLM. Dengan menggabungkan pengambilan semula adaptif dengan refleksi diri, ia menangani batasan utama RAG standard, menghasilkan output yang lebih tepat, relevan, dan dapat diverifikasi. Sifat yang disesuaikan dengan kerangka ini membolehkan menyesuaikan tingkah lakunya kepada pelbagai aplikasi, menjadikannya alat yang berkuasa untuk pelbagai tugas yang memerlukan ketepatan fakta yang tinggi. Pelaksanaan Langchain dan Langgraph yang disediakan menawarkan panduan praktikal untuk membina dan menggunakan sistem ragaman diri.

Soalan Lazim (Soalan Lazim) (bahagian Soalan Lazim dari teks asal dikekalkan di sini.)

Q1. Apakah rag sendiri?

Q2. Bagaimanakah ragaman diri berbeza dari kain standard?

Q3. Apakah token refleksi?

Q4. Apakah kelebihan utama RAG sendiri?

Q5. Bolehkah Rag sendiri sepenuhnya menghilangkan ketidaktepatan faktual?

(Nota: Imej kekal dalam format dan lokasi asalnya.)

Atas ialah kandungan terperinci Sendiri: Ai yang tahu bila hendak menyemak semula. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!