Chattts: merevolusikan teks-ke-ucapan dengan perbualan yang hidup

Bayangkan membuat podcast atau pembantu maya dengan audio semulajadi yang berbual. Cattts, alat teks-ke-ucapan yang canggih (TTS), mengubah teks bertulis menjadi audio yang sangat realistik, menangkap nuansa halus dan ekspresi emosi. Cukup masukkan skrip anda, dan Chattts membawanya ke kehidupan dengan suara yang terasa sahih dan menarik. Sama ada anda mencipta kandungan yang menawan atau meningkatkan interaksi pengguna, Chattts menawarkan gambaran ke masa depan dialog yang lancar dan semulajadi.

Mata Pembelajaran Utama:

• Memahami keupayaan dan kelebihan unik Chattts dalam landskap TTS.
• Bandingkan perbualan dengan model TTS yang lain seperti Bark dan Vall-E, menonjolkan pembezaan utamanya.
• Terokai bagaimana teks pra-pemprosesan dan output penalaan halus meningkatkan penyesuaian dan ekspresi ucapan yang dihasilkan.
• Ketahui cara mengintegrasikan chattts dengan model bahasa besar (LLMS) untuk aplikasi lanjutan.
• Temui aplikasi praktikal perbualan dalam penciptaan kandungan audio dan pembangunan pembantu maya.

(Artikel ini adalah sebahagian daripada Blogathon Sains Data.)

Jadual Kandungan:

• Pengenalan
• Gambaran keseluruhan Chattts
• Ciri -ciri Chattts
• Pra-pemprosesan Teks: Memanfaatkan Token Khas
• Output Chattts Fine-Tuning
• Pelan Pelan Hala Tentera dan Penglibatan Komuniti
• Menggunakan Chattts: Panduan Praktikal
• Menggunakan penceramah rawak
• Kawalan dua peringkat dengan Chattts
• LLM Integrasi dengan Chattts
• Aplikasi Chattts
• Kesimpulan
• Soalan yang sering ditanya

Cattts: menyelam yang mendalam

Chattts mewakili kemajuan yang ketara dalam penjanaan suara berkuasa AI, memudahkan perbualan cecair dan semulajadi. Memenuhi permintaan yang semakin meningkat untuk penjanaan suara yang berkualiti tinggi di samping kebangkitan LLM dan penjanaan teks, Chattts memudahkan penciptaan dialog audio yang menarik. Perlombongan data komprehensif dan pra-latihannya meningkatkan kecekapan. Model TTS sumber terbuka, Chattts cemerlang dalam bahasa Inggeris dan Cina, memanfaatkan lebih dari 100,000 jam data latihan untuk menghasilkan ucapan yang sangat realistik dalam kedua-dua bahasa.

Ciri -ciri tersendiri Chattts

Cattts membezakan dirinya dari LLM yang lain, berpotensi generik dan kurang ekspresif. Dilatih pada kira-kira 10,000 jam data dalam bahasa Inggeris dan Cina, ia secara signifikan menolak sempadan penjanaan suara yang didorong oleh AI. Walaupun sama dengan Bark dan Vall-E dalam aspek tertentu, Chattts menawarkan kelebihan utama.

Sebagai contoh, tidak seperti batasan Bark untuk output secara amnya di bawah 13 saat kerana seni bina gaya GPTnya, dan kelajuan kesimpulannya yang lebih perlahan pada perkakasan yang lebih lama, Chattts mempunyai kesimpulan yang lebih cepat, menghasilkan audio pada kadar kira-kira tujuh token semantik sesaat. Tambahan pula, kawalan emosi yang unggul melampaui Vall-E.

Mari kita periksa Ciri -ciri Standout Chattts:

• TTS Perbualan: Direka untuk dialog berorientasikan tugas ekspresif, ia menggabungkan corak ucapan semulajadi dan menyokong sintesis berbilang penceramah.
• Kawalan dan Keselamatan yang Dipertingkatkan: Menangani kebimbangan etika, Chattts menggabungkan ciri-ciri seperti kualiti imej yang dikurangkan dan perkembangan berterusan alat sumber terbuka untuk mengesan ucapan buatan.
• Integrasi LLM: Meningkatkan keselamatan dan kawalan selanjutnya, Chattts mengintegrasikan dengan LLM, menggabungkan tanda air untuk memastikan kebolehpercayaan dan menangani potensi penyalahgunaan. Ini juga membolehkan kawalan tersuai ke atas variasi dan output ucapan.

Kawalan yang tepat melalui pemprosesan teks

Chattts menyediakan kawalan yang tiada tandingannya melalui penggunaan token khas yang tertanam dalam teks input. Tanda -tanda ini berfungsi sebagai arahan, mempengaruhi aspek seperti jeda dan ketawa. Kawalan ini beroperasi pada dua peringkat:

• Kawalan peringkat kalimat: token seperti [laugh_(0-2)] dan perintah jeda.
• Kawalan peringkat perkataan: Token dimasukkan ke dalam kata-kata tertentu untuk ekspresi yang dipertingkatkan.

Menapis output: Parameter penalaan halus

Semasa penjanaan audio, pengguna boleh menyempurnakan output menggunakan pelbagai parameter. Ini mencerminkan kawalan peringkat kalimat, yang membolehkan pelarasan kepada identiti penceramah, variasi pertuturan, dan strategi penyahkodan. Ini, digabungkan dengan pra-pemprosesan teks, menjadikan Chattts sangat disesuaikan dan mampu menghasilkan perbualan suara ekspresif.

 <code>params_infer_code = {'prompt':'[speed_5]', 'temperature':.3} params_refine_text = {'prompt':'[oral_2][laugh_0][break_6]'}</code>

Visi sumber terbuka dan kerjasama komuniti

Dengan keupayaan penalaan yang kuat dan integrasi LLM, potensi Chattts sangat luas. Masyarakat bertujuan untuk membuka sumber model yang boleh dilatih, memupuk pembangunan selanjutnya dan menarik penyelidik dan pemaju untuk menyumbang kepada peningkatannya. Rancangan termasuk melepaskan versi dengan kawalan emosi yang diperluaskan dan kod latihan LORA yang dipermudahkan, memanfaatkan integrasi LLM yang sedia ada untuk mengurangkan kerumitan latihan. Antara muka pengguna web (menggunakan webui.py ) membolehkan input teks interaktif, pelarasan parameter, dan penjanaan audio.

 <code>python webui.py --server_name 0.0.0.0 --server_port 8080 --local_path /path/to/local/models</code>

(Diteruskan dalam tindak balas seterusnya kerana had watak)

Atas ialah kandungan terperinci Chattts: mengubah teks anda menjadi ucapan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!