CHATTTS：通過栩栩如生的對話徹底改變文字到語音

想像一下，用對話自然的音頻製作播客或虛擬助手。 Chattts是一種最先進的文本到語音（TTS）工具，將書面文本轉(zhuǎn)換為非?，F(xiàn)實的音頻，捕捉了微妙的細微差別和情感表達。只需輸入您的腳本，然後以一種真實而引人入勝的聲音將其帶入生活。無論您是創(chuàng)建迷人的內(nèi)容還是增強用戶互動，Chattts都可以瞥見無縫，自然的對話的未來。

關(guān)鍵學(xué)習(xí)點：

• 了解Chattts在TTS景觀中的獨特功能和優(yōu)勢。
• 將Chattts與Bark和Vall-E等其他突出的TTS模型進行比較，從而突出了其關(guān)鍵區(qū)別。
• 探索文本預(yù)處理和輸出微調(diào)如何增強生成語音的自定義和表現(xiàn)力。
• 了解如何將CHATTT與大型語言模型（LLM）集成到高級應(yīng)用程序中。
• 發(fā)現(xiàn)Chattts在音頻內(nèi)容創(chuàng)建和虛擬助手開發(fā)中的實際應(yīng)用。

（本文是數(shù)據(jù)科學(xué)博客馬拉鬆的一部分。）

目錄：

• 介紹
• 查atts概述
• Chattts功能
• 文本預(yù)處理：利用特殊令牌
• 微調(diào)查atts輸出
• 開源路線圖和社區(qū)參與
• 使用Chattts：實用指南
• 利用隨機揚聲器
• 兩階段控制
• LLM與Chattts集成
• CHATTTS應(yīng)用程序
• 結(jié)論
• 常見問題

查特（Chattts）：深入潛水

Chattts代表了AI驅(qū)動的語音生成，促進流體和自然聽起來的對話的重大進步。 Chattts滿足了對LLM和文本生成的興起，滿足對高質(zhì)量語音生成的需求，簡化了引人入勝的音頻對話的創(chuàng)建。其全面的數(shù)據(jù)挖掘和預(yù)培訓(xùn)可顯著提高效率。 Chattts是頂級的開源TTS模型，以英語和中文都出色，利用超過100,000個小時的培訓(xùn)數(shù)據(jù)來以兩種語言的形式產(chǎn)生令人難以置信的現(xiàn)實語音。

查atts的獨特功能

Chattts將自己與其他潛在的通用和較少表達的LLM區(qū)分開。經(jīng)過大約10,000小時的英語和中文數(shù)據(jù)培訓(xùn)，它大大推動了AI驅(qū)動的語音生成的界限。儘管在某些方面與Bark和Vall-E相似，但Chattts提供了關(guān)鍵的優(yōu)勢。

例如，與Bark的限制不同，由於其GPT風(fēng)格的架構(gòu)，通常在13秒以下的輸出限制，以及其對較舊硬件的推理速度較慢，Chattts具有更快的推理，以大約7個語義圖表的速度生成音頻。此外，它的出色情緒控制超過了VALL-E。

讓我們研究Chattts的出色功能：

• 會話TTS：專為表達任務(wù)的對話而設(shè)計，它結(jié)合了自然語音模式並支持多揚聲器的綜合。
• 增強的控制和安全性：解決道德問題時，Chattts結(jié)合了降低圖像質(zhì)量和開發(fā)開源工具等功能，用於檢測人造語音。
• LLM集成：進一步增強安全性和控制權(quán)，與LLMS集成，並結(jié)合水印以確?？煽啃詠K解決潛在的濫用。這還允許對語音變化和輸出進行自定義控制。

通過文本預(yù)處理進行精確控制

Chattts通過使用嵌入在輸入文本中的特殊令牌來提供無與倫比的控制。這些令牌功能充當(dāng)命令，影響暫停和笑聲等方面。該控件在兩個層面上運行：

• 句子級控制：像[laugh_(0-2)]和暫停命令之類的令牌。
• 單詞級別的控制：圍繞特定單詞插入以增強表現(xiàn)力的代幣。

完善輸出：微調(diào)參數(shù)

在音頻生成期間，用戶可以使用各種參數(shù)來完善輸出。這反映了句子級的控制，可以調(diào)整對說話者身份，語音變化和解碼策略的調(diào)整。這與文本預(yù)處理結(jié)合在一起，使Chattts高度可自定義，並能夠產(chǎn)生表現(xiàn)力的語音對話。

 <code>params_infer_code = {'prompt':'[speed_5]', 'temperature':.3} params_refine_text = {'prompt':'[oral_2][laugh_0][break_6]'}</code>

開源願景和社區(qū)合作

Chattts具有強大的微調(diào)功能和LLM集成，Chattts的潛力很大。該社區(qū)旨在開放貨源可訓(xùn)練的模型，促進進一步的發(fā)展，並吸引研究人員和開發(fā)人員為改進做出貢獻。計劃包括通過擴展的情緒控制和簡化的LORA培訓(xùn)代碼發(fā)布版本，利用現(xiàn)有的LLM集成來降低培訓(xùn)的複雜性。 Web用戶界面（使用webui.py ）允許交互式文本輸入，參數(shù)調(diào)整和音頻生成。

 <code>python webui.py --server_name 0.0.0.0 --server_port 8080 --local_path /path/to/local/models</code>

（由於字符限制，繼續(xù)下一個響應(yīng)）

以上是查特（Chattts）：將您的文字轉(zhuǎn)換為語音的詳細內(nèi)容。更多資訊請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！