CHATTTS：通過(guò)栩栩如生的對(duì)話徹底改變文字到語(yǔ)音

想象一下，用對(duì)話自然的音頻制作播客或虛擬助手。 Chattts是一種最先進(jìn)的文本到語(yǔ)音（TTS）工具，將書(shū)面文本轉(zhuǎn)換為非?，F(xiàn)實(shí)的音頻，捕捉了微妙的細(xì)微差別和情感表達(dá)。只需輸入您的腳本，然后以一種真實(shí)而引人入勝的聲音將其帶入生活。無(wú)論您是創(chuàng)建迷人的內(nèi)容還是增強(qiáng)用戶互動(dòng)，Chattts都可以瞥見(jiàn)無(wú)縫，自然的對(duì)話的未來(lái)。

關(guān)鍵學(xué)習(xí)點(diǎn)：

• 了解Chattts在TTS景觀中的獨(dú)特功能和優(yōu)勢(shì)。
• 將Chattts與Bark和Vall-E等其他突出的TTS模型進(jìn)行比較，從而突出了其關(guān)鍵區(qū)別。
• 探索文本預(yù)處理和輸出微調(diào)如何增強(qiáng)生成語(yǔ)音的自定義和表現(xiàn)力。
• 了解如何將CHATTT與大型語(yǔ)言模型（LLM）集成到高級(jí)應(yīng)用程序中。
• 發(fā)現(xiàn)Chattts在音頻內(nèi)容創(chuàng)建和虛擬助手開(kāi)發(fā)中的實(shí)際應(yīng)用。

（本文是數(shù)據(jù)科學(xué)博客馬拉松的一部分。）

目錄：

• 介紹
• 查atts概述
• Chattts功能
• 文本預(yù)處理：利用特殊令牌
• 微調(diào)查atts輸出
• 開(kāi)源路線圖和社區(qū)參與
• 使用Chattts：實(shí)用指南
• 利用隨機(jī)揚(yáng)聲器
• 兩階段控制
• LLM與Chattts集成
• CHATTTS應(yīng)用程序
• 結(jié)論
• 常見(jiàn)問(wèn)題

查特（Chattts）：深入潛水

Chattts代表了AI驅(qū)動(dòng)的語(yǔ)音生成，促進(jìn)流體和自然聽(tīng)起來(lái)的對(duì)話的重大進(jìn)步。 Chattts滿足了對(duì)LLM和文本生成的興起，滿足對(duì)高質(zhì)量語(yǔ)音生成的需求，簡(jiǎn)化了引人入勝的音頻對(duì)話的創(chuàng)建。其全面的數(shù)據(jù)挖掘和預(yù)培訓(xùn)可顯著提高效率。 Chattts是頂級(jí)的開(kāi)源TTS模型，以英語(yǔ)和中文都出色，利用超過(guò)100,000個(gè)小時(shí)的培訓(xùn)數(shù)據(jù)來(lái)以兩種語(yǔ)言的形式產(chǎn)生令人難以置信的現(xiàn)實(shí)語(yǔ)音。

查atts的獨(dú)特功能

Chattts將自己與其他潛在的通用和較少表達(dá)的LLM區(qū)分開(kāi)。經(jīng)過(guò)大約10,000小時(shí)的英語(yǔ)和中文數(shù)據(jù)培訓(xùn)，它大大推動(dòng)了AI驅(qū)動(dòng)的語(yǔ)音生成的界限。盡管在某些方面與Bark和Vall-E相似，但Chattts提供了關(guān)鍵的優(yōu)勢(shì)。

例如，與Bark的限制不同，由于其GPT風(fēng)格的架構(gòu)，通常在13秒以下的輸出限制，以及其對(duì)較舊硬件的推理速度較慢，Chattts具有更快的推理，以大約7個(gè)語(yǔ)義圖表的速度生成音頻。此外，它的出色情緒控制超過(guò)了VALL-E。

讓我們研究Chattts的出色功能：

• 會(huì)話TTS：專為表達(dá)任務(wù)的對(duì)話而設(shè)計(jì)，它結(jié)合了自然語(yǔ)音模式并支持多揚(yáng)聲器的綜合。
• 增強(qiáng)的控制和安全性：解決道德問(wèn)題時(shí)，Chattts結(jié)合了降低圖像質(zhì)量和開(kāi)發(fā)開(kāi)源工具等功能，用于檢測(cè)人造語(yǔ)音。
• LLM集成：進(jìn)一步增強(qiáng)安全性和控制權(quán)，與LLMS集成，并結(jié)合水印以確保可靠性并解決潛在的濫用。這還允許對(duì)語(yǔ)音變化和輸出進(jìn)行自定義控制。

通過(guò)文本預(yù)處理進(jìn)行精確控制

Chattts通過(guò)使用嵌入在輸入文本中的特殊令牌來(lái)提供無(wú)與倫比的控制。這些令牌功能充當(dāng)命令，影響暫停和笑聲等方面。該控件在兩個(gè)層面上運(yùn)行：

• 句子級(jí)控制：像[laugh_(0-2)]和暫停命令之類的令牌。
• 單詞級(jí)別的控制：圍繞特定單詞插入以增強(qiáng)表現(xiàn)力的代幣。

完善輸出：微調(diào)參數(shù)

在音頻生成期間，用戶可以使用各種參數(shù)來(lái)完善輸出。這反映了句子級(jí)的控制，可以調(diào)整對(duì)說(shuō)話者身份，語(yǔ)音變化和解碼策略的調(diào)整。這與文本預(yù)處理結(jié)合在一起，使Chattts高度可自定義，并能夠產(chǎn)生表現(xiàn)力的語(yǔ)音對(duì)話。

 <code>params_infer_code = {'prompt':'[speed_5]', 'temperature':.3} params_refine_text = {'prompt':'[oral_2][laugh_0][break_6]'}</code>

開(kāi)源愿景和社區(qū)合作

Chattts具有強(qiáng)大的微調(diào)功能和LLM集成，Chattts的潛力很大。該社區(qū)旨在開(kāi)放貨源可訓(xùn)練的模型，促進(jìn)進(jìn)一步的發(fā)展，并吸引研究人員和開(kāi)發(fā)人員為改進(jìn)做出貢獻(xiàn)。計(jì)劃包括通過(guò)擴(kuò)展的情緒控制和簡(jiǎn)化的LORA培訓(xùn)代碼發(fā)布版本，利用現(xiàn)有的LLM集成來(lái)降低培訓(xùn)的復(fù)雜性。 Web用戶界面（使用webui.py ）允許交互式文本輸入，參數(shù)調(diào)整和音頻生成。

 <code>python webui.py --server_name 0.0.0.0 --server_port 8080 --local_path /path/to/local/models</code>

（由于字符限制，繼續(xù)下一個(gè)響應(yīng)）

以上是查特（Chattts）：將您的文字轉(zhuǎn)換為語(yǔ)音的詳細(xì)內(nèi)容。更多信息請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！