Chattts：リアルな會話でテキストからスピーチに革命をもたらす

會話的に自然なオーディオでポッドキャストまたは仮想アシスタントを作成することを想像してください。最先端のテキストからスピーチ（TTS）ツールであるChatttsは、書かれたテキストを非常に現(xiàn)実的なオーディオに変換し、微妙なニュアンスと感情的な表現(xiàn)をキャプチャします。スクリプトを入力するだけで、Chatttsは本物で魅力的な聲でそれを生き返らせます。魅惑的なコンテンツを作成したり、ユーザーインタラクションを強(qiáng)化したりする場合でも、Chatttsはシームレスで自然なサウンドの対話の未來を垣間見ることができます。

重要な學(xué)習(xí)ポイント：

• TTSランドスケープ內(nèi)のChatttsのユニークな機(jī)能と利點(diǎn)を理解してください。
• チャットをBarkやVall-Eなどの他の著名なTTSモデルと比較し、その重要な差別化要因を強(qiáng)調(diào)します。
• テキストの前処理と出力の微調(diào)整が、生成された音聲のカスタマイズと表現(xiàn)力をどのように強(qiáng)化するかを探ります。
• 高度なアプリケーションのために、Chatttsを大規(guī)模な言語モデル（LLMS）と統(tǒng)合する方法を?qū)Wびます。
• オーディオコンテンツの作成と仮想アシスタント開発におけるチャットの実用的なアプリケーションを発見してください。

（この記事はデータサイエンスブログソンの一部です。）

目次：

• 導(dǎo)入
• チャットの概要
• Chattts機(jī)能
• テキストの前処理：特別なトークンの活用
• 微調(diào)整チャット出力
• オープンソースのロードマップとコミュニティエンゲージメント
• Chatttsの使用：実用的なガイド
• ランダムスピーカーを利用します
• Chatttsによる2段階のコントロール
• ChatttsとのLLM統(tǒng)合
• Chatttsアプリケーション
• 結(jié)論
• よくある質(zhì)問

チャット：深いダイビング

Chatttsは、AIを搭載した音聲生成における重要な進(jìn)歩を表しており、流體と自然な響きの會話を促進(jìn)します。 LLMSの臺頭とテキスト生成に加えて、高品質(zhì)の音聲生成に対する需要の高まりを満たすことで、チャットは魅力的なオーディオダイアログの作成を簡素化します。その包括的なデータマイニングとプリトレーニングは、効率を大幅に向上させます。トップオープンソースTTSモデルであるChatttsは、英語と中國語の両方で優(yōu)れており、100,000時間以上のトレーニングデータを活用して、両方の言語で非常に現(xiàn)実的なスピーチを作成します。

Chatttsの特徴的な機(jī)能

Chatttsは、他の、潛在的に一般的で表現(xiàn)力の低いLLMと區(qū)別します。英語と中國語で約10,000時間のデータで訓(xùn)練されているため、AI駆動型の音聲生成の境界を大幅に押し上げます。特定の面では樹皮とヴァル-Eに似ていますが、チャットは重要な利點(diǎn)を提供します。

たとえば、GPTスタイルのアーキテクチャや古いハードウェアの推論の速度が遅いため、一般に13秒未満で出力を出力することへのBarkの制限とは異なり、Chatttsはより速い推論を誇り、1秒あたり約7つのセマンティックトークンのレートでオーディオを生成します。さらに、その優(yōu)れた感情制御はVall-Eのそれを上回ります。

Chatttsの傑出した機(jī)能を調(diào)べましょう。

• 會話TTS：表現(xiàn)力豊かなタスク指向の対話用に設(shè)計(jì)されており、自然な音聲パターンが組み込まれ、マルチスピーカー合成をサポートします。
• 強(qiáng)化された制御とセキュリティ：倫理的懸念に対処するため、Chatttsには、畫質(zhì)の低下や、人工音聲を検出するためのオープンソースツールの継続的な開発などの機(jī)能が組み込まれています。
• LLM統(tǒng)合：セキュリティと制御をさらに強(qiáng)化するChatttsは、LLMSと統(tǒng)合され、透かしを組み込んで信頼性を確保し、潛在的な誤用に対処します。これにより、音聲のバリエーションと出力に対するカスタマイズされた制御も可能になります。

テキストの前処理による正確な制御

Chatttsは、入力テキストに埋め込まれた特別なトークンを使用することにより、比類のないコントロールを提供します。これらのトークンはコマンドとして機(jī)能し、一時停止や笑いなどの側(cè)面に影響を與えます。このコントロールは2つのレベルで動作します。

• 文レベルのコントロール： [laugh_(0-2)]や一時停止コマンドのようなトークン。
• 単語レベルのコントロール：特定の単語の周りに挿入されたトークンは、表現(xiàn)力を強(qiáng)化します。

出力の改良：微調(diào)整パラメーター

オーディオ生成中、ユーザーはさまざまなパラメーターを使用して出力を改良できます。これは、文レベルの制御を反映しており、スピーカーのアイデンティティ、音聲のバリエーション、デコード戦略の調(diào)整を可能にします。これは、テキストの前処理と組み合わせて、Chatttsが高度にカスタマイズ可能で、表現(xiàn)力豊かな音聲會話を生成できるようになります。

 <code>params_infer_code = {'prompt':'[speed_5]', 'temperature':.3} params_refine_text = {'prompt':'[oral_2][laugh_0][break_6]'}</code>

オープンソースのビジョンとコミュニティコラボレーション

強(qiáng)力な微調(diào)整機(jī)能とLLM統(tǒng)合により、チャットの可能性は膨大です。コミュニティは、訓(xùn)練可能なモデルをオープンソースし、さらなる開発を促進(jìn)し、研究者と開発者を引き付けてその改善に貢獻(xiàn)することを目指しています。計(jì)畫には、感情制御が拡大し、LORAトレーニングコードが簡素化されたリリースバージョンが含まれ、既存のLLM統(tǒng)合を活用してトレーニングの複雑さを軽減します。 Webユーザーインターフェイス（ webui.pyを使用）を使用すると、インタラクティブなテキスト入力、パラメーター調(diào)整、およびオーディオ生成が可能になります。

 <code>python webui.py --server_name 0.0.0.0 --server_port 8080 --local_path /path/to/local/models</code>

（文字制限のために次の応答が続く）

以上がchattts：テキストをスピーチに変えますの詳細(xì)內(nèi)容です。詳細(xì)については、PHP 中國語 Web サイトの他の関連記事を參照してください。