印度是一個(gè)多元化的國(guó)家，具有豐富的語(yǔ)言，使整個(gè)地區(qū)的無(wú)縫溝通成為持續(xù)的挑戰(zhàn)。但是，Sarvam的Bulbul-V2正在幫助其先進(jìn)的文本到語(yǔ)音（TTS）技術(shù)彌合這一差距。通過(guò)傳達(dá)自然，具有真實(shí)性的聲音，該模型將本地風(fēng)味帶到了數(shù)字平臺(tái)上，并使您和我這樣的Desi人更具包容性和訪問(wèn)權(quán)限。隨著數(shù)字內(nèi)容的不斷擴(kuò)展，Bulbul-V2等工具對(duì)于開(kāi)發(fā)人員和內(nèi)容創(chuàng)建者而變得越來(lái)越重要。在本文中，我將介紹Sarvam AI的TTS探索Bulbul-V2。

目錄

• 什么是Saravm？
• 探索Sarvam的模型
• Bulbul-V2有什么特別之處？
• 如何通過(guò)API訪問(wèn)Bulbul-V2？
• Bulbul-V2在行動(dòng)中：來(lái)自不同語(yǔ)言的聲音
  • 任務(wù)1：幽默TTS測(cè)試
  • 任務(wù)2：旁遮普語(yǔ)到泰米爾語(yǔ)翻譯
  • 任務(wù)3：馬拉雅拉姆語(yǔ)到古吉拉特語(yǔ)翻譯
• 總體表現(xiàn)
• 用例
• Bulbul-V2與其他流行的TTS模型
• 結(jié)論

什么是Saravm？

Sarvam是一家位于班加羅爾的印度AI初創(chuàng)公司，由機(jī)器學(xué)習(xí)工程師團(tuán)隊(duì)創(chuàng)立。薩爾瓦姆（Sarvam）最近因其在印度大語(yǔ)模型（LLM）上的工作而受到印度政府的認(rèn)可，專注于開(kāi)發(fā)針對(duì)印度語(yǔ)言量身定制的基于語(yǔ)音的AI模型。它的目標(biāo)是創(chuàng)造自然聽(tīng)起來(lái)的綜合聲音，以捕捉人類言語(yǔ)的細(xì)微差別。與傳統(tǒng)的TTS系統(tǒng)通常聽(tīng)起來(lái)很機(jī)器人且無(wú)情，Sarvam的模型強(qiáng)調(diào)了表達(dá)性傳遞，包括自然的暫停和情感環(huán)境。

探索Sarvam的模型

Sarvam提供了高性能的語(yǔ)音服務(wù)，重點(diǎn)是自然和表現(xiàn)力的綜合聲音，對(duì)會(huì)話AI進(jìn)行了優(yōu)化。他們的旗艦?zāi)Ｐ虰ulbul-V2是專門(mén)為指示語(yǔ)言構(gòu)建的最先進(jìn)的文本對(duì)語(yǔ)音（TTS）系統(tǒng)。它適應(yīng)各種區(qū)域語(yǔ)言和說(shuō)話風(fēng)格，了解周?chē)谋镜纳舷挛木€索，并以適當(dāng)?shù)那楦姓Z(yǔ)調(diào)和自然韻律提供語(yǔ)音。 Sarvam提供4種旨在滿足印度語(yǔ)言需求的AI模型：

• Mayura：一種多語(yǔ)言翻譯模型，該模型支持英語(yǔ)和11種具有自動(dòng)語(yǔ)言檢測(cè)的印度語(yǔ)言，并保留含義和上下文。
• 薩拉斯（Saras）：一種語(yǔ)音到文本模型，可轉(zhuǎn)錄音頻并在單個(gè)管道中翻譯印度語(yǔ)言之間。
• Saarika：一種用于多種印度語(yǔ)言的高準(zhǔn)確性文本到語(yǔ)音模型，可提供清晰且可理解的輸出。
• Bulbul： Bulbul Sarvam的TTS骨架提供了類似人類的韻律，多種語(yǔ)音個(gè)性以及針對(duì)印度口音和語(yǔ)言量身定制的實(shí)時(shí)綜合。

另請(qǐng)閱讀：9個(gè)最佳開(kāi)源文本到語(yǔ)音（TTS）引擎

Bulbul-V2有什么特別之處？

Bulbul-V2是薩爾瓦姆迄今為止最先進(jìn)的TTS模型，它以其前身的成功，并通過(guò)幾種創(chuàng)新的增強(qiáng)功能為基礎(chǔ)。它支持11種印度語(yǔ)言，并提供帶有真實(shí)區(qū)域口音的原始聲音。 Bulbul-V2均設(shè)計(jì)用于速度和成本效率。它非常適合各種用例。這些范圍從大規(guī)模應(yīng)用到較小的部署。該模型提供了多種語(yǔ)音個(gè)性，例如Meera和Arvind。它支持自定義語(yǔ)音創(chuàng)建，使企業(yè)能夠建立獨(dú)特的音頻品牌。

Bulbul-V2的主要特征

• 語(yǔ)音控制：對(duì)音高的細(xì)粒度控制（-1至1），速度（0.3至3）和響度（0.1至3）
• 樣本率選擇：多個(gè)樣本率：8kHz，16kHz，22.05kHz，24kHz。
• 文本預(yù)處理：數(shù)字，日期和混合語(yǔ)言文本的智能標(biāo)準(zhǔn)化
• 語(yǔ)言支持：使用BCP-47代碼支持11種印度語(yǔ)言。

如何通過(guò)API訪問(wèn)Bulbul-V2？

要開(kāi)始它，請(qǐng)?jiān)L問(wèn)Sarvam網(wǎng)站，然后單擊Google的標(biāo)志：

現(xiàn)在，一旦您簽名，它將將您重定向到儀表板，在那里您將獲得價(jià)值1000印度盧比的免費(fèi)積分。

檢查“訂閱密鑰”部分以復(fù)制您的Sarvam的API鍵。

進(jìn)行第一個(gè)API電話

1。安裝所需庫(kù)

！PIP安裝Sarvamai
來(lái)自Sarvamai進(jìn)口Sarvamai
來(lái)自Sarvamai。
導(dǎo)入基礎(chǔ)64

• Sarvamai：主要SDK類用于與Sarvam API互動(dòng)。
• PAAY：在系統(tǒng)中播放音頻的輔助功能。
• BASE64： Python的內(nèi)置模塊從base64解碼音頻（API以這種方式返回音頻）。

2。初始化API客戶端

客戶= sarvamai（
   api_subscription_key =“ your_api_key”
）

• 創(chuàng)建一個(gè)sarvamai客戶對(duì)象。

3。轉(zhuǎn)換文本到語(yǔ)音

響應(yīng)= client.text_to_speech.convert（
   輸入= [“歡迎來(lái)到sarvam ai！”]，
   型號(hào)=“ bulbul：v2”，
   target_language_code =“ in-in”，
   揚(yáng)聲器=“ Anushka”，
   音高= 0.5，＃范圍：-1至1
   pace = 1.0，＃范圍：0.3至3
   響度= 1.2，＃范圍：0.1至3
   speep_sample_rate = 8000，＃選項(xiàng)：8000，16000，22050，24000
   enable_preprocessing = true＃處理數(shù)字，日期和混合文本


）
播放（響應(yīng)）

• 模型：使用Bulbul：V2 TTS模型。
• target_language_code：指定帶有口音的英語(yǔ)（印度）。
• 音高，節(jié)奏，響度：控制音調(diào)，速度和音量。
• Secrip_sample_rate：選擇音頻樣品質(zhì)量。 8000 Hz是基本的（電話級(jí)）。
• enable_preprocessing：當(dāng)正確時(shí)，它會(huì)自動(dòng)化輸入（例如，日期/數(shù)字）
• 揚(yáng)聲器：使用預(yù)定義的聲音“ Anushka”。其他可用選項(xiàng)是：

4。保存輸出

audio_base64 = response.audios [0]＃這是一個(gè)str，base64編碼
audio_bytes = base64.b64decode（audio_base64）＃解碼為字節(jié)
以F：開(kāi)放（“ output.wav”，“ wb”）為f：
   F.Write（Audio_bytes）

• 將基本64編碼的音頻作為輸入并將其解碼為字節(jié)。
• 將其保存為upput.wav文件。

另請(qǐng)閱讀：指示語(yǔ)言的多語(yǔ)言文本對(duì)語(yǔ)音模型

Bulbul-V2在行動(dòng)中：來(lái)自不同語(yǔ)言的聲音

在本節(jié)中，我們將在三個(gè)主要任務(wù)上測(cè)試Bulbul-V2的性能。正如Sarvam AI所說(shuō)，Bulbul-V2發(fā)出了自然的，類似于人類的聲音，并具有11種語(yǔ)言的區(qū)域口音。因此，要進(jìn)行測(cè)試，我們將檢查它：

• 文字到語(yǔ)音轉(zhuǎn)換（以相同的語(yǔ)言（即，旁遮普語(yǔ)到旁遮普語(yǔ)或印地語(yǔ)）到印地語(yǔ)）
• 接下來(lái)的兩個(gè)任務(wù)是檢查它是否支持語(yǔ)言中的轉(zhuǎn)換（即印地語(yǔ)，泰米爾語(yǔ)或馬拉雅拉姆語(yǔ)到孟加拉語(yǔ)）

任務(wù)1：幽默TTS測(cè)試

該動(dòng)手演示將有助于分析Bulbul-V2如何捕捉印度語(yǔ)言多樣性的聲音和感覺(jué)。在此任務(wù)中，我將把幽默的文本傳遞給TTS模型，并根據(jù)其響應(yīng)分析其響應(yīng)。

提示：“ ???????，????！ '''''?????????！'！'！ ????!! ??????!!

客戶= sarvamai（
   api_subscription_key =“ api_key”＃將您的API密鑰放在此處
）


響應(yīng)= client.text_to_speech.convert（
   輸入= [提示]，
   型號(hào)=“ bulbul：v2”，
   target_language_code =“ gu-in”，
   揚(yáng)聲器=“ karun”，＃自然和對(duì)話
   音高= 0.3，
   pace = 1.0，
   響度= 1.0，
   specy_sample_rate = 16000，
   enable_preprocessing = true
）


播放（響應(yīng)）
audio_base64 = response.audios [0]
audio_bytes = base64.b64decode（audio_base64）


打開(kāi)（“ output_hindi.wav”，“ wb”）作為f：
   F.Write（Audio_bytes）

輸出：

分析

在此任務(wù)中，我們使用了一個(gè)有趣而幽默的提示來(lái)測(cè)試Bulbul-V2。該模型流利地說(shuō)了語(yǔ)言，但是它并沒(méi)有捕捉到有趣或嬉戲的語(yǔ)氣。笑話和笑聲聽(tīng)起來(lái)很平坦，缺乏富有表現(xiàn)力的部分?？傮w而言，清晰度很好，但是情緒傳遞仍然需要一些改進(jìn)。

任務(wù)2：旁遮普語(yǔ)到泰米爾語(yǔ)翻譯

在此任務(wù)中，我們將給旁遮普提示，并要求該模型將其更改為泰米爾語(yǔ)。

提示： “`????????????????????????????????????，??????????????????????????，??????????????????????????????????????????????????????????? ???????????????????????????? ??????????????????

來(lái)自Sarvamai進(jìn)口Sarvamai
來(lái)自Sarvamai。
導(dǎo)入基礎(chǔ)64


客戶= sarvamai（
   api_subscription_key =“ api_key”＃將您的API密鑰放在此處
）
響應(yīng)= client.text_to_speech.convert（
   輸入= [提示]，
   型號(hào)=“ bulbul：v2”，
   target_language_code =“ ta-in”，
   揚(yáng)聲器=“ Manisha”， 
   音高= 0.3，
   pace = 1.0，
   響度= 1.0，
   specy_sample_rate = 16000，
   enable_preprocessing = true
）
播放（響應(yīng)）
audio_base64 = response.audios [0]
audio_bytes = base64.b64decode（audio_base64）


打開(kāi)（“ output_tamil.wav”，“ wb”）作為f：
   F.Write（Audio_bytes）

輸出：

分析

為此，我提供了旁遮普提示，并要求Bulbul-V2生成泰米爾語(yǔ)演講。但是，輸出始于旁遮普邦，然后突然開(kāi)始泰米爾語(yǔ)，而不是給出光滑的泰米爾語(yǔ)響應(yīng)。這表明該模型尚未執(zhí)行翻譯。它僅讀取輸入，因此缺乏在泰米爾語(yǔ)中正確翻譯的能力。

任務(wù)3：馬拉雅拉姆語(yǔ)到古吉拉特語(yǔ)翻譯

在此任務(wù)中，我們將給Malayalam提示，并要求該模型將其更改為Gujarati。

提示： “”???????？??????！！???！?????！?????！???????！

來(lái)自Sarvamai進(jìn)口Sarvamai
來(lái)自Sarvamai。
導(dǎo)入基礎(chǔ)64


客戶= sarvamai（
   api_subscription_key =“ your_api_key”＃將您的API密鑰放在此處
）


響應(yīng)= client.text_to_speech.convert（
   輸入= [提示]，
   型號(hào)=“ bulbul：v2”，
   target_language_code =“ gu-in”，
   揚(yáng)聲器=“ abhilash”， 
   音高= 0.3，
   pace = 1.0，
   響度= 1.0，
   specy_sample_rate = 16000，
   enable_preprocessing = true
）
播放（響應(yīng)）
audio_base64 = response.audios [0]
audio_bytes = base64.b64decode（audio_base64）


開(kāi)放（“ output_gujrati.wav”，“ wb”）為f：
   F.Write（Audio_bytes）

輸出：

分析

對(duì)于此任務(wù)，我提供了一個(gè)馬拉雅拉姆語(yǔ)提示，并要求該模型生成古吉拉特語(yǔ)演講。但是，該模型完全無(wú)法將提示轉(zhuǎn)換為古吉拉特語(yǔ)。而不是這樣，它給出了平滑的馬拉雅拉姆語(yǔ)作為響應(yīng)。這表明該模型尚未執(zhí)行翻譯。為了準(zhǔn)確的語(yǔ)言轉(zhuǎn)換，必須在將文本傳遞給TTS模式之前包括外部翻譯步驟。

總體表現(xiàn)

必須閱讀：GPT 4O vs INDIC LLMS - 誰(shuí)將贏得語(yǔ)言戰(zhàn)爭(zhēng)？

用例

Bulbul-V2的快速自然文本到語(yǔ)音功能使其在許多不涉及語(yǔ)言轉(zhuǎn)換的現(xiàn)實(shí)情況下非常合適。以下是一些可以使用的實(shí)踐示例：

• 輔助技術(shù)： TTS將文本轉(zhuǎn)換為視覺(jué)受損用戶的語(yǔ)音。用這種技術(shù)提供動(dòng)力的屏幕閱讀器可以為用戶提供自然而引人入勝的體驗(yàn)。隨之而來(lái)的是，TTS還可以幫助非語(yǔ)言個(gè)體進(jìn)行交流。
• 電子學(xué)習(xí)和內(nèi)容創(chuàng)建： TTS模型可用于制作有聲讀物，其他教育材料和視頻配音。這有助于使學(xué)習(xí)變得更具吸引力，因?yàn)閭€(gè)人可以用母語(yǔ)使用它，并且還使其更具包容性。
• 語(yǔ)言翻譯與本地化： TTS技術(shù)支持創(chuàng)建本地化內(nèi)容。它為應(yīng)用程序提供實(shí)時(shí)翻譯。 Bulbul-V2的延遲較低，使其適用于實(shí)時(shí)應(yīng)用。其中包括會(huì)議解釋協(xié)助和實(shí)時(shí)客戶服務(wù)互動(dòng)。教育平臺(tái)還可以使用它來(lái)幫助個(gè)人正確聽(tīng)到。

Bulbul-V2與其他流行的TTS模型

Bulbul-V2在TTS模型的領(lǐng)域中給人留下了深刻的印象，尤其是對(duì)于印度市場(chǎng)。它在其他方面的主要優(yōu)勢(shì)是，它支持11種印度語(yǔ)言，這些語(yǔ)言涵蓋了印度次大陸的大多數(shù)。

在比較Bulbul-V2與Elevenlab等全球競(jìng)爭(zhēng)對(duì)手的同時(shí)。 Bulbul-V2以其快速的性能脫穎而出，在0.398秒內(nèi)交付P90延遲，大約是Elevenlab的兩倍。

Bulbul-V2還提供了一個(gè)參數(shù)，例如控制音高，節(jié)奏，響度和樣本速率，以及數(shù)字和日期的智能處理。它不僅與國(guó)際TTS領(lǐng)導(dǎo)者保持同步，而且還設(shè)定了速度，效率和負(fù)擔(dān)能力的新基準(zhǔn)。

結(jié)帳：其他流行的Indion LLMS

結(jié)論

Bulbul-V2在印度開(kāi)發(fā)自己的LLM的旅程中取得了重大飛躍，尤其是通過(guò)傳遞快速，自然和區(qū)域性真實(shí)的聲音，尤其是在測(cè)試到語(yǔ)音模型的領(lǐng)域。它的出色速度和負(fù)擔(dān)能力使其可容納廣泛的應(yīng)用程序，從輔助設(shè)備到內(nèi)容創(chuàng)建都不同。盡管目前不支持語(yǔ)言之間的自動(dòng)翻譯，但通過(guò)將Bulbul-V2與Google Translate（例如Google Translate）結(jié)合使用，可以過(guò)度使用。隨著表現(xiàn)力和擴(kuò)展功能的持續(xù)改進(jìn)，以建立更具吸引力的語(yǔ)音體驗(yàn)。這樣，Bulbul-V2將在印度AI的未來(lái)中發(fā)揮關(guān)鍵作用。

以上是Sarvam AI的Bulbul-V2：印度最佳TTS模型的詳細(xì)內(nèi)容。更多信息請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！