在韓國制造，從頭開始

許多本地語言模型都是較大國際框架的微調(diào)版本。不是這個(gè)。 SK Telecom的團(tuán)隊(duì)完全在內(nèi)部創(chuàng)建了AX 3.1 Lite，對(duì)1.6.5萬億個(gè)多語言代幣進(jìn)行了培訓(xùn)，并非常重視韓語內(nèi)容。該項(xiàng)目是在SKT的泰坦超級(jí)計(jì)算機(jī)上運(yùn)行的，每個(gè)級(jí)別都是由公司管理的，從令牌到推理。

結(jié)果？一個(gè)將數(shù)據(jù)保留在國內(nèi)并最小化對(duì)外國技術(shù)的系統(tǒng)。

SK Telecom的基金會(huì)模型經(jīng)理Kim Tae Yoon說：“基于我們穩(wěn)步建立的韓國LLM開發(fā)專業(yè)知識(shí)，我們將努力增強(qiáng)AI生態(tài)系統(tǒng)的獨(dú)立性，并為提高美國AI的競(jìng)爭(zhēng)力做出貢獻(xiàn)。”

模型背后的技術(shù)

到2025年的標(biāo)準(zhǔn)之前，有70億個(gè)參數(shù)似乎并不大，但這就是意圖。較小的型號(hào)更快地加載，消耗更少的功率，并且對(duì)微調(diào)更負(fù)擔(dān)得起 - 對(duì)于移動(dòng)應(yīng)用程序，小型企業(yè)和研究實(shí)驗(yàn)室而言至關(guān)重要。

為了實(shí)現(xiàn)這一平衡，SKT的工程師開發(fā)了一個(gè)32層變壓器，具有32個(gè)注意力頭，4,096維的隱藏尺寸和上下文長度為32,768個(gè)令牌。簡(jiǎn)而言之：這是高效，快速并且表現(xiàn)良好。

結(jié)果證實(shí)了這一點(diǎn)。在韓語的KMMLU多任務(wù)推理基準(zhǔn)上，AX 3.1 Lite得分為61.7，約占SKT較大AX 4.0 Lite模型的96％。在點(diǎn)擊文化情報(bào)測(cè)試中，它的表現(xiàn)超過了更大的對(duì)應(yīng)：71.22 vs. 69.97。在Kobalt-700上，它是更廣泛的韓國質(zhì)量檢查基準(zhǔn)，其得分為27.43，與其大小相匹配的型號(hào)。

它還使用與韓國提示的GPT模型相比，使用大約三分之一的代幣產(chǎn)生響應(yīng)。這導(dǎo)致延遲和移動(dòng)電池壽命延長。

該型號(hào)是開源的，可在Apache 2.0許可下在GitHub和擁抱面上訪問。

已經(jīng)在使用

SK電信不僅在實(shí)驗(yàn)室設(shè)置中嘗試AX 3.1 Lite。它已經(jīng)為公司的A.Dot語音助手提供動(dòng)力，能夠?qū)崟r(shí)匯總呼叫。開發(fā)人員可以將相同的技術(shù)集成到翻譯應(yīng)用程序，客戶服務(wù)工具或離線聊天界面，而無需依賴數(shù)據(jù)中心或外部API。

對(duì)于大規(guī)模實(shí)施，SKT還提供了可以在本地部署的基于API和基于Docker的容器選項(xiàng)。這對(duì)于必須在國家邊界內(nèi)保留敏感信息的銀行，醫(yī)院和公共機(jī)構(gòu)尤其重要。

雙重策略：精簡(jiǎn)版和全尺寸

SKT的計(jì)劃遵循雙路徑方法。 AX 3系列（例如3.1 Lite）完全從頭開始構(gòu)建，重點(diǎn)是主權(quán)，緊湊和速度。相比之下，4系列更大，并且通過持續(xù)預(yù)處理進(jìn)行了優(yōu)化的性能。

這為韓國組織提供了選擇：使用快速，輕巧的LITE模型進(jìn)行日常任務(wù)，或通過更強(qiáng)大的AX 4系列進(jìn)行擴(kuò)展，而無需切換提供商。

AX 3.1 Lite也不是最終版本。 SKT打算在2025年8月底發(fā)布340億個(gè)參數(shù)版本，該版本也在內(nèi)部開發(fā)。該模型旨在增強(qiáng)創(chuàng)意寫作和代碼生成，同時(shí)保持韓語效率。

韓國向AI獨(dú)立的重大行動(dòng)

SK Telecom的倡議是更廣泛的國家努力的一部分。韓國政府已經(jīng)投資了數(shù)十億韓元，以開發(fā)自己的基礎(chǔ)AI模型。合同正在進(jìn)行，SKT與競(jìng)爭(zhēng)對(duì)手Naver和Kakao一起競(jìng)爭(zhēng)。

目標(biāo)？通過創(chuàng)建反映韓國語言的工具，在語言和政治上都可以減少對(duì)外國API和模型的依賴。

這項(xiàng)運(yùn)動(dòng)不是韓國獨(dú)有的。法國的Mistral AI正在使用18,000-GPU超級(jí)計(jì)算機(jī)在本地培訓(xùn)模型。阿聯(lián)酋的技術(shù)創(chuàng)新學(xué)院已發(fā)布了Falcon 180B和更輕的Falcon 3系，都完全開源。在印度，在Google Cloud的協(xié)助下開發(fā)的Bharatgpt支持了十多種地區(qū)語言。沙特阿拉伯正在資助Lumain，這是由王國主權(quán)財(cái)富基金支持的阿拉伯語模式。

消息很明確：主權(quán)AI不再僅僅是流行語。

對(duì)于SKT，AX 3.1 Lite不僅是另一種產(chǎn)品。這是一個(gè)里程碑，證明韓國可以在內(nèi)部開發(fā)有能力的，競(jìng)爭(zhēng)性的語言模型，并在人們已經(jīng)在口袋里攜帶的設(shè)備上操作它們。

以上是SK Telecom釋放了從頭開始建造的韓國主權(quán)LLM的詳細(xì)內(nèi)容。更多信息請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！