如果說(shuō)2023年是大家公認(rèn)的AI元年,那麼2024年很可能就是AI大模型普及的關(guān)鍵一年。
在過(guò)去的一年中,大量的AI大模型、大量的AI應(yīng)用橫空出世,Meta、Google等廠商也開(kāi)始面向民眾推出自己的在線/本地大模型,類似於“AI人工智能」這樣遙不可及的概念,就這樣突然來(lái)到了人們身邊。
如今人們?cè)谏钪性絹?lái)越多地接觸到人工智慧,如果你仔細(xì)分辨,你會(huì)發(fā)現(xiàn),你所能接觸到的各類AI應(yīng)用,他們幾乎都部署在「雲(yún)端」上。如果想要搭建一臺(tái)本地運(yùn)行大模型的設(shè)備,那麼硬體都是售價(jià)5000元以上的全新AIPC,對(duì)於一般消費(fèi)者來(lái)說(shuō)並不友善。
(圖片來(lái)源:Google)
不過(guò)將預(yù)算壓縮到極致,然後搭配出一套「能用」的主機(jī),正是每一位DIY玩家的終極樂(lè)趣。而現(xiàn)在的問(wèn)題是,如果真的想弄一臺(tái)可以本地運(yùn)行大語(yǔ)音模型的電腦,到底要多少錢(qián)?
我的預(yù)算是-300元。
儘管近期正經(jīng)的記憶體/儲(chǔ)存產(chǎn)品有價(jià)格上漲的趨勢(shì),但是在洋垃圾這邊其實(shí)價(jià)格變化倒是不大,甚至一批早年的洋垃圾CPU和礦卡GPU還有價(jià)格下跌的趨勢(shì)。在現(xiàn)今AI大潮席捲而來(lái)的背景下,我甚至不準(zhǔn)備拘泥於辦公影音需求,決定挑戰(zhàn)一下用三百塊錢(qián)的預(yù)算,試著去打造出一套性價(jià)比頗高的入門(mén)級(jí)本地大模型主機(jī)。
至於具體該怎麼操作,最終成效是否如意,跟著我一起看下去自然就知道了。
經(jīng)典的老CPU,礦工級(jí)的GPU
在CPU的選擇上,我直接從閒魚(yú)上撿了一顆Intel? Core?i3-4170T。
此處理器為二核心四線程,3.2GHz主頻,沒(méi)有睿頻能力,具備3MB智慧緩存,採(cǎi)用22nm製程製程的Haswell架構(gòu),最大的特點(diǎn)就是擁有一顆HD4400核顯,這也是我選擇它的關(guān)鍵。
(圖源:雷科技)
俗話說(shuō)得好,低價(jià)U配低價(jià)板嘛,主機(jī)板我選的就是一塊華碩工包H81M-V3主機(jī)板,只有兩根DDR3內(nèi)存插槽不說(shuō),甚至都沒(méi)有HDMI輸出接口,也沒(méi)有M2硬碟位,USB 3.0、 SATA III介面都只有兩個(gè),這玩意最大的優(yōu)點(diǎn)就是超低的二手價(jià)格。
這加起來(lái)不到80的板U套裝,性價(jià)比放在今時(shí)今日也是出類拔萃的。
(圖源:淘寶)
這種CPU,散熱就不用太擔(dān)心了。
閒魚(yú)20包郵寄過(guò)來(lái)的下壓式風(fēng)冷散熱,雖然外觀上是醜了一點(diǎn),簡(jiǎn)陋了一點(diǎn),但是用來(lái)壓我這套超低價(jià)配置肯定是綽綽有餘了。
(圖源:雷科技)
至於顯卡嘛,近期閒魚(yú)上面流出了一大堆P106-090/P106-100礦卡,其中前者的價(jià)格普遍在75塊錢(qián)左右,後者的價(jià)格普遍在120塊錢(qián)左右,考慮到我這次的初衷並不是為了遊戲而來(lái),我最終直接選擇了一張索泰P106-090礦卡,這卡因?yàn)轭l寬問(wèn)題不適合遊戲,但價(jià)格就擺在這裡。
最後,給它簡(jiǎn)單配上兩根雜牌DDR3內(nèi)存,組成內(nèi)存雙通道,用一個(gè)350W長(zhǎng)城電源供電,一塊120GB SATA SSD做系統(tǒng)盤(pán),用上次裝置剩下的大水牛矽脂湊合湊合,最後再配上個(gè)20塊錢(qián)的電腦城小機(jī)箱,我們?nèi)僭b機(jī)的基礎(chǔ)硬體就到齊了。
(圖源:雷科技)
不服跑分!還算合理的性能表現(xiàn)
裝機(jī)完成,點(diǎn)亮機(jī)箱!
先做個(gè)簡(jiǎn)單的性能測(cè)試,作為多年服役的老將,Intel? Core?i3-4170T的性能也就那樣,即便是在用TrottlesStop解鎖功耗的情況下,也就差不多相當(dāng)於行動(dòng)端酷睿六代、酷睿七代處理器的水平。
(圖源:雷科技)
在實(shí)測(cè)環(huán)節(jié)中,CPU-Z測(cè)試單核心跑分有319.9分,多核心跑分有881.0分,在CINEBENCH測(cè)試標(biāo)準(zhǔn)下,CINEBENCH R20多核心732cb、單核心301cb。這成績(jī)當(dāng)然不算亮眼,但拿來(lái)日常辦公、輕度娛樂(lè)倒是完全足夠。
(圖源:雷科技)
再看看GPU部分,我們手上這張索泰P106-090採(cǎi)用16nm製程打造,顯示卡核心為GP106,核心頻率為1354MHz,可提升至1531MHz,具有768個(gè)著色單元,支援DirectX12,顯存規(guī)格為3072MB/192Bit三星GDDR5內(nèi)存,顯存頻率可達(dá)2002MHz。
(來(lái)源:雷科技)
值得注意的是,P106-090的介面是PCI-E x4 1.1,而P106-100的介面是PCI-E x16 1.1,這導(dǎo)致二者即便是在相同核心的情況下,依然存在著比較明顯的效能差異,我選擇P106-090這張顯示卡,也只是因?yàn)樗茉跇O低的價(jià)格下提供CUDA算力的加持罷了。
如圖所示,在評(píng)估DX11性能的Fire Strike測(cè)試中,P106-90在Extreme測(cè)試中取得了3287分的圖形分?jǐn)?shù);在評(píng)估DX12性能的Time Spy測(cè)試中,P106-90在基本測(cè)試中取得了2251分的圖形分?jǐn)?shù),這個(gè)性能表現(xiàn)和GTX1050差不多,比R5-7640H的核顯性能有一定差距。
(圖源:雷科技)
儲(chǔ)存方面,我們斥資40元購(gòu)入的這塊雜牌128GB Sata SSD硬碟,順序讀寫(xiě)速度達(dá)到505.28MB/s和400.09MB/s,隨機(jī)4K讀寫(xiě)達(dá)到132.35MB/s和244.29MB/s,儘管和M2 SSD硬碟沒(méi)得比,但是作為系統(tǒng)啟動(dòng)盤(pán)肯定是綽綽有餘了。
(圖源:雷科技)
至於這對(duì)雙通道的DDR3內(nèi)存,使用AIDA64進(jìn)行內(nèi)存緩存測(cè)試,測(cè)得的讀取速度為20894 MB/s,寫(xiě)入速度為23629 MB/s,複製速度為20901 MB/s,延遲為67.5ns,給這臺(tái)電腦用可以說(shuō)是剛剛好。
(圖源:雷科技)
大模型遊戲,居然都能跑
既然目的是在幾百塊的預(yù)算下,打造出一套可用的本地大模型遊戲主機(jī),那麼實(shí)際體驗(yàn)肯定是我們最關(guān)注的一環(huán)。
先嘗試Koblodcpp,這是一款整合Koblod.AI介面的llamacpp啟動(dòng)程序,可以運(yùn)行目前外網(wǎng)流行的GGUF格式本地大模型,甚至可以整合語(yǔ)音大模型和繪圖大模型,實(shí)現(xiàn)在對(duì)話的同時(shí),產(chǎn)生語(yǔ)音和對(duì)應(yīng)場(chǎng)景的效果。
(來(lái)源:雷科技)
遺憾的是,目前在Huggingface上面共享的GGUF格式大模型,其容量大小普遍超過(guò)了3GB,即便選用容量大小只有5GB左右的causallm_7b模型,依然會(huì)導(dǎo)致顯示卡顯存溢出引發(fā)CPU的運(yùn)算介入,最終導(dǎo)致整個(gè)大模型的運(yùn)行效率降低。
(圖源:雷科技)
姑且測(cè)試一下,在這個(gè)模式下,Kobold.AI的回覆最長(zhǎng)可達(dá)了599s(即10分鐘)左右,最短的回覆也需要50s來(lái)產(chǎn)生左右,和雲(yún)端大模型平均10s就能提供回覆的效果相差甚遠(yuǎn),體驗(yàn)確實(shí)很一般。
既然如此,我們不妨退而求其次,用英特爾AIGC助手來(lái)體驗(yàn)本地大模型,這是一個(gè)集成了多種本地大語(yǔ)言模型的演示Demo,致力於在不連接網(wǎng)路的情況下,實(shí)現(xiàn)智慧人機(jī)對(duì)話。
在關(guān)閉電腦網(wǎng)路的情況下,除開(kāi)首次部署大模型時(shí)需要一定時(shí)間外,後續(xù)的提問(wèn)基本上在5秒內(nèi)都能獲得答復(fù),不管是回答問(wèn)題、翻譯還是寫(xiě)作都非常迅速,雖然在應(yīng)對(duì)一些腦筋急轉(zhuǎn)彎或算術(shù)題時(shí)依然會(huì)出現(xiàn)邏輯錯(cuò)誤,但是在這種情況下的整體體驗(yàn)可比之前強(qiáng)太多了。
(圖源:雷科技)
當(dāng)然,角色卡、提示詞這些比較高級(jí)的功能就肯定用不了了。
再看看AI繪畫(huà),我這裡使用的是bilibili UP主@整合的繪世啟動(dòng)器,集Stablediffsion WebUI、各種SD插件下載和模型遠(yuǎn)端使用於一體,算是相當(dāng)實(shí)用的一體啟動(dòng)器。
(圖源:雷科技)
考慮到P106- 90只有3GB的運(yùn)存限制,我選擇了經(jīng)過(guò)剪裁後容量?jī)H2GB的mistoonAnime MIX_v20模型,實(shí)測(cè)P106-90產(chǎn)生4張128*160的圖片耗時(shí)約三分鐘,產(chǎn)生4張240*320的圖片耗時(shí)七到八分鐘,而產(chǎn)生1張512*512的圖片則需要六分鐘左右。
(圖源:雷科技)
從實(shí)際體驗(yàn)來(lái)看,個(gè)人建議在減少提示詞和插件的情況下,從128*160的圖片開(kāi)始生成,遇到了合適的圖片再進(jìn)行單張圖片的AI升格重繪,這樣整體的體驗(yàn)還是挺不錯(cuò)的,否則用512*512的規(guī)格生成圖片,廢圖機(jī)率不是一般的高。
(圖源:雷科技,用SD產(chǎn)生的圖片)
#既然本地大模型算是能用,那麼遊戲體驗(yàn)又怎麼樣呢?
考慮到實(shí)際硬體配置,我們先後測(cè)試了《孤島驚魂6》《古墓奇兵:暗影》《F1 2020》以及《地平線:零之曙光》四款遊戲在FHD解析度下的體驗(yàn),讓我們來(lái)看看各自的表現(xiàn)。
在《孤島驚魂6》的效能測(cè)試中,在1920*1080最低畫(huà)質(zhì)下,這臺(tái)電腦的平均幀數(shù)為32fps,即便開(kāi)啟FSR性能檔,最終遊戲幀數(shù)也只能在40fps上下波動(dòng)。
(來(lái)源:雷科技)
##總的來(lái)說(shuō),受到嚴(yán)苛的頻寬限制影響,P106-090的實(shí)際性能並不如和它跑分相近的GTX1050,最多就是比Iris Xe 96EU核顯略強(qiáng)一些的水平,應(yīng)付近些年的3A遊戲已經(jīng)有些捉襟見(jiàn)肘了。
總結(jié):確實(shí)能跑大模型,但穩(wěn)定性欠佳
優(yōu)點(diǎn):
#1、成本預(yù)算低廉;
2、確實(shí)能運(yùn)行本地大模型。
缺點(diǎn):
1、二手零件無(wú)保障;
2、礦卡驅(qū)動(dòng)非常容易掉,白螢?zāi)粏?wèn)題時(shí)有發(fā)生。
這檔300元的電腦主機(jī)能用嗎?
儘管CPU規(guī)格老舊、礦卡表現(xiàn)不穩(wěn)定,但是這款預(yù)算300元的電腦主機(jī)確實(shí)能完成本地大模型的部署,在文本生成和AI繪圖的體驗(yàn)上都沒(méi)有什麼問(wèn)題,你甚至能把它當(dāng)成一臺(tái)AI PC。
即便運(yùn)行《孤島驚魂6》這樣的3A大作,這款機(jī)子也能在FHD低畫(huà)質(zhì)下保證60幀穩(wěn)定運(yùn)行,那麼應(yīng)付《英雄聯(lián)盟》這類網(wǎng)遊應(yīng)該是綽綽有餘的,也可以當(dāng)一臺(tái)入門(mén)的網(wǎng)遊主機(jī)來(lái)用。
(圖源:雷科技)
那麼我對(duì)這款電腦主機(jī)感到滿意嗎?
答案是否定的,在實(shí)際使用的過(guò)程中,P106-90這張礦卡多次出現(xiàn)掉驅(qū)動(dòng)導(dǎo)致電腦白屏,需要用DDDU卸載驅(qū)動(dòng)再重裝的情況。如果說(shuō)這放在測(cè)驗(yàn)裡還只是有點(diǎn)麻煩的話,那麼放在日常使用上肯定是很難讓人接受的。
值得注意的是,目前閒魚(yú)上面還有不少和我組裝起來(lái)的這臺(tái)機(jī)子配置類似的洋垃圾整機(jī),售價(jià)普遍在350- 400元左右,目標(biāo)受眾很明顯是剛上大學(xué)或走出社會(huì)的年輕群體,個(gè)人建議大夥別去購(gòu)買這些產(chǎn)品,一分錢(qián)一分貨可不是開(kāi)玩笑的。
歸根究底,撿垃圾有風(fēng)險(xiǎn),上車前需謹(jǐn)慎。對(duì)於玩膩了高階電腦的玩家來(lái)說(shuō),偶爾玩玩撿垃圾主機(jī)還是很有意思的,但這只是為了樂(lè)子,並不是真的打算將其作為主力機(jī)長(zhǎng)期使用,畢竟撿垃圾主機(jī)的配件年久失修而且沒(méi)有保全,萬(wàn)一因?yàn)樗墓收隙チ酥匾獢?shù)據(jù),那就得不償失了。
不過(guò),透過(guò)用三百塊預(yù)算完成能運(yùn)行本地大模型PC的嘗試,一定程度上說(shuō)明,硬體效能可能不是限制AI PC發(fā)展的主要因素。至少在一般消費(fèi)者的使用場(chǎng)景中,相比起算力提升,PC廠商更該做的應(yīng)該是幫助用戶搭建好AI大模型的框架和環(huán)境,在系統(tǒng)和軟體上給用戶帶來(lái)更好的體驗(yàn)。換句話說(shuō),AI PC應(yīng)該是用戶拿到手就能用的,而不是像我們自己組裝DIY PC那樣折騰。
以上是我花300塊組裝的電腦,成功跑通了本地大模型的詳細(xì)內(nèi)容。更多資訊請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章!

熱AI工具

Undress AI Tool
免費(fèi)脫衣圖片

Undresser.AI Undress
人工智慧驅(qū)動(dòng)的應(yīng)用程序,用於創(chuàng)建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Clothoff.io
AI脫衣器

Video Face Swap
使用我們完全免費(fèi)的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門(mén)文章

熱工具

記事本++7.3.1
好用且免費(fèi)的程式碼編輯器

SublimeText3漢化版
中文版,非常好用

禪工作室 13.0.1
強(qiáng)大的PHP整合開(kāi)發(fā)環(huán)境

Dreamweaver CS6
視覺(jué)化網(wǎng)頁(yè)開(kāi)發(fā)工具

SublimeText3 Mac版
神級(jí)程式碼編輯軟體(SublimeText3)

在PHP中搭建社交分享功能的核心方法是通過(guò)動(dòng)態(tài)生成符合各平臺(tái)要求的分享鏈接。 1.首先獲取當(dāng)前頁(yè)面或指定的URL及文章信息;2.使用urlencode對(duì)參數(shù)進(jìn)行編碼;3.根據(jù)各平臺(tái)協(xié)議拼接生成分享鏈接;4.在前端展示鏈接供用戶點(diǎn)擊分享;5.動(dòng)態(tài)生成頁(yè)面OG標(biāo)籤優(yōu)化分享內(nèi)容展示;6.務(wù)必對(duì)用戶輸入進(jìn)行轉(zhuǎn)義以防止XSS攻擊。該方法無(wú)需複雜認(rèn)證,維護(hù)成本低,適用於大多數(shù)內(nèi)容分享需求。

要實(shí)現(xiàn)PHP結(jié)合AI進(jìn)行文本糾錯(cuò)與語(yǔ)法優(yōu)化,需按以下步驟操作:1.選擇適合的AI模型或API,如百度、騰訊API或開(kāi)源NLP庫(kù);2.通過(guò)PHP的curl或Guzzle調(diào)用API並處理返回結(jié)果;3.在應(yīng)用中展示糾錯(cuò)信息並允許用戶選擇是否採(cǎi)納;4.使用php-l和PHP_CodeSniffer進(jìn)行語(yǔ)法檢測(cè)與代碼優(yōu)化;5.持續(xù)收集反饋並更新模型或規(guī)則以提升效果。選擇AIAPI時(shí)應(yīng)重點(diǎn)評(píng)估準(zhǔn)確率、響應(yīng)速度、價(jià)格及對(duì)PHP的支持。代碼優(yōu)化應(yīng)遵循PSR規(guī)範(fàn)、合理使用緩存、避免循環(huán)查詢、定期審查代碼,並藉助X

用戶語(yǔ)音輸入通過(guò)前端JavaScript的MediaRecorderAPI捕獲並發(fā)送至PHP後端;2.PHP將音頻保存為臨時(shí)文件後調(diào)用STTAPI(如Google或百度語(yǔ)音識(shí)別)轉(zhuǎn)換為文本;3.PHP將文本發(fā)送至AI服務(wù)(如OpenAIGPT)獲取智能回復(fù);4.PHP再調(diào)用TTSAPI(如百度或Google語(yǔ)音合成)將回復(fù)轉(zhuǎn)為語(yǔ)音文件;5.PHP將語(yǔ)音文件流式返回前端播放,完成交互。整個(gè)流程由PHP主導(dǎo)數(shù)據(jù)流轉(zhuǎn)與錯(cuò)誤處理,確保各環(huán)節(jié)無(wú)縫銜接。

PHP不直接進(jìn)行AI圖像處理,而是通過(guò)API集成,因?yàn)樗瞄L(zhǎng)Web開(kāi)發(fā)而非計(jì)算密集型任務(wù),API集成能實(shí)現(xiàn)專業(yè)分工、降低成本、提升效率;2.整合關(guān)鍵技術(shù)包括使用Guzzle或cURL發(fā)送HTTP請(qǐng)求、JSON數(shù)據(jù)編解碼、API密鑰安全認(rèn)證、異步隊(duì)列處理耗時(shí)任務(wù)、健壯錯(cuò)誤處理與重試機(jī)制、圖像存儲(chǔ)與展示;3.常見(jiàn)挑戰(zhàn)有API成本失控、生成結(jié)果不可控、用戶體驗(yàn)差、安全風(fēng)險(xiǎn)和數(shù)據(jù)管理難,應(yīng)對(duì)策略分別為設(shè)置用戶配額與緩存、提供prompt指導(dǎo)與多圖選擇、異步通知與進(jìn)度提示、密鑰環(huán)境變量存儲(chǔ)與內(nèi)容審核、雲(yún)存

PHP通過(guò)數(shù)據(jù)庫(kù)事務(wù)與FORUPDATE行鎖確保庫(kù)存扣減原子性,防止高並發(fā)超賣;2.多平臺(tái)庫(kù)存一致性需依賴中心化管理與事件驅(qū)動(dòng)同步,結(jié)合API/Webhook通知及消息隊(duì)列保障數(shù)據(jù)可靠傳遞;3.報(bào)警機(jī)制應(yīng)分場(chǎng)景設(shè)置低庫(kù)存、零/負(fù)庫(kù)存、滯銷、補(bǔ)貨週期和異常波動(dòng)策略,並按緊急程度選擇釘釘、短信或郵件通知責(zé)任人,且報(bào)警信息需完整明確,以實(shí)現(xiàn)業(yè)務(wù)適配與快速響應(yīng)。

選擇合適AI語(yǔ)音識(shí)別服務(wù)並集成PHPSDK;2.用PHP調(diào)用ffmpeg將錄音轉(zhuǎn)為API要求格式(如wav);3.上傳文件至雲(yún)存儲(chǔ)並調(diào)用API異步識(shí)別;4.解析JSON結(jié)果並用NLP技術(shù)整理文本;5.生成Word或Markdown文檔完成會(huì)議記錄自動(dòng)化,全過(guò)程需確保數(shù)據(jù)加密、訪問(wèn)控制與合規(guī)性以保障隱私安全。

PHP在智能客服中扮演連接器和大腦中樞角色,負(fù)責(zé)串聯(lián)前端輸入、數(shù)據(jù)庫(kù)存儲(chǔ)與外部AI服務(wù);2.實(shí)現(xiàn)時(shí)需構(gòu)建多層架構(gòu):前端接收用戶消息,PHP後端預(yù)處理並路由請(qǐng)求,先匹配本地知識(shí)庫(kù),未命中則調(diào)用外部AI服務(wù)如OpenAI或Dialogflow獲取智能回復(fù);3.會(huì)話管理由PHP寫(xiě)入MySQL等數(shù)據(jù)庫(kù),保障上下文連續(xù)性;4.集成AI服務(wù)需用Guzzle發(fā)送HTTP請(qǐng)求,安全存儲(chǔ)APIKey,做好錯(cuò)誤處理與響應(yīng)解析;5.數(shù)據(jù)庫(kù)設(shè)計(jì)需包含會(huì)話、消息、知識(shí)庫(kù)、用戶表,合理建索引、保障安全與性能,支撐機(jī)器人記憶

選擇AI寫(xiě)作API需考察穩(wěn)定性、價(jià)格、功能匹配度及是否有免費(fèi)試用;2.PHP用Guzzle發(fā)送POST請(qǐng)求並用json_decode處理返回的JSON數(shù)據(jù),注意捕獲異常和錯(cuò)誤碼;3.將AI內(nèi)容融入項(xiàng)目需建立審核機(jī)制並支持個(gè)性化定制;4.優(yōu)化性能可採(cǎi)用緩存、異步隊(duì)列和限流技術(shù),避免高並發(fā)下瓶頸。
