deepseek-v3.2-exp是deepseek ai于2025年9月29日發(fā)布的實(shí)驗(yàn)性大語(yǔ)言模型,標(biāo)志著該公司在ai架構(gòu)創(chuàng)新方面的重要里程碑。作為v3.1-terminus的升級(jí)版本,v3.2-exp的核心創(chuàng)新在于引入了deepseek稀疏注意力(dsa)機(jī)制。
傳統(tǒng)注意力機(jī)制需要計(jì)算序列中每個(gè)token與所有其他token的關(guān)系,計(jì)算復(fù)雜度為O(n2)。DSA通過(guò)以下方式進(jìn)行優(yōu)化:
根據(jù)官方性能數(shù)據(jù):
指標(biāo) | DeepSeek-V3.1-Terminus | DeepSeek-V3.2-Exp | 改進(jìn)幅度 |
---|---|---|---|
長(zhǎng)文本推理速度 | 基準(zhǔn) | 顯著提升 | ~2-3倍 |
內(nèi)存使用量 | 基準(zhǔn) | 降低 | ~30-40% |
訓(xùn)練效率 | 基準(zhǔn) | 提升 | ~50% |
API成本 | 基準(zhǔn) | 降低 | 50%+ |
基準(zhǔn)測(cè)試 | DeepSeek-V3.1-Terminus | DeepSeek-V3.2-Exp | 變化 |
---|---|---|---|
MMLU-Pro | 85.0 | 85.0 | 持平? |
GPQA-Diamond | 80.7 | 79.9 | -0.8 |
Humanity's Last Exam | 21.7 | 19.8 | -1.9 |
LiveCodeBench | 74.9 | 74.1 | -0.8 |
AIME 2025 | 88.4 | 89.3 | +0.9? |
HMMT 2025 | 86.1 | 83.6 | -2.5 |
Codeforces | 2046 | 2121 | +75? |
Aider-Polyglot | 76.1 | 74.5 | -1.6 |
基準(zhǔn)測(cè)試 | DeepSeek-V3.1-Terminus | DeepSeek-V3.2-Exp | 變化 |
---|---|---|---|
BrowseComp | 38.5 | 40.1 | +1.6? |
BrowseComp-zh | 45.0 | 47.9 | +2.9? |
SimpleQA | 96.8 | 97.1 | +0.3? |
SWE Verified | 68.4 | 67.8 | -0.6 |
SWE-bench Multilingual | 57.8 | 57.9 | +0.1? |
Terminal-bench | 36.7 | 37.7 | +1.0? |
V3.2-Exp在保持整體性能水平的同時(shí),在特定任務(wù)(如數(shù)學(xué)推理、編程競(jìng)賽、瀏覽器操作)上表現(xiàn)出提升,表明稀疏注意力機(jī)制不僅提高了效率,還可能在某些場(chǎng)景下增強(qiáng)了模型能力。
DeepSeek-V3.2-Exp API采用基于緩存的差異化定價(jià)策略:
服務(wù)類(lèi)型 | 緩存命中 | 緩存未命中 |
---|---|---|
輸入成本 | $0.07/百萬(wàn)token | $0.56/百萬(wàn)token |
輸出成本 | $0.16/百萬(wàn)token | $0.42/百萬(wàn)token |
# 模型權(quán)重轉(zhuǎn)換cd inferenceexport EXPERTS=256 python convert.py --hf-ckpt-path ${HF_CKPT_PATH} \ --save-path ${SAVE_PATH} \ --n-experts ${EXPERTS} \ --model-parallel ${MP}# 啟動(dòng)交互式界面export CONFIG=config_671B_v3.2.json torchrun --nproc-per-node ${MP} generate.py \ --ckpt-path ${SAVE_PATH} \ --config ${CONFIG} \ --interactive
硬件平臺(tái) | Docker鏡像 | 特性 |
---|---|---|
H200 | lmsysorg/sglang:dsv32 | 最佳性能 |
MI350 | lmsysorg/sglang:dsv32-rocm | AMD GPU支持 |
NPU A2/A3 | lmsysorg/sglang:dsv32-a2/a3 | 國(guó)產(chǎn)芯片適配 |
啟動(dòng)命令:
python -m sglang.launch_server \ --model deepseek-ai/DeepSeek-V3.2-Exp \ --tp 8 --dp 8 --page-size 64
vLLM提供day-0支持,詳細(xì)配置可參考官方recipes。
部署規(guī)模 | GPU配置 | 內(nèi)存需求 | 適用場(chǎng)景 |
---|---|---|---|
小規(guī)模測(cè)試 | 1x H100 | 80GB | 研發(fā)測(cè)試 |
中等規(guī)模 | 4x H100 | 320GB | 企業(yè)應(yīng)用 |
大規(guī)模生產(chǎn) | 8x H100 | 640GB+ | 商業(yè)服務(wù) |
問(wèn)小白讓你更有料, AI 智能聊天, 問(wèn)答助手, AI 智能搜索, 免費(fèi)無(wú)限量使用 DeepSeek R1 模型,支持聯(lián)網(wǎng)搜索。
微信掃碼
關(guān)注PHP中文網(wǎng)服務(wù)號(hào)
QQ掃碼
加入技術(shù)交流群
Copyright 2014-2025 http://ipnx.cn/ All Rights Reserved | php.cn | 湘ICP備2023035733號(hào)