人民網(wǎng)成都7月30日電 （趙祖樂(lè)）近日，2025（第二屆）產(chǎn)融合作大會(huì)在四川宜賓舉行。會(huì)上，浪潮存儲(chǔ)營(yíng)銷(xiāo)總監(jiān)張業(yè)興代表浪潮存儲(chǔ)正式發(fā)布國(guó)內(nèi)首款推理加速存儲(chǔ)AS3000G7。

該產(chǎn)品憑借“以存代算”的技術(shù)創(chuàng)新，有效破解KV Cache重復(fù)計(jì)算帶來(lái)的算力和時(shí)延損耗難題，為大模型推理場(chǎng)景提供突破性解決方案，加速推動(dòng)大模型在金融、科研等領(lǐng)域的規(guī)?；涞亍?/p>

作為國(guó)內(nèi)首款推理加速存儲(chǔ)產(chǎn)品，AS3000G7有四大核心優(yōu)勢(shì)，具體如下：

降低響應(yīng)延遲。將歷史Token緩存至AS3000G7存儲(chǔ)層，下輪對(duì)話從NVMe SSD硬盤(pán)中拉取歷史token的KV Cache，減少GPU重復(fù)計(jì)算帶來(lái)的資源消耗，TTFT降低90%。

承載更多并發(fā)。TTFT在400ms以?xún)?nèi)的前提下，系統(tǒng)可支持的吞吐量（Token/s）可達(dá)原方案5倍，單位GPU資源可承載更多推理請(qǐng)求。

降低GPU功耗。TTFT的降低與并發(fā)的提升，單Token平均功耗下降60%，在承載同等規(guī)模token負(fù)載時(shí)，GPU服務(wù)器整機(jī)功耗降低。

生態(tài)兼容適配。廣泛兼容國(guó)產(chǎn)與海外芯片的異構(gòu)算力平臺(tái)，深度適配vLLM框架下的deepseek等主流大模型，優(yōu)化推理體驗(yàn)。

隨著大模型推理需求的持續(xù)攀升，AS3000G7的推出恰逢其時(shí)。其通過(guò)“以存代算”的技術(shù)創(chuàng)新突破KV Cache重計(jì)算瓶頸，為AI規(guī)模化應(yīng)用筑牢存儲(chǔ)根基。未來(lái)，隨著多模態(tài)與實(shí)時(shí)交互場(chǎng)景的普及以及存儲(chǔ)與計(jì)算的協(xié)同優(yōu)化，KV Cache“以存代算”將成為降本增效的核心競(jìng)爭(zhēng)力，為智能時(shí)代的推理存儲(chǔ)構(gòu)建新基準(zhǔn)。

分享讓更多人看到