高通發(fā)布AI200與AI250，升級數(shù)據(jù)中心AI推理解決方案

【環(huán)球網(wǎng)科技綜合報道】10月28日，高通宣布推出面向數(shù)據(jù)中心的下一代AI推理優(yōu)化方案，包括基于Qualcomm AI200與AI250芯片的加速卡及機(jī)架系統(tǒng)。依托自身在NPU技術(shù)領(lǐng)域的積累，該系列方案聚焦機(jī)架級性能與內(nèi)存容量優(yōu)化，可憑借高效能為生成式AI推理提供支持，助力各行業(yè)推進(jìn)可擴(kuò)展、高效率的AI部署。

Qualcomm AI200方案專為機(jī)架級AI推理設(shè)計，重點(diǎn)服務(wù)大語言模型（LLM）、多模態(tài)模型（LMM）推理及其他AI工作負(fù)載，核心優(yōu)勢在于低總體擁有成本與性能優(yōu)化。每張加速卡支持768GB LPDDR內(nèi)存，既能滿足更高內(nèi)存容量需求，又能控制成本，為AI推理場景提供擴(kuò)展性與靈活性支持。

Qualcomm AI250方案則首發(fā)近存計算（Near-Memory Computing）創(chuàng)新內(nèi)存架構(gòu)，該架構(gòu)可實(shí)現(xiàn)10倍以上有效內(nèi)存帶寬提升，同時顯著降低功耗，為AI推理工作負(fù)載帶來能效與性能提升。此外，其支持的解耦式AI推理功能，能實(shí)現(xiàn)硬件資源高效利用，適配不同客戶的性能與成本需求。

Qualcomm AI200與AI250的機(jī)架解決方案具備多項(xiàng)共性技術(shù)設(shè)計：均支持直接液冷散熱，可提升散熱效率；兼容PCIe縱向擴(kuò)展與以太網(wǎng)橫向擴(kuò)展，滿足不同規(guī)模部署需求；內(nèi)置機(jī)密計算功能，保障AI工作負(fù)載的運(yùn)行安全；整機(jī)架功耗統(tǒng)一控制為160千瓦，符合數(shù)據(jù)中心能耗管理標(biāo)準(zhǔn)。

高通技術(shù)公司高級副總裁兼技術(shù)規(guī)劃、邊緣解決方案和數(shù)據(jù)中心業(yè)務(wù)總經(jīng)理馬德嘉（Durga Malladi）稱，為配合硬件方案落地，高通技術(shù)公司提供超大規(guī)模級AI軟件棧，覆蓋從應(yīng)用層到系統(tǒng)軟件層的全鏈路，且針對AI推理場景優(yōu)化。據(jù)悉，該軟件棧支持主流機(jī)器學(xué)習(xí)（ML）框架、推理引擎、生成式AI框架，以及解耦服務(wù)等LLM/LMM推理優(yōu)化技術(shù)。

開發(fā)者可通過高通的高效Transformer庫與Qualcomm AI Inference Suite，實(shí)現(xiàn)模型無縫接入，還能一鍵部署Hugging Face模型。同時，軟件端提供開箱即用的AI應(yīng)用與智能體、完善工具、庫、API接口及AI運(yùn)營化服務(wù)，降低企業(yè)與開發(fā)者的集成、管理及擴(kuò)展成本。

Qualcomm AI200預(yù)計于2026年實(shí)現(xiàn)商用，Qualcomm AI250則計劃在2027年推向市場。未來，高通技術(shù)公司將按年度迭代節(jié)奏推進(jìn)數(shù)據(jù)中心產(chǎn)品技術(shù)路線圖，持續(xù)聚焦AI推理性能、能效與總體擁有成本優(yōu)化，助力數(shù)據(jù)中心更好適配生成式AI發(fā)展需求。(心月)