上海
品玩2月11日訊，騰訊混元正式發(fā)布其面向消費(fèi)級(jí)硬件的“極小”模型HY-1.8B-2Bit。該模型基于首個(gè)產(chǎn)業(yè)級(jí)2Bit端側(cè)量化方案，通過(guò)量化感知訓(xùn)練（QAT）技術(shù)，實(shí)現(xiàn)了模型體積與性能的平衡突破。
HY-1.8B-2Bit等效參數(shù)量?jī)H為0.3B，內(nèi)存占用低至600MB。它在保留原模型“全思考”能力的同時(shí)，在多項(xiàng)核心能力指標(biāo)上與4比特量化模型表現(xiàn)相當(dāng)，并在真實(shí)端側(cè)設(shè)備上實(shí)現(xiàn)了生成速度2-3倍的顯著提升，為手機(jī)、智能家居等設(shè)備提供了離線高效部署的新方案。
該模型已在GitHub與Hugging Face等平臺(tái)開(kāi)源，并完成了在Arm、天璣等主流計(jì)算平臺(tái)的適配，旨在推動(dòng)大語(yǔ)言模型在資源受限的邊緣計(jì)算場(chǎng)景中落地應(yīng)用。
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布，本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
