品玩2月10日訊,據(jù)騰訊混元官方消息,騰訊混元今日正式推出一款面向消費級硬端的,極小規(guī)模模型HY-1.8B-2Bit。該模型等效參數(shù)量僅為0.3B,內存占用約600MB,比許多常用手機應用更小。
通過對原有1.8B模型進行量化感知訓練,新模型在將等效參數(shù)量降低6倍的同時,保留了完整的思維鏈能力。在端側真實設備上,其文本生成速度比原始精度模型快2至3倍,首字響應速度提升最高可達8倍。
技術層面,該模型通過數(shù)據(jù)優(yōu)化和訓練策略創(chuàng)新,使其在數(shù)學、代碼等能力指標上與4比特量化模型相當,實現(xiàn)了小體積下的高性能。模型已提供適配格式,可在搭載Arm SME2等技術的移動平臺上高效運行,為端側AI的隱私保護和離線應用提供了新的解決方案。
![]()
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.