北京
大模型圈有個不成文的規(guī)矩：參數(shù)越大，門檻越高。谷歌昨天開源的Gemma 4，26B參數(shù)、多模態(tài)、上下文窗口128K，官方推薦的運(yùn)行配置是「高端GPU集群」。結(jié)果不到24小時(shí)，開發(fā)者社區(qū)就有人把它壓縮到Q4_K_M量化版，用單張消費(fèi)級顯卡跑通了。
llama.cpp項(xiàng)目的核心維護(hù)者Georgi Gerganov轉(zhuǎn)發(fā)了這條技術(shù)路線，沒有評論，只附了一個。這相當(dāng)于在米其林餐廳后廚門口，有人支了個煎餅攤，還做出了七分相似的味道。
量化版的制作者是社區(qū)開發(fā)者「ggml-org」，他在HuggingFace上傳的GGUF文件體積只有15.6GB。按照他的實(shí)測，RTX 4090在4-bit量化下能跑到每秒8個token，內(nèi)存占用壓到了14GB出頭。作為對比，官方FP16版本需要52GB顯存，差距是四倍。
「這不是官方支持的用法，但確實(shí)能跑。」他在模型卡頁面寫了這么一句。谷歌Gemma團(tuán)隊(duì)的產(chǎn)品經(jīng)理至今沒有回應(yīng)這條「民間移植」，但Gemma的GitHub倉庫昨晚新增了37個關(guān)于本地部署的issue。
更微妙的是時(shí)間線。Gemma 4的發(fā)布會選在Google I/O前一周，明顯是想搶聲量。結(jié)果社區(qū)用一套開源工具鏈，把它的「云端專屬」標(biāo)簽撕掉了一半。有開發(fā)者在Reddit吐槽：「谷歌花了三個月優(yōu)化TPU推理，我們一晚上就讓它在CUDA上喘氣了。」
目前HuggingFace上這個量化版的下載量已經(jīng)破萬。谷歌原版的模型卡頁面，最熱門的討論串標(biāo)題是：「有人試過GGUF版本嗎？體驗(yàn)如何？」
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布，本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
