開卷視覺編程！GLM-5V-Turbo上線，一張草圖搞定前端

聽雨 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

國產(chǎn)大模型，開卷視覺編程，主打一個AI看著草圖就能vibe coding。

前腳千問剛發(fā)完Qwen3.5-Omni，后腳智譜就上新了多模態(tài)Coding基座模型——GLM-5V-Turbo

給它一個鏈接，它能直接復刻整個網(wǎng)頁前端，還是能理解頁面結(jié)構(gòu)和背后交互邏輯的內(nèi)種：

或者給它一個草圖、設計稿或者網(wǎng)站截圖，它也能立刻生成完整可運行的前端工程，還準確還原版式和配色：

這波產(chǎn)品經(jīng)理狂喜，完全可以自己零門檻做出demo，再拿去跟開發(fā)討論。

要不Vibe Coding換個詞，以后改叫Vision Coding？（doge）

GLM-5V-Turbo還讓龍蝦長出了眼睛，可以解讀復雜圖表。

配合AutoClaw已上線的“股票分析師”Skill，龍蝦能直接看懂K線走勢、估值區(qū)間圖和券商研報圖表，還能生成圖文并茂的報告。

跑分上，GLM-5V-Turbo也是表現(xiàn)突出，在多模態(tài)Coding、Agentic任務以及純文本Coding上都實現(xiàn)了對Claude Opus 4.6的超越。

在設計稿還原、視覺代碼生成、多模態(tài)檢索與問答、視覺探查等基準上，GLM-5V-Turbo都相當領先。

而在衡量真實GUI環(huán)境操控能力的AndroidWorld、WebVoyager等基準上，同樣表現(xiàn)突出。

在純文本Coding能力方面，GLM-5V-Turbo的表現(xiàn)同樣保持穩(wěn)定。這說明視覺能力引入后，純文本編程與推理能力保持了同等水準

重點是，價格也很可觀。

也難怪有網(wǎng)友銳評：Claude Code的時代結(jié)束了。

一張草圖畫出前端

話不多說，上一手實測。

先來考考GLM-5V-Turbo的Vision Coding能力：給它一張草圖，讓它畫出產(chǎn)品前端。

圖，是真的隨手畫的，非常簡單。不過看不懂沒關系，我們再加上提示詞：

• 根據(jù)草圖設計一個音樂播放器的前端界面，左側(cè)是音樂播放頁面，右側(cè)是好歌推薦和音樂播放列表，深色背景，古典風格。

GLM-5V-Turbo的反應很快，大概十幾秒的時間，它已經(jīng)給我寫出了HTML和CSS代碼。

在vision coding的過程中，你也可以不斷與它交互，讓它按你的要求修改。比如一開始它做出的效果我不太滿意，又讓它修改了兩三次。

最后得到了這樣一個前端頁面：

左側(cè)是音樂播放器，點擊“播放”鍵會有唱片播放或停止的效果，左右也可以切歌。

右側(cè)上方是好歌推薦，下方是播放列表，和我畫的草圖基本一致。

點擊播放列表的每一首歌，左側(cè)的播放頁面也會相應切換，基本的交互功能已經(jīng)有了，頁面色調(diào)和風格也比較符合提示詞要求。

美中不足的是，左下角不起眼的“順序/隨機”播放按鈕，點擊后不會真的按照邏輯切歌，還處于擺設的狀態(tài)。

接下來如果想優(yōu)化，可以進一步給模型提需求。

我們再來看看另一個case——讓GLM-5V-Turbo解讀論文。

這是一篇來自馬薩諸塞大學的經(jīng)濟學實證研究論文，里面復雜的公式和圖表很多。

但是GLM-5V-Turbo的優(yōu)勢就在于——可視化

它直接幫我們拆解了整篇論文的結(jié)構(gòu)，把核心發(fā)現(xiàn)、主要結(jié)論和相應圖表都提煉了出來，還生成了一個圖文并茂的報告。

這對于外行來說太友好了，掃一眼就能大概看懂這篇研究在做什么，每個圖表對應的含義是怎樣的。

轉(zhuǎn)念一想，這其實也相當于另一個形式的ppt？學生黨做論文pre都可以直接拿來用了。

給龍蝦安上“眼睛”

智譜這次還特別拓展了龍蝦的任務邊界，給自家澳龍安上了“眼睛”。

在AutoClaw中選擇GLM-5V-Turbo模型，你就可以讓它瀏覽網(wǎng)頁和文檔，做報告和PPT，還可以解讀復雜圖表。

澳龍已經(jīng)上線了“股票分析師”skill，完美適配GLM-5V-Turbo解讀復雜圖表的能力。

我在飛書上給它截圖了一張英偉達股票圖，讓它幫我分析一下。

沒過多久，它就給我生成了一份圖文并茂的分析報告：

整體內(nèi)容還是挺詳細的，還給出了基本面分析和操作建議，簡單作為一個參考是足夠了的。

這么強，咋做到的？

據(jù)官方介紹，GLM-5V-Turbo在模型架構(gòu)、訓練方法、數(shù)據(jù)構(gòu)造、工具鏈四個層面都做了升級：

第一，原生多模態(tài)融合。

GLM-5V-Turbo從預訓練階段就把文本和圖像能力一起訓練，后面再通過進一步優(yōu)化，讓兩者配合更默契。

同時，他們做了一個新的視覺編碼器（CogViT），在識別物體、理解細節(jié)、空間關系這些能力上都更強。

再加上一個更適合多模態(tài)推理的結(jié)構(gòu)（MTP），整體推理效率也更高。

第二，30+ 任務協(xié)同強化學習。

在強化學習階段，模型同時訓練了30多個任務，覆蓋STEM推理、圖像定位（grounding）、視頻理解、GUI操作等多個方向。

這樣帶來的好處是：模型不只是某一項能力強，而是感知、推理、執(zhí)行整體更均衡，也更穩(wěn)定，避免了只在單一領域“偏科”。

第三，專門為Agent能力設計數(shù)據(jù)。

Agent最大的難點是：數(shù)據(jù)少、而且很難驗證對不對。

智譜的做法是：

• 搭了一套從“看懂元素”到“預測一連串動作”的訓練體系；
• 用合成環(huán)境大規(guī)模生成可控、可驗證的數(shù)據(jù)；
• 甚至在預訓練階段就提前加入Agent相關能力（比如GUI操作數(shù)據(jù)），減少模型幻覺。

另外，還用了類似“以評估反推能力”的方法，用多模態(tài)任務去倒逼模型變得更像一個能干活的Agent。

第四，把工具鏈從“純文本”升級到“能看能操作”。

除了原有的文本工具，GLM-5V-Turbo新增支持多模態(tài)搜索、畫框、截圖、讀網(wǎng)頁等多模態(tài)tools。

這意味著模型能真正做到一整套閉環(huán)：看懂環(huán)境 → 規(guī)劃步驟 → 動手執(zhí)行。

而且它和Claude Code、AutoClaw這些工具的配合也更好了，整體更接近一個能實際完成任務的智能體。

目前，新模型在Z.ai和AutoClaw上都可以體驗，也支持API調(diào)用，感興趣的朋友快去試試吧~

體驗地址：
AutoClaw（澳龍）：https://autoglm.zhipuai.cn/autoclaw/
Z.ai：https://chat.z.ai
API接入：
https://docs.bigmodel.cn/cn/guide/models/vlm/glm-5v-turbo