智譜GLM-4.5-Air量化大模型，本地部署，實測

大家好，我是 Ai 學習的老章

之前對智譜 AI 的關注比較少，最近發布的的 GLM4.6 非常能打

GLM-4.6 的代碼生成能力已達到國際領先水平，與 Claude Sonnet 4 模型持平，是國內目前表現最優的編程專用模型，在綜合性能評估中位列全球第四，與阿里巴巴旗下 Qwen3-Max-Preview 模型并列中國區榜首，同時摘得全球開源模型桂冠。

國內大模型開源這一塊，除了 DeepSeek 和 Qwen，其實智譜也很能打的

之前偶爾關注智譜，是看到美國商務部把它列為實體清單，還有 OpenAI 點名它是全球戰略的競爭對手

OpenAI 旗下 Global Affairs 賬號近日發布專題博文《Chinese Progress at the Front》，罕見聚焦中國 AI 企業發展動態。文中明確將 2019 年成立的智譜 AI 定義為 "中國大模型領域新銳代表"，強調其通過良性競爭構建的技術生態，已成為中國打造自主 AI 體系的核心力量。

但是 GLM-4.6 本地部署還是有點成本太高

原版 714GB、FP8 版本模型文件也 355GB 了

倒是 GLM-4.5-AIR 有了比較靠譜的量化版本——GLM-4.5-Air-AWQ-4bit，它的模型文件只有 64GB 不到（GLM-4.5、GLM-4.5-Air、GLM-4.5-Air-FP8 的模型文件大小分別是 717GB、221GB、113GB）

國內鏡像：https://modelscope.cn/models/cpatonn-mirror/GLM-4.5-Air-AWQ/files

GLM-4.5系列模型是為智能代理設計的基礎模型，GLM-4.5-Air 采用了更緊湊的設計，總共有1060 億參數，120 億活躍參數。在 12 個行業標準基準測試中的全面評估中，GLM-4.5-Air 在保持卓越效率的同時，也取得了具有競爭力的59.8分。

本地部署

下載模型：modelscope download --model cpatonn-mirror/GLM-4.5-Air-AWQ --local_dir ./dir

vllm 啟動模型，我用一張 141GB 的 H200 顯卡拉起模型，啟動腳本如下：

啟動很順利

先來做一個性能測試，速度還行，加大 max-num-seqs 還能把總平均 Token 生成速度拉更高，這也是用vllm啟動safetensors，而非選擇llama.cpp啟動GGUF的好處。

簡單看下代碼和現實世界理解能力：用大模型生成人體器官結構圖

GLM-4.5-air

ChatGPT
GLM-4.6DeepSeek-V3.2

看官方測評數據和市面上的評價，GLM-4.5-Air 總體看性價比還是很高的，比肩而立 DeepSeek-R1 了，運行成本卻低 N 多檔次