ollama v0.17.5正式發(fā)布：新增Qwen3.5系列模型，全方位優(yōu)化GPU/CPU分配、采樣懲罰與內(nèi)存管理機(jī)制詳解

2026年3月3日，ollama v0.17.5版本正式發(fā)布。這一版本可謂一次重要升級(jí)，核心亮點(diǎn)在于新增了Qwen3.5系列模型，并全面改進(jìn)了采樣算法、GPU與CPU混合分配機(jī)制、內(nèi)存峰值監(jiān)控以及MLX引擎下的穩(wěn)定性。本文將根據(jù)完整的更新內(nèi)容，詳細(xì)解析每一處技術(shù)改動(dòng)，讓開(kāi)發(fā)者能夠理解這一版本背后的架構(gòu)進(jìn)步和性能演化。

一、版本核心更新概覽 1. 新增模型系列：Qwen3.5

v0.17.5引入了全新的模型系列——Qwen3.5，包括 0.8B、2B、4B 與 9B 四個(gè)參數(shù)規(guī)模版本。這使得開(kāi)發(fā)者能根據(jù)硬件資源靈活選擇不同性能梯度的模型。

值得注意的是，在此次版本中，Qwen3.5模型支持 GPU 與 CPU 混合加載模式，同時(shí)針對(duì)模型“自我重復(fù)”問(wèn)題進(jìn)行了深度修復(fù)。新模型可通過(guò)命令重新下載：

ollama pull qwen3.5:35b

新版本修復(fù)了Qwen3.5模型在GPU與CPU拆分運(yùn)行時(shí)的崩潰問(wèn)題。此前，當(dāng)模型部分參數(shù)映射至CPU后，DeltaNet層或KV緩存命中時(shí)容易出現(xiàn)panic，如今通過(guò)對(duì)線(xiàn)性注意力張量缺失、conv1d權(quán)重校驗(yàn)、層級(jí)遞歸驗(yàn)證進(jìn)行系統(tǒng)修復(fù)，顯著提升了混合資源下的運(yùn)行穩(wěn)定性。

二、性能與內(nèi)存系統(tǒng)全面升級(jí) 1. Verbose模式新增峰值內(nèi)存統(tǒng)計(jì)

ollama run --verbose現(xiàn)在會(huì)顯示峰值內(nèi)存使用情況。新增的參數(shù)結(jié)構(gòu)Metrics中增加了：

• ?PeakMemory：以GiB或人類(lèi)可讀格式輸出峰值內(nèi)存；

• ?formatPeakMemory()函數(shù)：自動(dòng)判斷單位并格式化顯示；

• ?Summary()方法中新增內(nèi)存輸出邏輯。

這可以幫助開(kāi)發(fā)者在分析模型運(yùn)行性能時(shí)，即時(shí)觀察峰值占用，便于評(píng)估MLX引擎的內(nèi)存優(yōu)化效果。

2. MLX運(yùn)行器內(nèi)存修復(fù)與優(yōu)化

MLX runner一系列補(bǔ)丁包括：

• ? 修復(fù)了在KV緩存命中時(shí)引發(fā)panic的問(wèn)題；

• ? 報(bào)告真實(shí)內(nèi)存使用，而非理論分配值；

• ? 增加錯(cuò)誤傳播機(jī)制，通過(guò)api.StatusError將pipeline異常上報(bào)到客戶(hù)端；

• ? 嚴(yán)格限制模型上下文長(zhǎng)度以防越界；

• ? 優(yōu)化prompt評(píng)估計(jì)時(shí)邏輯，使計(jì)時(shí)與計(jì)數(shù)更精確；

• ? 引入內(nèi)存峰值復(fù)位APImlx_reset_peak_memory()。

這一系列操作讓MLX在處理大模型時(shí)更穩(wěn)定，也為后續(xù)GPU監(jiān)控功能奠定基礎(chǔ)。

三、采樣邏輯重大優(yōu)化：懲罰策略全面引入 1. Sampler機(jī)制的重新設(shè)計(jì)

新版sample/samplers.go重新定義了采樣器結(jié)構(gòu)。關(guān)鍵新增：

• ?presence（存在懲罰）

• ?frequency（頻率懲罰）

• ? 改進(jìn)的repeat（重復(fù)懲罰）

• ?Accept()與Reset()機(jī)制保證歷史token采樣狀態(tài)復(fù)位。

這意味著模型在生成文本時(shí)，可通過(guò)三個(gè)維度懲罰控制重復(fù)輸出的概率，使生成結(jié)果更自然、更具多樣性。

2. applyPenalty函數(shù)邏輯改寫(xiě)

transforms.go引入新的懲罰運(yùn)算邏輯：

• ? 對(duì)于正logit采用除法懲罰；

• ? 對(duì)負(fù)logit采用乘法維持?jǐn)?shù)值穩(wěn)定；

• ? 頻率懲罰根據(jù)歷史出現(xiàn)次數(shù)線(xiàn)性遞減logit；

• ? 存在懲罰在再次出現(xiàn)時(shí)直接降低得分。

該設(shè)計(jì)明顯針對(duì)語(yǔ)言模型重復(fù)傾向進(jìn)行了抑制，使其在多輪生成中表現(xiàn)更像人類(lèi)語(yǔ)言思維鏈條。

3. token歷史統(tǒng)計(jì)機(jī)制：DefaultPenaltyLookback = 64

tokenCounts()函數(shù)新增令牌歷史回溯長(zhǎng)度為64，這相當(dāng)于模型在采樣時(shí)考慮過(guò)去64個(gè)令牌的統(tǒng)計(jì)分布。結(jié)合presence與frequency懲罰，能有效減少循環(huán)性表述問(wèn)題。

四、Prompt管理與上下文截?cái)噙壿媰?yōu)化 1. Chat與Generate的截?cái)嗖呗愿?/p>

server/routes.go和server/prompt.go修改了Prompt截?cái)噙壿嫛Ｐ虏呗裕?/p>

• ? 當(dāng)模型類(lèi)型為MLX（即safetensors格式），將禁用上下文截?cái)?/strong>；

• ? 非MLX模型仍保留truncate機(jī)制，但在計(jì)算時(shí)精確考慮圖片token數(shù)量。

這可以保證MLX模型不會(huì)因?yàn)镻rompt截?cái)喽鴮?dǎo)致上下文缺失，從而提高多模態(tài)場(chǎng)景下的生成連貫性。

2.IsMLX()方法新增用于判斷模型格式

在images.go中新增：

func (m *Model) IsMLX() bool {
    return m.Config.ModelFormat == "safetensors"
}

它成為后續(xù)路徑判斷的核心函數(shù)，用于區(qū)分MLX模型與傳統(tǒng)GGUF模型，從而決定不同的加載與截?cái)嗖呗浴?/p>

五、運(yùn)行器架構(gòu)調(diào)整與內(nèi)存接口重構(gòu) 1. LlamaServer接口重大調(diào)整

原本的接口：

VRAMSize() uint64
TotalSize() uint64

被統(tǒng)一重構(gòu)為：

MemorySize() (total, vram uint64)

這使得每次調(diào)用能同時(shí)返回總占用與顯存占用，支持更精準(zhǔn)的GPU監(jiān)控與調(diào)度。

2. 涉及文件范圍

相關(guān)修改貫穿整個(gè)系統(tǒng)：

• ?llm/server.go

• ?server/sched.go

• ?x/imagegen/server.go

• ?x/mlxrunner/client.go

• ?x/mlxrunner/server.go

從圖像生成模型到LLM主分支，接口結(jié)構(gòu)全面統(tǒng)一，為后續(xù)跨引擎集成提供一致的內(nèi)存訪問(wèn)標(biāo)準(zhǔn)。

六、Qwen3next: 異步與Recurrent層邏輯深度增強(qiáng) 1. InferRecurrentLayers函數(shù)邏輯新增

model/models/qwen3next/model.go加入了推理層循環(huán)判定邏輯：

• ? 若KV頭數(shù)含零層則判定為Recurrent；

• ? 若全非零則根據(jù)full_attention_interval推導(dǎo)混合布局；

• ? 自動(dòng)兼容舊GGUF模型格式。

這部分邏輯由新單元測(cè)試model_new_test.go驗(yàn)證，確保混合注意力布局在導(dǎo)入舊模型時(shí)仍保持穩(wěn)定。

2. Validate校驗(yàn)增強(qiáng)

model.Validate()全面檢查每層SSM張量是否齊全，包括：

• ? ssm_dt、ssm_a、ssm_conv1d、ssm_norm、ssm_out 等；

• ? 若任何缺失，將直接報(bào)錯(cuò)明確指出缺失字段。

這樣在加載過(guò)程中可以即時(shí)識(shí)別模型結(jié)構(gòu)問(wèn)題，防止DeltaNet等模塊計(jì)算時(shí)崩潰。

3. deltaNetChunked邏輯優(yōu)化

新增**分塊拼接樹(shù)（balanced concat tree）**機(jī)制：

• ? 避免在長(zhǎng)提示詞下連接操作導(dǎo)致內(nèi)存膨脹；

• ? 通過(guò)二叉合并方式顯著優(yōu)化Prompt處理速度；

• ? 減少部分offload狀態(tài)下的中間張量無(wú)緩沖寫(xiě)入問(wèn)題。

ollama pull qwen3.5:9b