山東
IT之家 2 月 21 日消息，蘋果研究團隊在最新論文中，推出展示 Ferret-UI Lite 端側 AI 模型，僅有 30 億（3B）參數，卻在性能上匹配甚至超越了體積大 24 倍的大型模型。
IT之家注：Ferret-UI Lite 是專為移動設備打造的多模態(tài)大語言模型（MLLM），參數量僅為 30 億（3B），屬于典型的“輕量級”模型，可以在算力有限的手機端，精準理解與操作復雜圖形用戶界面（UI）。
不過在多項基準測試中，Ferret-UI Lite 的性能不僅追平，甚至超越了參數量高達其 24 倍的大型服務器端模型。
在核心技術方面，通用大模型往往難以看清手機屏幕上微小的圖標和文本，而 Ferret-UI Lite 通過引入“推理時裁剪（Inference-time Cropping）”技術解決了這一痛點。
模型在處理任務時，會先進行一次粗略預測，然后智能地“剪切”并放大相關區(qū)域，就像人眼湊近觀察細節(jié)一樣，再次進行精準識別。這種策略讓小模型無需處理海量圖像數據，也能捕捉到界面中的關鍵信息，從而更好理解屏幕元素。
在訓練方面，研究團隊為了解決高質量訓練數據匱乏的問題，構建了一套合成數據生成系統(tǒng)。該系統(tǒng)包含“任務生成器”、“規(guī)劃器”、“執(zhí)行者”和“批評者”四個角色，讓 AI 在模擬環(huán)境中不斷嘗試操作、犯錯并自我修正。
這種機制不僅生成了海量訓練樣本，還讓模型學會了如何應對現實操作中的錯誤與意外情況（如點擊無反應或彈出干擾窗口），其效果遠優(yōu)于單純依賴人工標注的清潔數據。
測試結果顯示，該模型在執(zhí)行短流程、基礎 UI 操作時表現優(yōu)異，但在處理復雜的多步長任務時仍有提升空間。
最重要的是，Ferret-UI Lite 能夠完全在本地運行，無需將屏幕截圖上傳至云端服務器，這在賦予手機“自動操作 App”能力的同時，最大程度地保障了用戶隱私。
IT之家附上參考地址
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發(fā)布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
