北京
馬上年底，我真是太忙了。
不僅自己要做復盤總結，還得為總結跑各種數據、做報表，無聊又繁瑣。牛馬們，懂得都懂...
理論上這種工作可以用 AI 搞定，畢竟沒啥技術含量。但我的難處是因為內部數據敏感，所以不能用云端大模型，著實讓人捉急。
于是，看著層層堆積的文檔和表格，我決定調研一下本地部署模型的 AI 產品。
*我的電腦桌面，被堆滿了
翻了一圈后，我發現業內比較常見的本地模型方案就是 Ollama 和 LM Studio。但是！Ollama 得狂敲代碼，LM Studio 還得自己倒騰模型文件，想想就更累了。
不過，緊接著我就在「甲子光年」的一篇文章中發現一款本地運行的 Agent —— Libra。據說它可以直接在 Mac 上本地運行 30B 模型，全程只用點擊和輸提示詞，一行代碼都不用敲。
我決定嘗試一下。
結果就是，我居然在飛機斷網的情況下，用它跑上了任務。
斷網測試，它跑完任務還有點aha moment
當然，安裝 Libra 肯定還得有網，我在出差等飛機的時候閑著無聊蹭了機場 Wi-Fi。
打開 Libra 官網
（https://www.greenbit.ai/），在首頁和右上角找到下載客戶端的入口，下載完點擊安裝，再打開等 Libra 把本地模型加載完，整體幾分鐘就能用了，全程傻瓜式操作
如果用 Ollama，估計不是在命令行工具里敲 ollama pull llama2 拉模型，就是在裝 Open WebUI 搞操作界面。沒一兩小時根本搞不完。
*下載 Libra 也就需要三十幾秒
Libra 的產品界面讓人很有安全感。
它和大家經常用的 AI 助手很像，用戶在輸入框里輸入需求，再在左下角的 Button 里選擇對話或者增強模式，讓 Libra 分清楚這次進行的是溝通還是分析任務。
和其他 AI 工具不同的是，它作為一個端側 Agent，可以在輸入框右下角的按鍵里，選擇本地模型或云端結合模式。在產品左下角的「模型選擇」，可以選擇 30B 或 4B 的端側模型。
整體還是沒什么使用門檻的。
這次利用飛機上的時間，我想讓它幫忙做年終復盤里的數據分析任務。
看起來“增強模式”+“本地”的組合很合適，30B 的模型我怕我的 Mac 帶不起來，而且需要訂閱，就先用默認的 4B 模型吧。
一切設置OK，等飛機飛穩，我掏出電腦開始實測。
謹慎如我，先找了一份和復盤里數據類型類似的過期 Excel 做測試。
這個 Excel 里，有兩款目前已經下線的產品的數據，包括DAU（日活躍用戶數）、MAU（月活躍用戶數）、付費用戶數、產品營收等指標。我先讓 Libra幫我分析一段時間內的數據，再總結業務變化并提出洞察。
我把數據存成 csv 文件丟給 Libra，提示詞和用 Gemini、ChatGPT 的時候類似：你是一個數據分析專家，附件上傳的是兩款App產品的核心指標數據，你的任務是，幫我找到其中有價值的洞察，寫一份數據分析報告。
然后，我就把它扔到一邊，開始用飛機上的屏幕打麻將?。
大概過了半小時，我看到 Libra 發出了提示，任務完成了。
來看看 Libra 生成的結果。沒想到，這個 4B 小模型還挺像那么回事。
它給了我一份9頁的數據分析報告，把流量變化、用戶活躍變化、營收波動等等分析了個遍。雖然沒有ChatGPT、Gemini等工具的排版形式豐富，但整體夠用了。
最令我驚訝的是，它指出了我上傳數據中的一處錯誤：Libra 發現有一個月的產品 DAU 比 MAU 還高，這條數據應該被剔除。
這是當時產品 bug 帶來的錯誤數據，我自己都忘記這件事了，現在被這個背后只有 4B 模型的 Agent 發現了 Bug。雖然模型小，但智商好像也不低啊...
下飛機后，我把 Libra 分別推薦給了一位律師和一位心理醫生朋友。
他們也和我一樣，因為工作敏感沒辦法使用聯網的AI工具，不太想學Ollama。兩位朋友試過之后，也感覺 Libra 這個端側 Agent 沒有出現預想中"小模型智商太低"的情況。
律師朋友在斷網環境下上傳了合同，讓 Libra 找出條款中的漏洞以及對乙方不太友好條款。結果 Libra 不僅完成任務，還結合了法律條文做說明，引用了數據作支撐。
心理醫生朋友也找了一份患者日記，斷網讓 Libra 做解讀。結果 Libra 給出了一些專業化解讀，還能量化出患者的心理狀況。
當然，他們也反饋了一些 Libra 的缺點，比如執行任務的時間有點長，報告樣式比較單一等。
綜合三個人的體驗，我總結了這個端側 Agent 的特點。
優勢：
在斷網的環境下穩定可用；
操作簡單，容易上手；
本地模型的智能性較強；
指令的遵循能力比較好，不太需要反復跑同樣的任務；
生成的文檔可以編輯、導出，支持多種格式。
缺點：
任務的耗時比較長；
生成文檔的樣式比較類似，不能直接生成 PPT；
有時生成的文檔內容篇幅較短。
整體來說，雖然還有優化空間，但 Libra 為需要處理敏感數據的打工人提供了一個可用的選擇。
一個期待已久的市場，一家公司10年的路程
其實不只是我，Local AI 以及端側 Agent 一直以來都有市場需求。
像政務、大型企業、金融、醫療這種行業，總有大量的嚴肅場景里的敏感數據不便于使用云端大模型。再加上，在飛機、地鐵等網絡不暢的環境里，云端模型難以發揮作用，只能依賴本地。
但之前，這些行業里的很多朋友都沒找到真能干好活的端側產品。這一方面是因為端側模型對端側算力的要求高，但芯片難以支持。另一方面是因為端側模型的參數都比較小，“智商”不夠。
*Twitter 上知名AI博主分享的本地小模型失敗案例：模型把AI界大佬Andrej Karpathy當成是超模和演員，還說他的超能力是極光，能變身成任何一個漫威角色（https://x.com/Yuchenj_UW/status/1978144157970661495）注：NanoChat的創造者正是Andrej Karpathy本人
這就是為啥 Libra 效果并不算炸裂，還能讓我這么興奮的一個原因——至少，端側 Local AI 已經有了一個能跑起來的產品。
讓我更激動的一件事是，它的出現還意味著端側的技術鏈條快成型了。
首先是模型層面，這兩年基礎大模型的能力一直在提升，還有越來越多的頭部模型廠，像 Google Gemma 系列、Qwen 都開始發力參數更小的模型。
硬件算力也一直在提升。目前 Mac 的最強芯片 M4 的神經網絡推理算力大約是 38 TOPS，相比初代 M1 的 11 TOPS，推理算力有了兩倍多的提升。現在的 Libra，也是跑在 M 芯片的 Mac 上，預計將在明年發布的 M5，算力只會更強。這些進展，意味著在本地運行模型時推理速度將會更快。
我又好奇地搜了下 Libra 背后的公司，發現原來這是一家專注于端側智能 Local AI 方向的創企——GreenBit AI。
GreenBit AI 把自己定位為“低比特神經網絡/模型優化 + 本地離線 AI 部署”的解決方案提供方。也就是說，這是一家擅長把“不降智”的模型放進各種機器里的公司。
這樣一看，Libra 出現的邏輯就合理了很多——當需求和技術都在向 Local AI 靠攏，GreenBit 團隊的能力補上了 Local AI 技術拼圖中非常重要的一塊，它自研了一整套 Local Agent Infra 技術，能讓小模型不降智。
模型壓縮這件事，業內通常的做法就是降比特數，代價是精度的下降。我看到，GreenBit AI 自研了一套 GBAQ（GreenBit-Aware Quantization）算法，能識別出模型里哪些權重是真正重要的，從而在量化的時候保護這部分，其余的部分就直接壓縮。
從他們公布的數據看，這個方法在保持準確性的同時還能降低推理時 Token 消耗。這也是為什么同樣是 4B 的本地模型，Libra 上的模型跑起來不會感覺“降智”。
*圖源 Libra 官網
我還看到，這家公司居然已經在這個方向做了近10年。
一些文章里提到，GreenBit AI 的創始人楊浩進，博士畢業于德國 HPI （Hasso Plattner Institute）計算機系統工程院，從 2016 年就開始做 1-bit 神經網絡（BNN），也就是最大程度壓縮模型的技術。這個方向在當時算是非主流，因為那會兒大家都在堆參數、堆層數，把模型往大了做。
2018 年左右，BNN 因為精度問題被學術界逐漸冷落，但楊浩進還沒有放棄。到了 2022 年，我看到他和團隊推出了 BNext-L，在 ImageNet 上拿到 80.4% 準確率，算是讓 1-bit 量化達到了可用的水平。
*圖源甲子光年
這些技術經驗都為剛剛提到的，能幫助模型識別重要權重的 GBAQ 算法提供了基礎。
2023年，GreenBit AI 正式成立了。除了楊浩進，GreenBit AI 的核心團隊成員大部分來自 HPI 的學者，也有來自華為、博世 AI 等機構的研究員。
*GreenBit AI 的創始人楊浩進
這讓我意識到，原來前幾天在飛機上斷網用到的 Libra，是很多研究人員花了快十年的時間，趟過無數個坑，才出現在我面前的。
如果要給 Libra 提出更多的優化建議，我能說出很多。比如能不能提升任務執行速度，能不能加一些酷炫的交互，能不能加對話和分析之外的功能...
但看完了 Libra 背后的路程，我覺得，此時此刻的它已經是一個很有代表意義的產品。
*Libra（滑動查看更多）
但故事顯然還沒結束，就在我即將寫完這篇文章的時候，看到 GreenBit AI 更新了自己的推特。帖子中的視頻顯示，支持 NVIDIA DGX Spark 的 Libra 即將上線了。這意味著在 Mac 之外，能用到 Libra 的設備更多了。
或許不久之后，我們都能在飛機上用到更好用的 AI 搭子。
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
