大家好,我是 Ai 學習的老章
![]()
看到一個新的大模型推理工具——Shimmy,號稱全面超越 Ollama
省流:實際體驗,沒啥優(yōu)勢
Shimmy
本地 AI,零鎖定
Shimmy 是一個5.1MB 的單文件可執(zhí)行程序,為 GGUF 模型提供100% 兼容 OpenAI 的端點。
將現(xiàn)有 AI 工具指向 Shimmy,它們即可立即運行——本地、私密且完全免費。
? 零配置開箱即用
自動發(fā)現(xiàn)Hugging Face 緩存、Ollama 及本地目錄中的模型
自動分配端口,避免沖突
自動檢測 LoRA 適配器,支持專用模型
開箱即用——無需配置文件,無需設置向?qū)?/p>
本地開發(fā)完美之選
隱私:代碼始終保留在本地
成本:無需 API 密鑰,無需按 Token 計費
速度:本地推理,亞秒級響應
穩(wěn)定:無速率限制,零宕機
Shimmy 的基準測試聚焦于真實場景性能而非理論峰值。用戶關心的是加載模型、在內(nèi)存受限情況下的文本生成以及跨配置的穩(wěn)定吞吐量。
Model
大小
加載時間
首個 token
token/秒
內(nèi)存
phi3-mini
2.4GB
1.2 秒
220 毫秒
24.3
3.1GB
llama-7b
4.1GB
2.8 秒
410 毫秒
15.7
5.9GB
mistral-7b
4.1GB
2.6 秒
380 毫秒
18.2
5.7GB
? 性能對比
工具
二進制大小
啟動時間
內(nèi)存用量
OpenAI API
Shimmy5.1MB<100 毫秒50MB100%
Ollama
680MB
5–10 秒
200MB+
部分
llama.cpp
89MB
1-2 秒
100MB
用法 API
GET /health- 健康檢查POST /v1/chat/completions- 兼容 OpenAI 的聊天GET /v1/models- 列出可用模型POST /api/generate- Shimmy 原生 APIGET /ws/generate- WebSocket 流式傳輸
shimmy serve # Start server (auto port allocation) shimmy serve --bind 127.0.0.1:8080 # Manual port binding shimmy list # Show available models shimmy discover # Refresh model discovery shimmy generate --name X --prompt "Hi" # Test generation shimmy probe model-name # Verify model loads安裝Windows
# RECOMMENDED: Use pre-built binary (no build dependencies required) curl -L https://github.com/Michael-A-Kuykendall/shimmy/releases/latest/download/shimmy.exe -o shimmy.exe # OR: Install from source (requires LLVM/Clang) # First install build dependencies: winget install LLVM.LLVM # Then install shimmy: cargo install shimmy --features huggingfacemacOS
# Install dependencies brew install cmake rust # Install shimmy cargo install shimmy實際體驗安裝顯然不如 Ollama 省事兒,pip、node、docker 版本也都沒有
app更是沒有
實際拿它與 Ollama 對比,拉起 Qwen:0.5B,發(fā)起請求后
Ollama 內(nèi)存占用 473+,因為它有單獨的 app,所以會有額外內(nèi)存占用。
![]()
Shimmy 占用 461+
![]()
使用上更是毫無方便之處,必須搭配其他工具進行簡單測試
我唯一感興趣的是它會不會對并發(fā)更加友好
結果更是慘不忍睹
Ollama 之前我寫過文章介紹,并發(fā)是無解的
![]()
好歹它至少還能跑,但是 Shimmy 單請求還正常
![]()
發(fā)起并發(fā)請求之后,就大量 ERROR 了
![]()
最終測試失敗告終
![]()
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.