Nebius推出Token Factory，提供大規(guī)模生產AI推理

Nebius推出了Token Factory（詞元工廠），這是一個生產推理平臺，使垂直人工智能（AI）公司和數字企業(yè)能夠大規(guī)模部署和優(yōu)化開源和定制模型，并具有企業(yè)級的可靠性和控制能力。

Token（詞元）在人工智能領域，是AI 理解語言的最小“單元”。它把人類語言（句子、段落）分解成 AI 能看懂的小塊，每塊就是一個 token。AI 通過處理這些token 來理解、生成、回答問題。

基于Nebius的全棧人工智能基礎設施，Nebius Token Factory將高性能推理、后訓練和細粒度訪問管理整合到一個單一的治理平臺中。它支持所有主要的開放模型，包括DeepSeek、OpenAI的GPT-OSS、Llama、NVIDIA Nemotron和Qwen，并為客戶提供托管自己模型的選項。

隨著人工智能從實驗轉向生產，依賴封閉模型可能會造成擴展瓶頸。開源和定制模型可以消除這些障礙，釋放創(chuàng)新和更好的經濟性，但對于大多數團隊來說，在生產中管理和保護它們仍然是復雜和資源密集型的。

Nebius Token Factory通過將開放模型的靈活性與大規(guī)模運行人工智能所需的治理、性能和成本效益相結合，使團隊能夠實現這些優(yōu)勢。它針對效率進行了優(yōu)化，提供亞秒級延遲、自動擴展吞吐量和99.9%的正常運行時間，即使對于每分鐘超過數億個請求的工作負載也是如此。

Nebius的聯(lián)合創(chuàng)始人兼首席業(yè)務官Roman Chernin表示：“每個團隊都有獨特的要求，他們希望在不繁重工作的情況下實現速度、可靠性和成本效益。”“我們建立NebiusToken Factory不僅是為了服務模型，也是為了幫助客戶解決真正的挑戰(zhàn)和進行規(guī)模工程——優(yōu)化推理管道，將開放模型轉化為生產就緒系統(tǒng)。”

全棧人工智能基礎設施作為基礎

Nebius Token Factory建立在Nebius AI Cloud 3.0“以太坊”之上。這確保了企業(yè)級的安全性、主動監(jiān)控和一致的性能，并通過包括MLPerf推理在內的基準測試進行了驗證。通過將Nebius的全棧基礎設施與針對推理進行優(yōu)化的技術棧相結合，NebiusToken Factory幫助客戶更快地擴展其AI應用程序和解決方案。

SemiAnalysis首席分析師Dylan Patel表示：“在SemiAnalysis，我們跟蹤每個GPU云播放器的總擁有成本。Nebius是唯一一個使用定制ODM機箱的新云，這意味著總擁有成本大大降低。我們很高興看到他們的新推理平臺圍繞成本、每位用戶的輸出速度和模型質量這一權衡三角進行設計。”

人工智能項目形成規(guī)模通常比周圍的團隊更快。Nebius Token Factory簡化了訓練后的生命周期，將開源模型權重轉化為優(yōu)化的、生產就緒的系統(tǒng)，具有有保證的性能和透明的每個Token成本。集成的微調和蒸餾管道使團隊能夠根據自己的數據調整大型開放模型，同時將推理成本和延遲降低高達70%。

優(yōu)化后的模型可以立即部署到生產端點，而無需手動設置基礎設施。這種方法使人工智能構建者和企業(yè)能夠更快地迭代，可預測地管理成本，并對所服務的每個Token保持完全透明。

Token Factory引入了團隊和訪問管理、單點登錄（SSO）、項目分離和以企業(yè)為中心的計費，以簡化協(xié)作并確保合規(guī)性。管理員可以設置精細的角色，強制最低權限訪問，并在所有部署中維護清晰的審計跟蹤，從早期實驗到關鍵任務工作負載。

Nebius Token Factory——主要特點

具有有保證的性能和隔離的專用端點，具有99.9%的SLA、可預測的延遲和自動擴展的吞吐量。

歐盟或美國數據中心的零保留推斷，支持嚴格的數據駐留要求。

安全認證，包括SOC 2 Type II，包括HIPAA、ISO 27001和ISO 27799認證。

全面的微調功能支持LoRA和完整模型訓練，實現無縫一鍵部署和托管。

支持40多種開源模型，包括最新的Deep Seek、Llama、OpenAI和Qwen，針對最新芯片進行了優(yōu)化。

通過設計進行治理，包括團隊和訪問管理、SSO、統(tǒng)一計費和審計友好的工作區(qū)。

OpenAI兼容的API，用于從專有端點無縫遷移。

可用性

Nebius Token Factory是Nebius AI Studio的下一代版本，經過重新設計，可用于企業(yè)就緒和完整的模型生命周期管理。現已可用，支持60多個跨文本、代碼和視覺的開源模型。當前的AI Studio用戶將自動升級到Token Factory。

關于Nebius

Nebius是一家為全球人工智能行業(yè)構建全棧云基礎設施的技術公司。該公司總部位于荷蘭阿姆斯特丹，在納斯達克（Nasdaq:NBIS）上市，在歐洲、北美和以色列設有研發(fā)中心，業(yè)務遍及全球。Nebius AI Cloud是為密集型AI工作負載從頭開始構建的。憑借內部設計的專有軟件和硬件，Nebius AI Cloud為AI構建者提供了構建、調整和運行模型所需的計算、存儲、托管服務和工具。

與 Ai 時代前沿合作，將大門向更多普通用戶敞開！無論你是對新技術充滿好奇心的愛好者，還是希望提升自己技能的職場人士，這里都有適合你的課程和資源。歡迎掃碼加入我們！