英偉達推出開源權重模型填補美國AI市場空白

對于許多企業來說，AI技術的采用很大程度上依賴于高質量開源權重模型的可用性。將敏感的客戶數據或來之不易的知識產權暴露給API以使用ChatGPT等封閉模型是不可接受的。

除了中國AI實驗室之外，目前可用的少數開源權重模型與OpenAI或Anthropic等公司的專有模型相比并不占優勢。

這不僅是企業采用的問題，也是英偉達智能體AI愿景的障礙，這家GPU巨頭急于清除這一障礙。周一，該公司在其武器庫中增加了三個自主設計的新開源權重模型。

開源權重模型對英偉達來說并不新鮮——該公司的大部分員工都是軟件工程師。然而，其最新一代的Nemotron大語言模型是迄今為止最強大和最開放的。

當這些模型發布時，將提供三種規模：Nano、Super和Ultra，參數量分別約為300億、1000億和5000億。

除了模型權重（將在未來幾個月內在Hugging Face等熱門AI倉庫上推出，本周首先推出Nemotron 3 Nano）之外，英偉達還承諾發布訓練數據和用于創建這些模型的強化學習環境，為未來高度定制化的模型版本打開了大門。

這些模型還采用了新穎的"混合潛在專家混合"架構，旨在最小化處理長輸入序列時的性能損失，比如攝取大型文檔并處理相關查詢。

這通過在模型層中結合使用Mamba-2和Transformer架構來實現。Mamba-2在處理長序列時通常比Transformer更高效，從而縮短提示處理時間并提高Token生成速度的一致性。

英偉達表示，它使用Transformer層來保持"精確推理"并防止模型失去相關信息的上下文，這是在攝取長文檔或在擴展聊天會話中跟蹤細節時的已知挑戰。

說到這里，這些模型原生支持一百萬Token的上下文窗口——相當于大約3000頁雙倍行距的文本。

所有這些模型都采用專家混合架構，這意味著對于處理和生成的每個Token，只有總參數數量的一小部分被激活。這減少了對內存子系統的壓力，在相同硬件上實現比等效密集模型更快的吞吐量。

例如，Nemotron 3 Nano有300億個參數，但每生成一個Token只激活30億個參數。

雖然nano模型采用了與gpt-oss或Qwen3-30B-A3B中看到的相當標準的專家混合架構，但更大的Super和Ultra模型使用英偉達的NVFP4數據類型進行預訓練，并使用新的潛在專家混合架構。

正如英偉達解釋的那樣，使用這種方法，"專家在共享潛在表示上操作，然后輸出被投影回Token空間。這種方法允許模型以相同的推理成本調用4倍多的專家，從而在微妙的語義結構、領域抽象或多跳推理模式方面實現更好的專業化。"

最后，這些模型被設計為使用"多Token預測"，這是推測解碼的一種變體，通過在生成新Token時預測未來Token，可以將推理性能提高多達3倍。推測解碼在智能體應用中特別有用，在這些應用中需要重復處理和重新生成大量信息，比如代碼助手。

英偉達的300億參數Nemotron 3 Nano本周發布，設計為在企業硬件（如該供應商的L40S或RTX Pro 6000服務器版）上高效運行。然而，使用模型的4位量化版本，應該可以將其塞入僅有24GB顯存的GPU中。

根據Artificial Analysis的數據，該模型提供與gpt-oss-20B或Qwen3 VL 32B和30B-A3B等模型相當的性能，同時為企業提供更大的定制靈活性。

模型定制的常用方法之一是強化學習，它使用戶能夠通過試錯來教授模型新信息或方法，其中理想的結果得到獎勵，而不理想的結果受到懲罰。除了新模型之外，英偉達還發布了強化學習數據集和訓練環境（稱為NeMo Gym），以幫助企業針對其特定應用或智能體工作流程微調模型。

Nemotron 3 Super和Ultra預計將在明年上半年首次亮相。

Q&A

Q1：英偉達Nemotron 3模型有哪些規格？

A：Nemotron 3模型提供三種規格：Nano（300億參數）、Super（1000億參數）和Ultra（5000億參數）。所有模型都支持一百萬Token的上下文窗口，相當于約3000頁雙倍行距文本，并采用專家混合架構來提高處理效率。

Q2：Nemotron 3 Nano的硬件要求是什么？

A：Nemotron 3 Nano設計為在英偉達L40S或RTX Pro 6000服務器版等企業硬件上高效運行。使用4位量化版本的模型，可以在僅有24GB顯存的GPU上運行，大大降低了硬件門檻。

Q3：英偉達為什么要發布開源權重模型？

A：英偉達發布開源權重模型主要是為了填補美國AI市場的空白，解決企業不愿將敏感數據暴露給封閉API的問題。這也是推進其智能體AI愿景的重要步驟，為企業提供更大的定制靈活性和數據安全保障。