TensorRT LLM 1.0 正式上線，全新易用的 Python 式運行

TensorRT LLM 作為 NVIDIA 為大規(guī)模 LLM 推理打造的推理框架，核心目標是突破 NVIDIA 平臺上的推理性能瓶頸。為實現(xiàn)這一目標，其構建了多維度的核心實現(xiàn)路徑：一方面，針對需部署熱門開源模型的應用場景，框架已支持 GPT-OSS、DeepSeek、Llama 2 及 Llama 3 等主流模型的端到端部署；另一方面，框架將部署功能封裝為可擴展的 Python 框架；同時，TensorRT LLM 還承擔著推理領域新技術載體的角色，通過將前沿創(chuàng)新引入 LLM 推理生態(tài)，持續(xù)提升整個生態(tài)系統(tǒng)合作伙伴的技術能力。

• TensorRT LLM 1.0 易用性優(yōu)化與實現(xiàn)方式：TensorRT LLM 1.0 版本的核心升級聚焦于易用性提升，且針對不同角色的用戶需求進行了差異化設計。為實現(xiàn)這些易用性目標，框架在技術層面做了多重優(yōu)化：首先，支持將現(xiàn)有 PyTorch 模型（如 Hugging Face 生態(tài)中的建模代碼）遷移至 TensorRT LLM，且優(yōu)化過程可分步實施；其次，框架完全兼容 PyTorch 與 Python 生態(tài)中的調試工具，開發(fā)者可直接使用 PDB 調試或打印張量中間值等熟悉的方式排查問題；此外，新運行時采用模塊化 Python 構建塊設計，為核心組件定義清晰接口并提供 Python 實現(xiàn)；同時，框架無需提前編譯或構建顯式引擎，支持快速迭代參數(shù)與跨硬件切換；最后，所有功能均開源在 GitHub，開發(fā)者可直接與 NVIDIA 團隊協(xié)作，通過貢獻代碼推動框架路線圖演進。

• TensorRT LLM 性能突破：評估 TensorRT LLM 的核心價值，需重點關注其在推理性能極限上的突破能力，而這一突破依賴于對全堆棧優(yōu)化機會的精準把握與軟硬件協(xié)同優(yōu)化。從 Hopper 架構到最新的 Blackwell 架構，NVIDIA 借助大型 NVLink 域、FP4 Tensor Cores 等硬件新技術，結合框架層面的模型分解服務，實現(xiàn)了軟硬件能力的深度協(xié)同。

針對 NVIDIA 平臺的優(yōu)化過程中，這種協(xié)同設計讓 Hopper 到 Blackwell 兩代硬件的性能實現(xiàn) 8 倍提升。在分析性能前沿時，需重點關注兩個關鍵維度：一是交互性（即用戶體驗），具體表現(xiàn)為 token 在終端用戶屏幕上的傳播速度，直接影響用戶使用時的流暢感；二是系統(tǒng)產(chǎn)能，即單位時間內(nèi)系統(tǒng)的 token 輸出量，決定了系統(tǒng)的服務效率。通過軟硬件協(xié)同優(yōu)化，TensorRT LLM 可同時改善這兩個維度的表現(xiàn)，真正突破 LLM 推理的性能極限，推動領域發(fā)展邊界。

• 支撐易部署易擴展的三大核心特征：TensorRT LLM 之所以能實現(xiàn)易部署、易擴展的特性，并持續(xù)突破性能邊界，核心依賴于三類關鍵技術特征的支撐。

第一類特征是針對 LLM 推理中最常見操作的優(yōu)化內(nèi)核，包括快速注意力內(nèi)核、GEMM 內(nèi)核、通信內(nèi)核等，這些內(nèi)核以 Torch 自定義操作的形式實現(xiàn)模塊化封裝，可直接在模型前向傳遞過程中調用，保核心計算環(huán)節(jié)的高效性。

第二類核心特征是提供高效運行時支持。該運行時集成了動態(tài)批處理、高級 KV Cache 重用、預測性解碼、高級并行化等關鍵技術，能夠從系統(tǒng)層面優(yōu)化整體性能，而非局限于模型單一計算環(huán)節(jié)的提升。

第三類核心特征則是將所有技術能力封裝至 Pythonic 框架中，開發(fā)者可直接在 PyTorch 環(huán)境中編寫模型代碼，同時通過 Python 運行時模塊靈活自定義系統(tǒng)行為，既降低了使用門檻，又保留了足夠的擴展靈活性，讓不同技術背景的開發(fā)者都能高效利用框架能力。

• 快速啟動并使用 TensorRT LLM：為幫助開發(fā)者快速啟動并使用 TensorRT LLM，框架提供了三種核心交互方式。首先，通過 TRT LLM serve CLI 工具，開發(fā)者可僅用一行代碼啟動服務器。對于更大規(guī)模的部署場景，尤其是需要多實例編排的需求，開發(fā)者可借助 Dynamo 等工具實現(xiàn)高級數(shù)據(jù)中心規(guī)模優(yōu)化。若開發(fā)者需要更靈活、穩(wěn)定的 API 支持，框架推薦使用 LLM API。該 API 在 1.x 版本中保持接口穩(wěn)定，能確保部署過程的穩(wěn)定性與無縫性，同時支持各類自定義場景，無論是調整運行時參數(shù)還是集成自定義模塊，都能通過 API 便捷實現(xiàn)，兼顧穩(wěn)定性與靈活性。

以上為摘要內(nèi)容，點擊鏈接閱讀完整內(nèi)容：

輕松部署、加速推理：TensorRT LLM 1.0 正式上線，全新易用的 Python 式運行 - NVIDIA 技術博客