大語言模型上車，軟硬結合是關鍵

隨著汽車行業的飛速發展，當乘用車從交通工具向智能移動終端不斷進化，艙駕智能化水平已成為衡量整車廠競爭力的核心標尺，而其中車載平臺算力更是端側艙駕AI進化的核心燃料。

其中，以智駕視角來看，從 L2 級輔助駕駛，到L2+高級輔助駕駛，再到L3/ L4 級自動駕駛，車載計算平臺的算力需求正以指數級增長，這種增長不僅源于傳感器數量與分辨率的提升，更來自 AI 算法復雜度帶來的能力上限的爆炸式演進。

NVIDIA DRIVE AGX 系列芯片以領先行業的算力規模，架構創新以及豐富數字生態，已成為定義智能駕駛時代的 "數字算力引擎"，其構建的從云端訓練到車端推理的完整算力體系，正在逐步重塑汽車產業的技術發展格局。

而以智艙角度來看，隨著生成式AI技術的迅猛發展，艙內AI端側部署正從簡單的語音助手交互向多模態甚至全模態智能座艙體驗躍遷。端側大模型憑借本地實時推理能力，可實現極低延遲的自然語言交互，個性化的主動式AI服務以及艙內外環境感知應用。開發者可通過CUDA生態復用云端大模型開發優化經驗，大幅縮短端側開發周期同時極大提高推理速度和用戶體驗。

目前已有頭部車企基于NVIDIA DRIVE AGX系列芯片部署端到端艙內AI Agent，從而實現被動響應到主動服務的體驗升級。

自動駕駛技術的每一次技術跨越與性能體驗升級，都伴隨著算力需求的幾何級增長。L2 級輔助駕駛僅需 10TOPS 以下算力，即可完成車道保持、自適應巡航等基礎功能；而 L2+ 級高級輔助駕駛對算力的需求驟升至 100TOPS 以上，以應對復雜城市道路的多目標檢測與決策規劃；當邁向 L3/L4 級自動駕駛，系統需要同時處理數十路傳感器的多并發數據流量，所需算力已突破 1000TOPS 大關。

那么，從技術發展和落地的角度來看，究竟該如何進一步應對汽車智能化發展帶來的 AI 算力部署的挑戰？

DRIVE AGX SoC系列

從硬件的角度來看，為了應對汽車在快速演變為智能終端的過程中對于 AI 算力的飛速增加的需求，NVIDIA 先后推出了 DRIVE AGX SoC系列的 DRIVE AGX Orin 和 DRIVE AGX Thor。

Orin 可提供高達 254 TOPS（每秒萬億次運算）的性能，是智能車輛的中央計算平臺。它為輔助駕駛功能、置信視圖以及 AI 座艙提供高算力支持。

Thor 是英偉達最新一代，專為汽車行業日益重要的生成式 AI 應用而打造的集中式車載計算機。作為 Orin 的后續產品，Thor 采用了NVIDIA最新的 CPU 和 GPU 技術，包括 NVIDIA Blackwell GPU 架構，用于Transformer 和生成式 AI 功 能。Thor 支持4位浮點數 (FP4)和8 位浮點數 (FP8)，可提供前所未有的2,000 FP4 TOPS/1,000 INT8 TOPS/1,000 FP8 TFLOPS/500 FP16 TFLOPS 性能。

這一平臺不僅提供豐富的座艙功能、安全可靠的輔助駕駛以及無人駕駛功能，還能夠將所有功能整合至同一個集中式平臺上，極大地提高了系統的運行效率和可靠性，并降低了整體系統成本。

高算力平臺為 AI 上車奠定基礎，為算法迭代預留了充足空間。

新一代集中式車載計算平臺將賦能整車廠的高階智能駕駛方案，發揮其在硬件、軟件算法和算力優化方面的優勢，推動輔助駕駛技術的全面升級，并覆蓋高速、城市、泊車等全場景的高階輔助駕駛功能，助力其向高端算力輔助駕駛轉型，共同探索大模型、世界模型的路徑，持續優化和提升高速領航、城市記憶領航及更高的旗艦級城市領航功能。

DriveOS 軟件架構和軟件開發包

當然，在基于硬件層面推出上述高算力平臺的基礎上，英偉達也在軟件層面推出了一系列適用于這些高算力平臺的軟件架構和軟件開發包，從而形成了一整套軟硬結合的車端系統級 AI 開發方案，更好地滿足客戶在大語言模型時代的需求。

1) DriveOS 軟件架構

DriveOS 是英偉達提供的軟件板級支持包，包括英偉達自研的Type-1 虛擬機，虛擬機之上不同的操作系統(Linux或者QNX)，操作系統上的豐富的SDK。這些SDK包括大家熟悉的CUDA，TensorRT，Vulkan，還有特意為支持大語言模型的軟件開發包DriveOS LLM SDK。這些SDK可以使開發者更容易的訪問 SoC 中的各種硬件加速引擎，快速的部署應用在英偉達的平臺。

2) DriveOS LLM SDK 介紹

DriveOS LLM SDK 是英偉達為嵌入式端特別推出的大語言模型軟件開發包，包含多個專為高效 LLM 推理而設計的關鍵組件。這些組件可確保在汽車平臺上高效部署 LLM，包括：

●插件庫 ：LLMs 需要專用插件來實現高級功能和優化性能。DriveOS LLM SDK 包含這些自定義插件，以及一組用于處理上下文相關組件的內核，例如旋轉位置嵌入、multihead attention 和 KV-cache 管理。AttentionPlugin 還支持動態批量大小和動態輸入序列長度。

●標記器/detokenizer ：該 SDK 為 LLM 推理提供高效的標記器/detokenizer，遵循 Llama 式字節對編碼 (BPE) 標記器，并帶有正則表達式匹配。此模塊將多模態用戶輸入 (例如文本或圖像) 轉換為令牌流，從而實現不同數據類型之間的無縫集成。

●采樣器：采樣器對于文本生成、翻譯和對話等任務至關重要，因為它控制著模型在推理過程中如何生成文本和選擇標記。DriveOS LLM SDK 實現了基于 CUDA 的采樣器來優化此過程。為了平衡推理效率和輸出多樣性，采樣器使用單束采樣方法和 Top-K 選項。這種方法可提供快速且合理多樣化的輸出，而不會產生探索多個束所需的計算成本。這對于汽車應用非常重要，因為需要考慮延遲和效率。

●解碼器：在 LLM 推理期間，解碼器模塊根據模型的預測迭代生成 token，從而生成文本或序列。DriveOS LLM SDK 提供靈活的解碼循環，支持靜態批量大小、填充輸入序列，以及生成批量中最長的序列。

這些組件共同支持在多個 NVIDIA DRIVE 平臺上實現靈活、輕量級的高性能 LLM 部署和定制 (圖 1)。

(圖 1. DriveOS LLM SDK 主要組件和架構計劃)

a) 支持的模型、精度格式和平臺

DriveOS LLM SDK 在 DRIVE 平臺上支持一系列先進的 LLM，包括Orin和Thor。作為預覽功能，該 SDK 還可以在 x86 系統上運行，這對于開發非常有用。

目前支持的模型包括以下內容，未來預計還會有其他模型：

●Llama 3 8B Instruct

●Llama 3.1 8B

●Llama 3.2 3B

●Qwen2.5 7B Instruct

●Qwen2 7B Instruct

●Qwen2 VL

●Intern3 VL

●Phi4 VL

該 SDK 支持多種精度格式，可在不同平臺 (包括 FP16、FP8、NVFP4 和 INT4) 上解鎖大型 LLM。對于 INT4 (W4A16) 精度，使用 AWQ recipe 將模型權重量化為 INT4，并在 FP16 中執行計算。這種方法可顯著減少內存占用。該 SDK 還在 Thor 平臺上支持 TensorRT 版本大于 10.4 的 FP8 (W8A8) 精度，以及 TensorRT 版本大于 10.8 的 NVFP4 精度。

這些精度可以進一步減少 LLM 推理期間的內存占用，同時增強內核性能。在此配置中，權重和 GEMM 運算采用 FP8 或 NVFP4 格式，而 LayerNorm、KV 緩存、LM 頭和注意力層保留在 FP16 中。

總體而言，DriveOS LLM SDK 旨在高效支持各種 LLM，包括多模態輸入和跨多個平臺的各種精度格式。

b) DriveOS LLM SDK 的關鍵feature

c) LLM 部署工作流

LLM 部署通常是一個復雜的過程，需要大量的工程工作，尤其是在邊緣設備上。DriveOS LLM SDK 為在 DRIVE 平臺上部署 LLM 提供了簡化的解決方案。

所提議的 SDK 將部署工作流程簡化為兩個簡單的步驟：導出 ONNX 模型和構建引擎（圖 2）。此過程與使用 TensorRT 部署深度學習模型的標準程序十分相似。

(圖 2、使用 DriveOS LLM SDK 部署 LLM 的步驟)

量化在優化 LLM 部署方面發揮著至關重要的作用，尤其是對于資源受限的平臺而言。它可以顯著提高 LLM 的效率和可擴展性。DriveOS LLM SDK 通過在 ONNX 模型導出階段提供多個量化選項來滿足這一需求。

將模型導出到 ONNX 后，可以使用llm_build 二進制文件來創建相應的 TensorRT 引擎。構建過程與特定模型或精度無關，因為 IO 接口在所有 ONNX 模型中保持標準化。

該 SDK 還包括交叉編譯構建系統，支持在 x86 機器上編譯 AArch64 目標。此功能可加速部署并簡化邊緣計算平臺上的特征驗證。

除了其用戶友好型部署流程外，DriveOS LLM SDK 還提供了各種 C++ 代碼示例，用于端到端 LLM 推理、性能基準測試和實時聊天實現。這些示例使開發者能夠使用靜態批量大小和輸入/輸出序列長度來評估 DRIVE 平臺上不同模型的準確性和性能，或自定義自己的應用程序。

如果要使用 SDK 提供的 C++ 代碼來啟用 LLM 聊天機器人，可以采用特定命令，此命令的整個推理工作流如圖 3 所示，其中與 DriveOS LLM SDK 相關的組件以藍色塊表示。

(圖 3、使用 DriveOS LLM SDK 進行推理的管道)

d) 多模態 LLM 部署的性能

總結

當前，整個汽車行業在持續追求輔助駕駛快速發展的同時，也在不斷推進大語言模型在車端的落地，這就對車端 AI 算力的多樣化部署，尤其是對大語言模型的部署和適配能力，提出了更加復雜和多樣化的要求。

NVIDIA DriveOS LLM SDK 簡化了 LLM 和 VLM 在DRIVE 平臺上的部署。通過利用強大的NVIDIA TensorRT推理引擎以及 LLM 特定優化技術，如量化，先進的 LLM 和 VLM 可以在 DRIVE 平臺上輕松的部署，并取得此 SDK 為在生產環境中部署強大的 LLM 奠定了基礎，最終提高了 AI 驅動的應用的性能。

對于英偉達來說，通過軟硬件結合的方式來持續推進并引領最新的技術進展，一直是其面向汽車行業進行技術賦能的核心邏輯——由此，面對大語言模型快速上車的大趨勢，DRIVE 平臺更好地支持 LLM 的部署，成為這一邏輯落地的關鍵一環。

從長遠的視角來看，伴隨著智能駕駛和智能座艙在大模型時代的不斷演進，二者之間也正在呈現出相互融合和相互賦能的發展態勢，這將會使得汽車終端在持續擁抱大算力的同時，也將會越來越意識到相應的軟件適配能力的重要性。

由此，更加緊密和深層次的軟硬結合，已經成為 AI 在車端進一步落地的必由之路。

本文來自微信公眾號“智見 Time”