北京
編輯｜杜偉
在 2025 年的最后時刻，一個全新視頻生成加速框架的開源宣告了：「等待數分鐘才能生成一個視頻」的時代已經終結！
這個框架正是清華大學 TSAIL 團隊與生數科技聯合發布的 TurboDiffusion
加速效果有多夸張呢？在幾乎不影響生成質量的前提下，主流視頻生成模型在單張 RTX 5090 上生成 5 秒 720p 視頻的速度可以提升約 200 倍，同時一個 5 秒 480p 視頻的生成時長可以被壓縮到不到 2 秒（如下動圖）。
這意味著，AI 視頻創作進一步突破了傳統的「渲染與等待」模式，來到了向「實時生成」時代轉變的關鍵節點。這項突破迅速引起了學界的廣泛關注。
TurboDiffusion 無異于拋下了一顆「重磅炸彈」，擊破了擴散模型生成高質量視頻所面臨的主要壁壘 ——高推理延遲。由于模型在生成高分辨率視頻時需要處理大量時空信息并捕捉視頻幀之間的細節與動態變化，這就需要處理海量的 token，導致推理耗時嚴重。
以往，主流擴散模型往往需要幾分鐘甚至幾十分鐘才能生成幾秒的高質量視頻，較高的時間延遲極大地限制了模型的實際可用性。而現在，隨著加速框架 TurboDiffusion 的開源，視頻生成的等待時間大大縮短，更能滿足實時生成的需求。
目前，TurboDiffusion 在 GitHub 上已經收獲 2k Star，社區關注度持續提升。
項目地址：https://github.com/thu-ml/TurboDiffusion
現在，用戶可以體驗 TurboDiffusion 支持下的高效文生視頻、圖生視頻的模型版本。
這不禁令我們好奇，TurboDiffusion 究竟采用了哪些技術手段，才能實現視頻生成推理速度的百倍提升？
TurboDiffusion：擴散模型視頻加速的更優解
通過放出的 TurboDiffusion 技術報告，我們對其采用的訓推及優化策略有了更多的了解。
- GitHub：https://github.com/thu-ml/TurboDiffusion
- 技術報告：https://jt-zhang.github.io/files/TurboDiffusion_Technical_Report.pdf
作為一項復雜的工程性任務，擴散模型在視頻生成加速上面臨的核心難點是如何既能保持生成質量，又能系統性地完成減少計算量、加速推理并保證不同模態協同一致性等多個目標
這些挑戰涉及到了架構設計、硬件適配、策略優化等多個方面，需要在算法和系統協同的基礎上進行有的放矢的精細化處理。
TurboDiffusion 通過一系列創新技術，成功克服了傳統 AI 視頻在生成效率方面的主要瓶頸。
其中，在推理階段采用的混合注意力加速、高效步數蒸餾以及 W8A8 線性層量化等「四大核心技術」，成為視頻生成百倍加速的關鍵驅動力，它們均由清華大學 TSAIL 團隊聯合生數科技自主研發。
首先是混合注意力加速（Attention Acceleration），包括兩項正交的注意力加速技術，即SageAttentionSparse-Linear Attention（SLA）
其中使用 SageAttention 進行低比特量化注意力加速。它是一系列通過量化實現高效注意力機制的工作，自 2024 年 10 月以來陸續推出了 V1、V2 和 V3，能夠在無損準確率的情況下，在大多數 GPU 上實現即插即用的加速效果。
這里，TurboDiffusion 使用的是「SageAttention2++」變體。
項目地址：https://github.com/thu-ml/SageAttention
同時，TurboDiffusion 使用 Sparse-Linear Attention（SLA）實現稀疏注意力加速。作為一種可訓練的注意力方法，SLA 結合使用稀疏注意力和線性注意力來加速擴散模型的計算過程。
SLA 架構示意圖，圖左展示了高層次思路，注意力權重被分為三類，并分配給不同復雜度的計算；圖右展示了使用預測的壓縮注意力權重的 SLA 前向算法。圖源：https://github.com/thu-ml/SLA
不僅如此，由于稀疏計算與低比特 Tensor Core 加速是正交的，SLA 可以構建在 SageAttention 之上，兩者的共同作用在推理過程中進一步獲得了數倍的額外加速。
接下來是高效步數蒸餾（Step Distillation），具體表現為引入了rCM 蒸餾方法
rCM 通過引入分數正則化和連續時間一致性的概念，優化擴散模型生成視頻的時間步長，從而以更少的采樣步數完成生成任務，比如將采樣步數從原本的 100 步大幅減少到極小值（3 到 4 步），并能保持最佳視頻質量。
使用蒸餾后的 Wan2.1 T2V 14B 生成的 5 個隨機視頻，生成過程中采用了 4 步采樣。圖源：https://github.com/NVlabs/rcm
最后是W8A8 線性層量化（Linear Layer Quantization）
TurboDiffusion 對線性層的參數（模型權重）和激活值（Activations）進行 8-bit 量化，過程中在 128x128 的塊粒度上進行分塊量化。這種量化方式將模型大小壓縮約一半，并利用 INT8 Tensor Cores 加速線性層計算。
得益于以上四項核心技術的協同作用，TurboDiffusion 的視頻生成加速效果被提升到了前所未有的水平。加之訓練階段的并行訓練策略，進一步平衡了推理效率和生成質量。
整體訓練過程分為兩部分并行進行：一是將預訓練模型的全注意力替換為稀疏線性注意力（SLA）并進行微調， 減少注意力計算的復雜度，降低計算資源消耗；二是使用 rCM 將預訓練模型蒸餾為少步數學生模型，通過減少采樣步數加速生成過程。最后將 SLA 微調和 rCM 訓練的參數更新合并到一個單一模型中，進一步提升模型推理速度和生成質量。
此外，TurboDiffusion 還采用其他一些優化策略，比如使用 Triton 或 CUDA 重新實現 LayerNorm 和 RMSNorm 等操作，以獲得更高的執行效率。
多項推理加速技術加持下，視頻生成時長從 4767 秒降至 24 秒，提速近 200 倍。
這套技術組合拳驗證了：在不犧牲視頻表現力的前提下，擴散模型仍具備巨大的壓縮與提速空間，為未來更大規模模型的實時部署提供了可借鑒的標準范式。
尤其是推理階段的四項核心技術對 AI 多模態大模型的技術突破與產業落地具有里程碑式的價值與深遠影響力。其中 SageAttention 更是全球首個實現注意力計算量化加速的技術方案，已被工業界大規模部署應用。
例如，SageAttention 已成功集成至 NVIDIA 推理引擎 Tensor RT，同時完成在華為昇騰、摩爾線程 S6000 等主流 GPU 平臺的部署與落地。此外，騰訊混元、字節豆包、阿里 Tora、生數 Vidu、智譜清影、百度飛槳、昆侖萬維、Google Veo3、商湯、vLLM 等國內外頭部科技企業及團隊，均已在核心產品中應用該技術，憑借其卓越性能創造了可觀的經濟效益。
單張消費級顯卡，不到 2 秒生成高清視頻
TurboDiffusion 在技術層面的領先性，為其在實戰中的驚艷效果做好了鋪墊。
先來看圖生視頻的加速效果。
我們以 14B 大小的模型生成 5 秒 720p 的視頻為例，TurboDiffusion 可以在單張 RTX 5090 上實現幾乎無損的端到端119 倍加速。
基線模型與引入 TurboDiffusion 后的生成時長與效果對比。
文生視頻的加速效果同樣突出。
我們先以 1.3B 大小的模型生成 5 秒 480p 的視頻為例，在單張消費級顯卡 RTX 5090 上，使用官方實現需要 184 秒才能生成。引入 TurboDiffusion 之后，則只要1.9 秒就能搞定。
兩者相比，速度整整提升了97 倍
基線模型與引入已有加速方案（FastVideo）、TurboDiffusion 后的生成時長與效果對比。
對于 14B 大小的模型生成 5 秒 720p 的視頻，TurboDiffusion 的加速效果更加顯著。
從下圖可以看到，在單張 RTX 5090 上生成時長從 4767 秒銳減到24 秒，實現幾乎無損的端到端200 倍加速。
基線模型與引入已有加速方案（FastVideo）、TurboDiffusion 后的生成時長與效果對比。
生數科技自研的 Vidu 模型上，TurboDiffusion 的加入也可以在不損失視頻生成質量的前提下，獲得極高的推理加速效果。
舉例來說，在生成 8 秒 1080p 的視頻時，相較于沒有任何推理加速優化的方案，TurboDiffusion 將端到端的生成延遲從 900 秒提速到了 8 秒。如下視頻 1 為加速前：
視頻 2 為 TurboDiffusion 加速后：
加速前后，視頻生成質量依然保持在較高水準。
文中視頻鏈接：https://mp.weixin.qq.com/s/uBD48AEpc9lDkNgENhFzyA
2025 年可謂是 AI 視頻生成爆發的一年，從年初到年末，國內外頭部大模型廠商「上新」的節奏一直沒有停下。
這一年里，視頻生成模型不僅在畫質和時長上取得了突破，也在物理規律理解、音畫同步生成等多個維度實現質的飛躍。
如今，TurboDiffusion 加速框架的引入，更開啟了秒級生成與實時交互視頻創作新范式的關鍵轉折點
一方面，高端視頻創作能力從昂貴的 H100 等顯卡下沉到個人創作者能負擔起的消費級顯卡，極大降低算力門檻。另一方面，隨著視頻生成從「離線等待」無限接近「實時預覽」，創作者可以通過快速調整 prompt 獲得即時反饋，提升了藝術探索的上限。
未來，包括 TurboDiffusion 在內的視頻生成加速技術勢必會更加成熟，我們可以想象更長時長的 1080p 甚至 4k 分辨率的視頻同樣可以做到實時生成。到那時，AI 視頻直播、個性化視頻流、AR/VR 實時內容渲染等需要即時反饋的應用場景有望更快更好地落地。
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
