視頻生成DeepSeek時刻!清華&生數(shù)開源框架提速200倍,一周2k Star

編輯｜杜偉

在 2025 年的最后時刻，一個全新視頻生成加速框架的開源宣告了：「等待數(shù)分鐘才能生成一個視頻」的時代已經(jīng)終結(jié)！

這個框架正是清華大學(xué) TSAIL 團隊與生數(shù)科技聯(lián)合發(fā)布的 TurboDiffusion

加速效果有多夸張呢？在幾乎不影響生成質(zhì)量的前提下，主流視頻生成模型在單張 RTX 5090 上生成 5 秒 720p 視頻的速度可以提升約 200 倍，同時一個 5 秒 480p 視頻的生成時長可以被壓縮到不到 2 秒（如下動圖）。

這意味著，AI 視頻創(chuàng)作進一步突破了傳統(tǒng)的「渲染與等待」模式，來到了向「實時生成」時代轉(zhuǎn)變的關(guān)鍵節(jié)點。這項突破迅速引起了學(xué)界的廣泛關(guān)注。

TurboDiffusion 無異于拋下了一顆「重磅炸彈」，擊破了擴散模型生成高質(zhì)量視頻所面臨的主要壁壘 ——高推理延遲。由于模型在生成高分辨率視頻時需要處理大量時空信息并捕捉視頻幀之間的細節(jié)與動態(tài)變化，這就需要處理海量的 token，導(dǎo)致推理耗時嚴重。

以往，主流擴散模型往往需要幾分鐘甚至幾十分鐘才能生成幾秒的高質(zhì)量視頻，較高的時間延遲極大地限制了模型的實際可用性。而現(xiàn)在，隨著加速框架 TurboDiffusion 的開源，視頻生成的等待時間大大縮短，更能滿足實時生成的需求。

目前，TurboDiffusion 在 GitHub 上已經(jīng)收獲 2k Star，社區(qū)關(guān)注度持續(xù)提升。

項目地址：https://github.com/thu-ml/TurboDiffusion

現(xiàn)在，用戶可以體驗 TurboDiffusion 支持下的高效文生視頻、圖生視頻的模型版本。

這不禁令我們好奇，TurboDiffusion 究竟采用了哪些技術(shù)手段，才能實現(xiàn)視頻生成推理速度的百倍提升？

TurboDiffusion：擴散模型視頻加速的更優(yōu)解

通過放出的 TurboDiffusion 技術(shù)報告，我們對其采用的訓(xùn)推及優(yōu)化策略有了更多的了解。

• GitHub：https://github.com/thu-ml/TurboDiffusion
• 技術(shù)報告：https://jt-zhang.github.io/files/TurboDiffusion_Technical_Report.pdf

作為一項復(fù)雜的工程性任務(wù)，擴散模型在視頻生成加速上面臨的核心難點是如何既能保持生成質(zhì)量，又能系統(tǒng)性地完成減少計算量、加速推理并保證不同模態(tài)協(xié)同一致性等多個目標(biāo)

這些挑戰(zhàn)涉及到了架構(gòu)設(shè)計、硬件適配、策略優(yōu)化等多個方面，需要在算法和系統(tǒng)協(xié)同的基礎(chǔ)上進行有的放矢的精細化處理。

TurboDiffusion 通過一系列創(chuàng)新技術(shù)，成功克服了傳統(tǒng) AI 視頻在生成效率方面的主要瓶頸。

其中，在推理階段采用的混合注意力加速、高效步數(shù)蒸餾以及 W8A8 線性層量化等「四大核心技術(shù)」，成為視頻生成百倍加速的關(guān)鍵驅(qū)動力，它們均由清華大學(xué) TSAIL 團隊聯(lián)合生數(shù)科技自主研發(fā)。

首先是混合注意力加速（Attention Acceleration），包括兩項正交的注意力加速技術(shù)，即SageAttentionSparse-Linear Attention（SLA）

其中使用 SageAttention 進行低比特量化注意力加速。它是一系列通過量化實現(xiàn)高效注意力機制的工作，自 2024 年 10 月以來陸續(xù)推出了 V1、V2 和 V3，能夠在無損準(zhǔn)確率的情況下，在大多數(shù) GPU 上實現(xiàn)即插即用的加速效果。

這里，TurboDiffusion 使用的是「SageAttention2++」變體。

項目地址：https://github.com/thu-ml/SageAttention

同時，TurboDiffusion 使用 Sparse-Linear Attention（SLA）實現(xiàn)稀疏注意力加速。作為一種可訓(xùn)練的注意力方法，SLA 結(jié)合使用稀疏注意力和線性注意力來加速擴散模型的計算過程。

SLA 架構(gòu)示意圖，圖左展示了高層次思路，注意力權(quán)重被分為三類，并分配給不同復(fù)雜度的計算；圖右展示了使用預(yù)測的壓縮注意力權(quán)重的 SLA 前向算法。圖源：https://github.com/thu-ml/SLA

不僅如此，由于稀疏計算與低比特 Tensor Core 加速是正交的，SLA 可以構(gòu)建在 SageAttention 之上，兩者的共同作用在推理過程中進一步獲得了數(shù)倍的額外加速。

接下來是高效步數(shù)蒸餾（Step Distillation），具體表現(xiàn)為引入了rCM 蒸餾方法

rCM 通過引入分數(shù)正則化和連續(xù)時間一致性的概念，優(yōu)化擴散模型生成視頻的時間步長，從而以更少的采樣步數(shù)完成生成任務(wù)，比如將采樣步數(shù)從原本的 100 步大幅減少到極小值（3 到 4 步），并能保持最佳視頻質(zhì)量。

使用蒸餾后的 Wan2.1 T2V 14B 生成的 5 個隨機視頻，生成過程中采用了 4 步采樣。圖源：https://github.com/NVlabs/rcm

最后是W8A8 線性層量化（Linear Layer Quantization）

TurboDiffusion 對線性層的參數(shù)（模型權(quán)重）和激活值（Activations）進行 8-bit 量化，過程中在 128x128 的塊粒度上進行分塊量化。這種量化方式將模型大小壓縮約一半，并利用 INT8 Tensor Cores 加速線性層計算。

得益于以上四項核心技術(shù)的協(xié)同作用，TurboDiffusion 的視頻生成加速效果被提升到了前所未有的水平。加之訓(xùn)練階段的并行訓(xùn)練策略，進一步平衡了推理效率和生成質(zhì)量。

整體訓(xùn)練過程分為兩部分并行進行：一是將預(yù)訓(xùn)練模型的全注意力替換為稀疏線性注意力（SLA）并進行微調(diào)， 減少注意力計算的復(fù)雜度，降低計算資源消耗；二是使用 rCM 將預(yù)訓(xùn)練模型蒸餾為少步數(shù)學(xué)生模型，通過減少采樣步數(shù)加速生成過程。最后將 SLA 微調(diào)和 rCM 訓(xùn)練的參數(shù)更新合并到一個單一模型中，進一步提升模型推理速度和生成質(zhì)量。

此外，TurboDiffusion 還采用其他一些優(yōu)化策略，比如使用 Triton 或 CUDA 重新實現(xiàn) LayerNorm 和 RMSNorm 等操作，以獲得更高的執(zhí)行效率。

多項推理加速技術(shù)加持下，視頻生成時長從 4767 秒降至 24 秒，提速近 200 倍。

這套技術(shù)組合拳驗證了：在不犧牲視頻表現(xiàn)力的前提下，擴散模型仍具備巨大的壓縮與提速空間，為未來更大規(guī)模模型的實時部署提供了可借鑒的標(biāo)準(zhǔn)范式。

尤其是推理階段的四項核心技術(shù)對 AI 多模態(tài)大模型的技術(shù)突破與產(chǎn)業(yè)落地具有里程碑式的價值與深遠影響力。其中 SageAttention 更是全球首個實現(xiàn)注意力計算量化加速的技術(shù)方案，已被工業(yè)界大規(guī)模部署應(yīng)用。

例如，SageAttention 已成功集成至 NVIDIA 推理引擎 Tensor RT，同時完成在華為昇騰、摩爾線程 S6000 等主流 GPU 平臺的部署與落地。此外，騰訊混元、字節(jié)豆包、阿里 Tora、生數(shù) Vidu、智譜清影、百度飛槳、昆侖萬維、Google Veo3、商湯、vLLM 等國內(nèi)外頭部科技企業(yè)及團隊，均已在核心產(chǎn)品中應(yīng)用該技術(shù)，憑借其卓越性能創(chuàng)造了可觀的經(jīng)濟效益。

單張消費級顯卡，不到 2 秒生成高清視頻

TurboDiffusion 在技術(shù)層面的領(lǐng)先性，為其在實戰(zhàn)中的驚艷效果做好了鋪墊。

先來看圖生視頻的加速效果。

我們以 14B 大小的模型生成 5 秒 720p 的視頻為例，TurboDiffusion 可以在單張 RTX 5090 上實現(xiàn)幾乎無損的端到端119 倍加速。

基線模型與引入 TurboDiffusion 后的生成時長與效果對比。

文生視頻的加速效果同樣突出。

我們先以 1.3B 大小的模型生成 5 秒 480p 的視頻為例，在單張消費級顯卡 RTX 5090 上，使用官方實現(xiàn)需要 184 秒才能生成。引入 TurboDiffusion 之后，則只要1.9 秒就能搞定。

兩者相比，速度整整提升了97 倍

基線模型與引入已有加速方案（FastVideo）、TurboDiffusion 后的生成時長與效果對比。

對于 14B 大小的模型生成 5 秒 720p 的視頻，TurboDiffusion 的加速效果更加顯著。

從下圖可以看到，在單張 RTX 5090 上生成時長從 4767 秒銳減到24 秒，實現(xiàn)幾乎無損的端到端200 倍加速。

基線模型與引入已有加速方案（FastVideo）、TurboDiffusion 后的生成時長與效果對比。

生數(shù)科技自研的 Vidu 模型上，TurboDiffusion 的加入也可以在不損失視頻生成質(zhì)量的前提下，獲得極高的推理加速效果。

舉例來說，在生成 8 秒 1080p 的視頻時，相較于沒有任何推理加速優(yōu)化的方案，TurboDiffusion 將端到端的生成延遲從 900 秒提速到了 8 秒。如下視頻 1 為加速前：

視頻 2 為 TurboDiffusion 加速后：

加速前后，視頻生成質(zhì)量依然保持在較高水準(zhǔn)。

文中視頻鏈接：https://mp.weixin.qq.com/s/uBD48AEpc9lDkNgENhFzyA

2025 年可謂是 AI 視頻生成爆發(fā)的一年，從年初到年末，國內(nèi)外頭部大模型廠商「上新」的節(jié)奏一直沒有停下。

這一年里，視頻生成模型不僅在畫質(zhì)和時長上取得了突破，也在物理規(guī)律理解、音畫同步生成等多個維度實現(xiàn)質(zhì)的飛躍。

如今，TurboDiffusion 加速框架的引入，更開啟了秒級生成與實時交互視頻創(chuàng)作新范式的關(guān)鍵轉(zhuǎn)折點

一方面，高端視頻創(chuàng)作能力從昂貴的 H100 等顯卡下沉到個人創(chuàng)作者能負擔(dān)起的消費級顯卡，極大降低算力門檻。另一方面，隨著視頻生成從「離線等待」無限接近「實時預(yù)覽」，創(chuàng)作者可以通過快速調(diào)整 prompt 獲得即時反饋，提升了藝術(shù)探索的上限。

未來，包括 TurboDiffusion 在內(nèi)的視頻生成加速技術(shù)勢必會更加成熟，我們可以想象更長時長的 1080p 甚至 4k 分辨率的視頻同樣可以做到實時生成。到那時，AI 視頻直播、個性化視頻流、AR/VR 實時內(nèi)容渲染等需要即時反饋的應(yīng)用場景有望更快更好地落地。