熱門賽道 | 文生視頻，科技賦能藝術(shù)新業(yè)態(tài)

行業(yè)定義

文生視頻（Text-to-Video）是一種利用人工智能技術(shù)將文字描述轉(zhuǎn)化為視頻內(nèi)容的技術(shù)。與之前的文本生成圖像（文生圖）類似，文生視頻通過深度學習模型，理解和處理文本描述，然后根據(jù)這些描述生成動態(tài)的、連貫的視頻序列。這種技術(shù)的核心在于結(jié)合了自然語言處理（NLP）和計算機視覺（CV）領(lǐng)域的最新進展。

國外谷歌和微軟等“硅谷巨頭”很早就開始投入多模態(tài)視頻生成的研究。去年，谷歌發(fā)布了多模態(tài)大模型Gemini和視頻生成模型VideoPoet，從實際效果上展示了多模態(tài)生成視頻的巨大潛力。

而在國內(nèi)，多模態(tài)技術(shù)的發(fā)展方向展現(xiàn)出了更多的可能性。不僅有百度這樣的技術(shù)積累深厚的大廠，還有大模型領(lǐng)域的獨角獸公司智譜，以及生數(shù)科技和智象未來等以多模態(tài)大模型為目標的創(chuàng)業(yè)公司。

在視頻生成模型領(lǐng)域，目前國內(nèi)的創(chuàng)業(yè)公司大致可以分為兩類。一類公司，如愛詩科技、生數(shù)科技、Morph Studio和智象未來，專注于自主研發(fā)基礎大模型，致力于開發(fā)適用于多種通用場景的視頻生成工具。另一類公司則包括右腦科技、李白AI實驗室、毛線球科技、布爾向量和MewXAI。這一類公司數(shù)量較多，且更具產(chǎn)品化特點，專注于解決特定場景下的問題，更像是提供AIGC在線編輯的平臺。

在文生視頻技術(shù)迅速崛起的背景下，整個產(chǎn)業(yè)鏈逐漸形成，其上游、中游和下游環(huán)節(jié)各自扮演著不同的角色，共同推動著文生視頻技術(shù)的發(fā)展與應用。

在上游環(huán)節(jié)，數(shù)據(jù)和素材供應是重要基礎。數(shù)據(jù)提供商通過提供大規(guī)模、多樣化的數(shù)據(jù)集，為文生視頻模型的訓練提供原材料，而素材庫則為模型的生成提供了豐富的視覺元素。與此同時，AI公司專注于算法和模型的開發(fā)，致力于提升文生視頻的生成效果。云計算服務商和硬件供應商也在這一環(huán)節(jié)中發(fā)揮著重要作用，提供強大的計算能力和硬件支持，確保模型訓練和推理的高效進行。

進入中游，AI技術(shù)公司承擔了文生視頻模型訓練、調(diào)優(yōu)和部署工作，確保模型能夠準確理解文本并生成高質(zhì)量的視頻。平臺服務商則通過提供文生視頻生成平臺，使企業(yè)與個人用戶可以方便地使用。同時，垂直行業(yè)應用開發(fā)商根據(jù)不同領(lǐng)域的需求，開發(fā)出針對性的文生視頻解決方案，滿足影視制作、廣告創(chuàng)作、教育培訓等多樣化場景的需求。

在下游，視頻制作公司開始將文生視頻技術(shù)應用于實際內(nèi)容創(chuàng)作中，借此制作廣告、電影等作品的效率得到了大幅提升。媒體平臺則通過廣泛的分發(fā)渠道，將這些生成的視頻內(nèi)容傳播給更廣泛的受眾。對于營銷和廣告公司來說，文生視頻技術(shù)也為個性化廣告的創(chuàng)作帶來了新的可能。此外，企業(yè)客戶和個人用戶作為終端受眾，直接體驗并反饋文生視頻應用的效果，這些反饋不僅幫助技術(shù)的優(yōu)化，也為整個產(chǎn)業(yè)鏈的健康發(fā)展提供了市場洞察。

文生視頻技術(shù)的應用場景非常廣泛，包括但不限于：

1.內(nèi)容創(chuàng)作：幫助創(chuàng)作者快速生成視頻素材，用于電影、廣告或其他形式的數(shù)字內(nèi)容。

2.游戲開發(fā)：生成游戲中的動態(tài)場景或角色動畫。

3.教育和培訓：制作教學視頻，展示復雜的概念或流程。

4.虛擬現(xiàn)實（VR）和增強現(xiàn)實（AR）：創(chuàng)建更為逼真的沉浸式體驗。

雖然技術(shù)目前還在持續(xù)發(fā)展中，生成的視頻質(zhì)量和真實性可能目前也有待提升，但該項技術(shù)展現(xiàn)了巨大的潛力，尤其是在自動化內(nèi)容生成和節(jié)省創(chuàng)作成本方面。

睿獸分析整理文生視頻近年來的融資情況，截止2024年9月，有57家未上市公司發(fā)生融資事件166起，參與機構(gòu)達280多家。文生視頻近兩年技術(shù)落地加速，于2023年融資事件數(shù)與融資金額都達到歷年最高，其金額高達802.14億人民幣，而今年僅前8個月，融資事件數(shù)也達到25起之多。在融資輪次方面，文生視頻相關(guān)公司的融資輪次多處于早期階段。

相關(guān)企業(yè)

生數(shù)科技

北京生數(shù)科技有限公司成立于2023年3月，是一家產(chǎn)業(yè)級多模態(tài)大模型研發(fā)商，基于自研產(chǎn)業(yè)級多模態(tài)大模型，生數(shù)科技目前正面向圖像創(chuàng)作、3D資產(chǎn)創(chuàng)建等細分場景打造垂類應用，服務范圍覆蓋C、B兩端。

2022年，生數(shù)科技提出了全球首個融合Diffusion和Transformer架構(gòu)的U-ViT模型，僅僅半年后便實現(xiàn)了重大突破，開源了基于這一融合架構(gòu)的多模態(tài)擴散模型UniDiffuser，成功驗證了大規(guī)模訓練融合架構(gòu)的可行性與其涌現(xiàn)能力。

2023年初，生數(shù)科技開源了基于Transformer架構(gòu)的多模態(tài)擴散大模型UniDiffuser，這是首次在Diffusion Model（擴散模型）上應用U-ViT的Transformer架構(gòu)，從而使得一個底層模型能夠高質(zhì)量地完成文生圖、圖生文、圖文聯(lián)合生成、圖文改寫等多種生成任務。

2024年4月，生數(shù)科技聯(lián)合清華大學正式發(fā)布了國內(nèi)首個全自研視頻大模型Vidu，該模型在性能上全面對標OpenAI的Sora，在國內(nèi)外引發(fā)了廣泛關(guān)注并獲得高度認可。

2024年6月，生數(shù)科技完成數(shù)億元Pre-A+輪融資，此次融資由順禧基金與百度戰(zhàn)略投資部聯(lián)合領(lǐng)投，中關(guān)村科學城公司等跟投，啟明創(chuàng)投、卓源亞洲老股東持續(xù)加碼，華興資本擔任本輪融資的獨家財務顧問。同年3月，其完成Pre-A輪的數(shù)億元融資，由啟明創(chuàng)投領(lǐng)投，達泰資本、智譜AI、老股東BV百度風投和卓源亞洲跟投。該輪融資主要用于多模態(tài)基礎大模型的迭代研發(fā)、應用產(chǎn)品創(chuàng)新及市場拓展。去年8月，其完成了數(shù)千萬元天使+輪融資，該輪融資由錦秋基金獨家投資，資金主要用于算法研發(fā)、產(chǎn)品開發(fā)和團隊擴充。

愛詩科技

北京愛詩科技有限公司成立于2023年4月，其致力于打造一個聚焦AIGC的視覺多模態(tài)算法平臺 ，覆蓋視覺相關(guān)的各種垂直應用場景。該平臺能夠支持AIGC新內(nèi)容，幫用戶解決內(nèi)容生成、安全、版權(quán)、分發(fā)、商業(yè)化等幾乎全生命周期的各項問題。愛詩科技團隊成員來自清華、北大、中科院等頂級學府，曾任職于字節(jié)、快手、騰訊、微軟研究院等核心技術(shù)團隊。

2024年1月，愛詩科技正式推出了文生視頻產(chǎn)品 PixVerse 的網(wǎng)頁版，并迅速獲得了全球用戶的廣泛關(guān)注。PixVerse 通過其出色的表現(xiàn)，迅速建立了穩(wěn)固的創(chuàng)作者生態(tài)系統(tǒng)。該產(chǎn)品頁面的月訪問量已突破百萬，并在2月份登頂全球AI產(chǎn)品榜（aicpb.com）的增速榜首。目前，PixVerse 的視頻生成總量已超過千萬次，被廣泛應用于影視、廣告、動漫等多個內(nèi)容創(chuàng)作領(lǐng)域。愛詩科技始終以用戶需求為核心，持續(xù)優(yōu)化產(chǎn)品功能和交互體驗。

2024年4月，愛詩科技正式推出了基于自研視頻大模型的 C2V（Character to Video 角色一致性）功能，并已在 PixVerse 網(wǎng)頁端上線。該功能通過精準提取人物特征，并將其深度融合到視頻生成模型中，使得 PixVerse 能夠鎖定角色，實現(xiàn)連續(xù)且可控的視頻生成。此功能初步解決了AI視頻創(chuàng)作中的一致性挑戰(zhàn)，為創(chuàng)作者提供了更加高效、靈活的工作流程。

2024年4月，愛詩科技完成A+輪過億元融資，由螞蟻集團領(lǐng)投。本輪融資將用于進一步迭代自研視頻生成大模型，并升級團隊，加快實現(xiàn)AI視頻生成技術(shù)的行業(yè)應用。今年3月，愛詩科技完成億級人民幣A輪融資，該輪融資由國內(nèi)一線投資機構(gòu)達晨財智領(lǐng)投，光源資本擔任獨家財務顧問。

RightBrain AI

北京右腦科技有限公司成立于2022年9月，是一家專注于研發(fā)AI圖像和視頻創(chuàng)作工具的初創(chuàng)公司，致力于將AIGC技術(shù)應用于圖像視頻領(lǐng)域，以AI賦能創(chuàng)作。

創(chuàng)始團隊成員均畢業(yè)于清北，是女媧、智源悟道等大模型核心成員，團隊擁有業(yè)內(nèi)最前沿的圖像視頻生成大模型的研發(fā)和落地經(jīng)驗。

目前，右腦科技創(chuàng)始團隊包括多模態(tài)預訓練模型女媧系列 NUWA、NUWA Infinity 的模型一作，智源悟道·文生圖模型、國畫模型核心貢獻者和前商湯視頻生成算法研究員，具備優(yōu)秀的多模態(tài)、大模型技術(shù)能力，能通過模型技術(shù)持續(xù)優(yōu)化，獲得長期突出優(yōu)勢。

其中女媧（NUWA）是2021年推出的突出的多模態(tài)預訓練大模型，提供了高質(zhì)量的文本到圖像、文本到視頻以及視頻預測等視覺生成能力，在 8 種跨模態(tài)合成模式下效果超過同期最好的 DALLE 等模型，成為當時多模態(tài)領(lǐng)域 SOTA。

目前，右腦科技是少數(shù)具備視頻生成算法研發(fā)能力的公司之一，面向創(chuàng)作者和視覺生成的巨大需求，公司未來將持續(xù)實現(xiàn)更高難度的技術(shù)攻克。

2023年6月，右腦科技宣布完成數(shù)千萬元天使輪融資，本輪投資方為光速光合和奇績創(chuàng)壇。此次融資資金將主要用于算法研發(fā)、產(chǎn)品開發(fā)和團隊擴充。2022年9月，其獲得奇績創(chuàng)壇的種子投資。

熱點訊息

2024年8月，MiniMax低調(diào)發(fā)布首款文生視頻模型

8月31日，MiniMax低調(diào)發(fā)布首款視頻生成大模型，同時發(fā)布一條由MiniMax大模型生成的2分鐘視頻《魔法硬幣》。值得注意的是，目前MiniMax并未公布模型的具體參數(shù)和技術(shù)要點。當天，其創(chuàng)始人閆俊杰在接受媒體群訪時表示，“我們確實在視頻模型生成方面取得很大的進展，根據(jù)內(nèi)部評測以及跑分，我們比Runway的（生成視頻）效果更好?！睋?jù)其透露，目前的視頻生成模型只是第一版，很快會有新版本，后續(xù)還會在數(shù)據(jù)、算法本身、使用細節(jié)等方面繼續(xù)迭代，現(xiàn)在只提供文生視頻。未來圖生視頻、文+圖生成視頻都會陸續(xù)出來。

2024年6月，潞晨Open-Sora開源大升級：單鏡頭16秒720p高清任意視頻一鍵生成

潞晨Open-Sora團隊在720p高清文生視頻質(zhì)量和生成時長上實現(xiàn)了突破性進展，支持無縫產(chǎn)出任意風格的高質(zhì)量短片，并且，該版本繼續(xù)全部開源，為開源社區(qū)帶來億點點震撼。自OpenAI Sora發(fā)布以來，業(yè)界對Sora的開放性期待值爆表，但現(xiàn)實卻是持續(xù)的等待游戲。潞晨 Open-Sora 的開源，為文生視頻的創(chuàng)新和發(fā)展注入了強勁的活力。訪問其的github地址，即可零門檻免費獲得模型權(quán)重和全套訓練代碼，這使用戶從被動的內(nèi)容消費者轉(zhuǎn)變?yōu)榉e極的內(nèi)容創(chuàng)造者。

2024年4月，全面對標Sora 生數(shù)科技聯(lián)合清華推出國內(nèi)首個純自研視頻大模型

4月27日，在中關(guān)村論壇未來人工智能先鋒論壇上，生數(shù)科技聯(lián)合清華大學正式發(fā)布中國首個長時長、高一致性、高動態(tài)性視頻大模型Vidu。據(jù)悉，該模型采用Diffusion（擴散概率模型）與Transformer融合的架構(gòu)U-ViT，支持一鍵生成長達16秒、分辨率高達1080P的高清視頻內(nèi)容。生數(shù)科技方面介紹，與Sora一致，Vidu能夠根據(jù)提供的文本描述直接生成長達16秒的高質(zhì)量視頻。生數(shù)科技方面介紹，其核心技術(shù)U-ViT架構(gòu)由團隊于2022年9月提出，早于Sora采用的DiT架構(gòu)，是全球首個Diffusion（擴散概率模型）與Transformer融合的架構(gòu)，完全由團隊自主研發(fā)。

2024年3月，中國首部文生視頻AI系列動畫片《千秋詩頌》英文版發(fā)布

3月10日，由中央廣播電視總臺打造的中國首部文生視頻AI系列動畫片《千秋詩頌》英文版在總臺CGTN正式上線發(fā)布，這是總臺利用AI技術(shù)賦能國際傳播的最新嘗試?！肚镌婍灐废盗袆赢嬈⑽陌嫱瑯硬捎每偱_最新AI技術(shù)譯制配音完成?？偱_CGTN運用AI語言模型對中文腳本進行翻譯潤色，配音過程使用文生聲、聲線克隆、AI視頻處理等技術(shù)，出色還原了中文配音的音色和情感。

2024年2月，奧特曼再放大招！OpenAI發(fā)布首個文生視頻模型Sora

2月16日，全球人工智能模型領(lǐng)跑者OpenAI推出了一款能根據(jù)文字指令即時生成短視頻的模型，命名為Sora。此前在2023年轟轟烈烈的多模態(tài)AI模型競賽中，谷歌、Meta和初創(chuàng)公司Runway、Pika Labs都發(fā)布過類似的模型。但本次OpenAI展示的視頻仍然以高質(zhì)量獲得關(guān)注。Sora能夠從文本說明中生成長達60秒的視頻，并能夠提供具有多個角色，特定類型的動作和詳細的背景細節(jié)的場景。Sora還能在一個生成的視頻中創(chuàng)建多個鏡頭，體現(xiàn)人物和視覺風格。