可靈3.0加入AI拜年戰(zhàn)場(chǎng)！人在工位搓好萊塢大片，分鏡邏輯封神

夢(mèng)瑤 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

不是，誰(shuí)也沒跟我說(shuō)今年的AI春節(jié)大戰(zhàn)搞得這么猛猛猛啊?。?！

年還沒到呢，可靈就超絕不經(jīng)意甩出一個(gè)「過大年計(jì)劃」：推出可靈3.0多模態(tài)全家桶。

讓每個(gè)人，都能上桌當(dāng)——大導(dǎo)演

我主打一個(gè)先嘗為快！先看我導(dǎo)的這出《拳王》（賽博版）動(dòng)作大戲，10秒鐘狂切6個(gè)分鏡頭：

好萊塢大片也是手拿把掐，10秒鐘切換7個(gè)鏡頭，從引擎轟鳴火花飛濺，再到男女主激烈爭(zhēng)執(zhí)，讓我這個(gè)導(dǎo)演有點(diǎn)汗流浹背了...

災(zāi)難片自然我也不在怕的，濃霧封城、街道廢棄、廣告牌瘋狂搖晃……咋樣，是不是有點(diǎn)《后天》內(nèi)味兒了：

不光我一個(gè)人玩嗨了，各位腦洞大開的網(wǎng)友們也紛紛share自己的大作了，下面這小哥直接搓出來(lái)了個(gè)超燃籃球賽大片，并直言夠逼真！?。?/p>

還有網(wǎng)友感慨，以后拍電影怕是都不用找真人演員了，這不嘛，人家直接找AI演了波超抽象的家庭大戲，腦洞太大了…

反正這波實(shí)測(cè)下來(lái)我最直觀感受就是:

智能分鏡能力確實(shí)夯，模型確實(shí)更能理解鏡頭語(yǔ)言了，像文字和人物的一致性上表現(xiàn)也蠻超出預(yù)期。

具體哪些功能最好用、適合啥樣的使用場(chǎng)景，我也幫友友們整理好了（省流版）：

1）智能分鏡｜音畫同步｜主體一致性：特別適合做多鏡頭多對(duì)話的AIGC視頻，在AI短劇、影視這類場(chǎng)景非常適用。

2）文字一致性：賊適合處理AI電商廣告等場(chǎng)景的文字信息，文本形態(tài)基本能做到1:1還原！

具體實(shí)測(cè)效果咱往下看，順帶也歡迎大家來(lái)評(píng)評(píng)我這幾部春節(jié)檔大片，導(dǎo)的水平到底行不行？

先來(lái)測(cè)測(cè)：視頻3.0

跟手動(dòng)拆分鏡說(shuō)byebye

咱們?nèi)粘Ｉ梢曨l時(shí)，一直不停反復(fù)抽卡的主要原因之一便是——提示詞太長(zhǎng)、鏡頭太多，視頻模型接不住。

尤其是經(jīng)常做AI短劇、AIGC自媒體的朋友，對(duì)鏡頭切換的數(shù)量和質(zhì)量要求都比較高，這類問題就更明顯了……

好消息是，在全新的可靈視頻3.0生成頁(yè)面中，直接給模型安排上了個(gè)「分鏡」小版塊，長(zhǎng)下面zhei樣：

平臺(tái)一共給咱提供了兩種形式：智能分鏡自定義分鏡

我在智能分鏡中，我們可以直接把一整段包含多鏡頭、多動(dòng)作、多角色的提示詞一股腦丟進(jìn)去，AI會(huì)自動(dòng)幫我們分成不同的鏡頭。

我最近正好在重溫《甄嬛傳》，但光看劇已經(jīng)有點(diǎn)不過癮了，索性直接讓AI來(lái)一段后宮宮斗cut，于是我給它喂了一大段帶雙人對(duì)話、明確鏡頭切換的復(fù)雜提示詞：

于是乎，一個(gè)陰雨夜貴妃貓娘娘和大臣小狗對(duì)峙的宮斗片段的畫面就新鮮出爐了，別說(shuō)還真有點(diǎn)緊張刺激那味兒了？

我給出的提示詞中涉及了一個(gè)場(chǎng)景，四個(gè)鏡頭，兩段角色對(duì)話和一個(gè)背景音樂。

先說(shuō)優(yōu)點(diǎn)，我只能說(shuō)這智能分鏡確實(shí)挺智能，涉及到的鏡頭、臺(tái)詞全部1:1地還原了，respect啊！

在音頻處理上，小貓和小狗的語(yǔ)氣、情緒和臺(tái)詞匹配度很高，發(fā)音里的輕重緩急也處理得不錯(cuò)，角色的表情和眼神跟對(duì)白對(duì)得也很準(zhǔn)。

唯一的大bug：背景音樂沒給我生成要，是能再來(lái)一段BGM就更對(duì)味兒了……

咱再玩點(diǎn)有意思的，來(lái)點(diǎn)跨界融合看看效果，我給出的提示詞如下：

大明星貓貓一個(gè)眼神給出去，直接現(xiàn)場(chǎng)教學(xué)啥叫“身體成了一個(gè)X型”，別說(shuō)這小身材搭配這小眼神整的還挺曼妙：

角色情緒和眼神動(dòng)作都完全拿捏到位，而且貓貓的特寫鏡頭給的特別好，看來(lái)這AI是懂點(diǎn)鏡頭語(yǔ)言的。

唯一的小bug出現(xiàn)在了臺(tái)詞上。

原本提示詞里明確是小狗說(shuō)“老師”，但模型在生成時(shí)把這句臺(tái)詞順帶分給了小貓，導(dǎo)致角色說(shuō)話的對(duì)應(yīng)關(guān)系被打亂，整體臺(tái)詞邏輯出現(xiàn)了點(diǎn)偏差～

（我猜可能跟我提示詞的動(dòng)詞太多有關(guān)系……)

總的來(lái)說(shuō)，智能分鏡本身是靠譜的，多鏡頭結(jié)構(gòu)基本不會(huì)出大問題，只是在臺(tái)詞和音頻分配上偶爾會(huì)冒出一些小bug～

人物一致性更穩(wěn)了

咱平日里只要生成涉及「主體角色」的AI視頻，有個(gè)幾乎90%都會(huì)遇到的問題——

角色明明只是換了個(gè)動(dòng)作，結(jié)果上一秒和下一秒長(zhǎng)得就已經(jīng)不是同一個(gè)人了……

也不知道可靈這回受了啥啟發(fā)，在視頻3.0中直接搞了個(gè)多圖或視頻的主體參考功能。

我們可以直接綁定人物角色形象，并上傳不同視角的參考圖，這樣一來(lái)模型在主體識(shí)別上就更穩(wěn)穩(wěn)穩(wěn)了。

當(dāng)然，穩(wěn)不穩(wěn)還得——實(shí)測(cè)說(shuō)了算！

為了更好考察模型的主體遵循能力，這次我喂給AI的是一段包含人物多視角、多動(dòng)作的提示詞，并上傳了兩個(gè)不同視角的人物形象照：

一個(gè)火急火燎、趕著打卡的上班牛馬，在馬路上橫沖直撞的名場(chǎng)面視頻，這不就到手了嘛（doge）：

為了讓友友們更清楚地做對(duì)比，我把我輸入和輸出的角色形象截取對(duì)比了一下，大家覺得主體一致性表現(xiàn)如何？？？

emm…我是覺得鏡頭1和3和我給的原參考形象是近乎1:1還原的，但是鏡頭2就明顯出現(xiàn)了問題。

人物的膚色明顯變深了，發(fā)型也從原本的斜偏，直接變成了寸頭……

我懷疑這里頭的原因可能是因?yàn)槲椅菇oAI的本身沒有嚴(yán)格意義上的正面形象，所以AI自己腦補(bǔ)了一下？

整體來(lái)說(shuō)可以給個(gè)80分內(nèi)樣。

字形穩(wěn)得住，方言還得再練

這次，可靈視頻3.0打的第三個(gè)招牌就是——字形保留高保真。（翻譯：俺們AI生出來(lái)的字兒不變形

好大的口氣，大家都要知道，相比角色一致性，文字一致性其實(shí)更難。

那我就不客氣了，這次我給出AI的需求指令中，明確提到了光影變化、鏡頭切換以及旁白配合的多鏡頭場(chǎng)景，這就要求AI在不斷運(yùn)動(dòng)和切換的過程中，依然能保持較高的文字一致性：

大家伙快來(lái)看看，AI給我搓出來(lái)了個(gè)近乎達(dá)到「商用水平」的香水廣告宣傳片demo：

即便鏡頭處在持續(xù)旋轉(zhuǎn)運(yùn)動(dòng)中，香水瓶身的logo文字依舊保持清晰、不變形。

這其實(shí)也說(shuō)明了模型在文字結(jié)構(gòu)理解、空間變換下的穩(wěn)定渲染以及跨鏡頭一致性保持上的能力已經(jīng)相當(dāng)扎實(shí)了。

最后，咱再來(lái)試一個(gè)可靈3.0視頻模型中我自認(rèn)為非常有意思的一個(gè)能力——說(shuō)方言

按照官方的說(shuō)法，模型支持中、英、日、韓、西多語(yǔ)種生成，四川話、粵語(yǔ)等地道方言與各地口音。

要是這樣的話，我有個(gè)大膽的想法，咱讓奧特曼和馬斯克跑天津來(lái)吃煎餅果子，順便來(lái)一段地地道道的“貫口”：

倆人大褲衩子大背心一穿，吃大餅吃的那叫一個(gè)香啊，你別說(shuō)，還挺入鄉(xiāng)隨俗？？？

畫面這塊基本沒啥可挑的，直接給滿分，人物主體一致性也確實(shí)還原得很到位，馬斯克和奧特曼本人看了估計(jì)都得一愣?。?！

但問題也很明顯，咱這一題考的其實(shí)是方言能力，事實(shí)上，兩位一個(gè)天津話沒說(shuō)對(duì)，一個(gè)北京話也沒對(duì)上，反倒普通話說(shuō)得相當(dāng)標(biāo)準(zhǔn)……

我一度懷疑是不是AI對(duì)北京話、天津話不太熟，于是我索性再加一道題，讓AI再生成了一個(gè)兵馬俑說(shuō)四川方言的視頻：

這回對(duì)味兒了，雖然兵馬俑長(zhǎng)相有點(diǎn)驚悚，但是這四川話說(shuō)的倒是蠻厲害的。

（有沒有四川的朋友點(diǎn)評(píng)一下，這口音說(shuō)的正宗不？？）

再來(lái)測(cè)測(cè)：視頻O3 OMNI

除了O3視頻模型，可靈這次還順手上新了另一位全能視頻選手——O3 OMNI，那這OMNI具體能干點(diǎn)啥呢：

• 主體相似度上了一個(gè)level，模型對(duì)復(fù)雜提示詞的理解更到位了，用在多鏡頭、多動(dòng)作場(chǎng)景里更穩(wěn)。
• 上傳一段3–8秒的角色視頻就能提取外觀和聲音，多圖主體模式下再補(bǔ)一段3秒以上人聲就能綁定固定聲線
• 支持原生自定義分鏡，視頻時(shí)長(zhǎng)也升級(jí)到15秒，很適合需要講清楚一段故事、或者做中長(zhǎng)視頻內(nèi)容的友友。

咱先來(lái)看對(duì)復(fù)雜文本指令的遵循能力如何～

這次我喂給AI一段同時(shí)考察主體一致性、連續(xù)加減速的運(yùn)動(dòng)理解，以及多區(qū)域切換時(shí)的鏡頭跟隨與時(shí)序控制的提示詞：

10秒內(nèi)，萬(wàn)圣節(jié)的小兔子完成了跳躍動(dòng)作，并依次穿過落葉地面、南瓜燈和墓碑三個(gè)區(qū)域，自動(dòng)補(bǔ)全了參考圖中未給出的萌萌視頻，不戳不戳??！

接下來(lái)玩玩分鏡頭敘事功能。

在全新的「O3 OMNI」模型里，我們可以直接自定義分鏡，這次我上傳了兩張參考圖（香蕉貓+優(yōu)雅企鵝），然后把分鏡腳本也一并塞了進(jìn)去：

然后我就會(huì)得到一個(gè)香蕉貓和優(yōu)雅企鵝在紐約街頭盤算著吃豆腐腦的「抽象抓馬」大戲：暴露出來(lái)的問題也不少：第一幀背景白底直接出錯(cuò)，后半段香蕉貓的嘴形沒對(duì)上，角色和背景的融合度也偏低，整體看下來(lái)，這是這輪里生成效果最差的一個(gè)……

(我是覺得不如智能分鏡的效果好）

而且說(shuō)實(shí)話，對(duì)我來(lái)說(shuō)這種需要自定義鏡頭的方式也略微麻煩。

既要上傳參考圖，又要自己拆分鏡頭、逐一標(biāo)注每個(gè)鏡頭的主體，如果折騰這么一圈，最后生成效果還不理想，u1s1，多少會(huì)有點(diǎn)難受……

感覺「自定義分鏡」功能還是更適合對(duì)提示詞和分鏡腳本比較熟的朋友去用。

如果需求沒那么高、又像我一樣對(duì)提示詞不算精通的話，還是更推薦大家直接用「智能分鏡」。

突然想起來(lái)，我上一次用可靈還是在測(cè)試O1模型，這次實(shí)測(cè)下來(lái)，能明顯感覺到3.0相比O1好用、也好玩了不少。

bug確實(shí)也有，但大部分也是現(xiàn)在多模態(tài)模型的通病，模型對(duì)于咱日常工作娛樂來(lái)說(shuō)足夠用了。

可靈的黑金會(huì)員可以先在Web端體驗(yàn)一波，非黑金用戶也不用急，感覺全面開放應(yīng)該很快就會(huì)來(lái)～

（期待一下叭）