告別抽卡！全能&高度可控｜藏師傅教你用即夢(mèng)數(shù)字人 1.5

前幾天即夢(mèng)在 Web 端上線他們的數(shù)字人 Omnihuman 1.5 版本。

今天來(lái)做個(gè)測(cè)試，同時(shí)有個(gè)教程教大家怎么用圖像模型配合生成名人數(shù)字人視頻。

相較于之前的 Omnihuman 1.0，這次不只是上傳音頻和圖片他幫你生成帶有唇形同步的動(dòng)態(tài)視頻，1.5 的控制能力大幅提升，你可以定義視頻中的人物表演和運(yùn)動(dòng)方式。

幾乎搞定了原來(lái) AI 視頻不好做的人物表現(xiàn)部分內(nèi)容。

可以看到在設(shè)置部分多了一個(gè)動(dòng)作描述的提示詞輸入，極大的拓展了數(shù)字人的使用場(chǎng)景，基本上可以當(dāng)一個(gè)自定義程度極高的 Veo3 來(lái)使用了，你可以控制畫(huà)面內(nèi)容、人物、情緒、音色以及運(yùn)動(dòng)和運(yùn)鏡方式。

昨天用這個(gè)做了一個(gè)比較搞的片子，最近不是模仿名人營(yíng)銷很火嗎，我做了一個(gè)讓喬布斯賣破拖鞋的演講，這種具有熱門(mén)視覺(jué)標(biāo)定和反差感的視頻非常容易火。

我們先用幾個(gè)基礎(chǔ)測(cè)試來(lái)看一下 Omnihuman 1.5 的能力。

然后我會(huì)教一下大家如何用即夢(mèng)圖片 4.0 和數(shù)字人 1.5 配合生成這種連貫的數(shù)字人視頻。

這次更新最明顯的一個(gè)改動(dòng)就是數(shù)字人不再死板，我們可以通過(guò)動(dòng)作控制讓鏡頭和人物動(dòng)起來(lái)，包括不只是主角也包括其他人物。

比如上面這個(gè)案例，我們就可以讓女子先抬頭，到一個(gè)合適可以看到嘴唇的角度，然后再開(kāi)始說(shuō)話，同時(shí)鏡頭也在旋轉(zhuǎn)到她的正臉，背后的其他人也在正常行走，這是純粹的唇形同步模型不能做到的。

另外這次的模型升級(jí)在多風(fēng)格化以及非人形生物的唇形同步上效果也變得非常的自然。

這里這種平面插畫(huà)的眼睛、嘴部和面部運(yùn)動(dòng)都非常自然而且生動(dòng)，同時(shí)依然可以搭配他的動(dòng)作比如抬手走動(dòng)等，鏡頭平移的時(shí)候新出現(xiàn)的畫(huà)面風(fēng)格也跟原來(lái)的很好的保持一致。

這次更新的另一個(gè)優(yōu)勢(shì)是對(duì)表情和表演的響應(yīng)也更得加的好，上面的提示詞為：

女人先以平靜神情看向鏡頭，眼神柔和輕聲開(kāi)口；隨即露出諷刺的表情，眉梢微挑、嘴角單側(cè)上揚(yáng)；短促輕笑后肩部微松；轉(zhuǎn)為溫和講述，目光上揚(yáng)，右手輕觸前景桌上的紙船；最后前傾半步以低語(yǔ)收束，食指輕抵唇邊作“噓”。

可以看到他響應(yīng)的很好，先是面無(wú)表情的說(shuō)話，然后變成諷刺的表情，之后非常順暢的在輕笑之后變得溫和，然后人物后撤開(kāi)始看向紙船，最后噓的動(dòng)作也做了。

整個(gè)視頻長(zhǎng)達(dá) 16 秒，這個(gè)長(zhǎng)度和提示詞詞遵循已經(jīng)非常厲害了，市面上可以做到這么穩(wěn)定的保持人像 ID 不變同時(shí)精準(zhǔn)的提示詞遵循的幾乎沒(méi)有。

這次更新還有一個(gè)優(yōu)勢(shì)就是可以控制同一場(chǎng)景多人的對(duì)話和表現(xiàn)，我們可以指定聲音是由哪個(gè)角色發(fā)出的，這個(gè)一下就讓模型的可用性拓展了很多。

比如這里我們就可以做兩人的對(duì)唱視頻，多人對(duì)話劇情也可以做了，搭配即夢(mèng) 4 的改圖能力去調(diào)整鏡頭的重點(diǎn)很容易就可以最常見(jiàn)的對(duì)話劇情，比某些只會(huì)一個(gè)固定鏡頭的電視劇強(qiáng)多了。

從上面這幾個(gè)測(cè)試也可以看到，以往類似模型那種夸張的嘴型問(wèn)題也一定程度上得到了解決，不再是所有角色說(shuō)話嘴都張的很大了，模型現(xiàn)在會(huì)根據(jù)聲音內(nèi)容和提示詞去調(diào)整，表現(xiàn)自然了非常多。

現(xiàn)在來(lái)看數(shù)字人教程的部分。

即夢(mèng)的數(shù)字人 1.5 雖然可控和操作簡(jiǎn)單是蹺蹺板的兩個(gè)部分，一般來(lái)說(shuō)可控的模型操作就會(huì)相對(duì)復(fù)雜，所以還是需要一些門(mén)檻的。

我們可以看到數(shù)字人 1.5 做條視頻需要準(zhǔn)備三部分內(nèi)容，首先是首幀的圖片，然后就是音頻，最后就是對(duì)應(yīng)的動(dòng)作和情緒提示詞。

如果你需要這個(gè)視頻更加的生動(dòng)，就必然不可能一直用一個(gè)視角和背景，所以我們需要更多的分鏡圖片和對(duì)音頻進(jìn)行切分，這樣會(huì)讓畫(huà)面更生動(dòng)。

這里我建議你先準(zhǔn)備一個(gè)表格將每個(gè)分鏡的這三個(gè)部分寫(xiě)好，然后我們看怎么去準(zhǔn)備。

然后我們來(lái)講一下基礎(chǔ)的操作：

圖像這里沒(méi)啥問(wèn)題你直接上傳首幀圖片就可以。

音頻這里說(shuō)法比較多：

如果你自己沒(méi)有準(zhǔn)備音頻的話，你需要直接選擇音頻部分，這時(shí)候即夢(mèng)一般會(huì)根據(jù)你上傳的角色推薦一個(gè)音色，當(dāng)然你也可以自己選擇，選擇完成后在說(shuō)話內(nèi)容這里直接打字寫(xiě)上要說(shuō)的話就行。

當(dāng)然你也可以在音色選擇的彈窗「我的音色」這里去克隆你想用的音色，只需要 5 秒音頻就行。

如果你自己有音頻，這時(shí)候你需要點(diǎn)擊下面的「上傳音頻」按鈕，音頻就會(huì)回填，這時(shí)候角色說(shuō)這部分就變成你上傳的音頻了不能打字。

另外還有一種情況是，你上傳的畫(huà)面里有多個(gè)角色，這時(shí)候即夢(mèng)就會(huì)自動(dòng)檢測(cè)到，你就可以選擇是圖片中的哪個(gè)角色在說(shuō)話，可以選單個(gè)，也可以選全部。

比如他檢測(cè)到我這張圖片有兩個(gè)人，就會(huì)有三個(gè)選項(xiàng)，而且會(huì)有對(duì)應(yīng)角色的切圖，很直觀。

最后是動(dòng)作描述，這里可以用他們推薦的提示詞模板，盡量遵循清晰、不矛盾、少否定，多寫(xiě)具體的內(nèi)容，少用文學(xué)化和形容詞表達(dá)。

提示詞模板：

鏡頭運(yùn)動(dòng) + 說(shuō)話角色情緒 + 說(shuō)話狀態(tài)（說(shuō)話/哭泣/唱歌/...） + 具體動(dòng)作 + （可選）背景事件/其他角色的動(dòng)作

了解完基礎(chǔ)操作之后我們就需要開(kāi)始準(zhǔn)備素材了，首先我們克隆一下喬布斯的音色，你可以用即夢(mèng)自帶的克隆功能，也可以自己用更大的數(shù)據(jù)量操作，我這里用的自己克隆的。

然后就是第一張圖片，我上面的分鏡表格這里顯示我們需要一張黑色背景的，提示詞：Black stage medium shot. Steve Jobs facing the camera，The background is a pure black PPT screen.

然后我們還需要一張拖鞋產(chǎn)品圖，哈哈，這里我用即夢(mèng)生成的，提示詞寫(xiě)像蘋(píng)果 PPT 就行。

蘋(píng)果風(fēng)格發(fā)布會(huì) PPT，一直非常破的破拖鞋，上面產(chǎn)品名字寫(xiě)著“iFlip One”

只有這兩個(gè)畫(huà)面太單調(diào)了怎么辦，這個(gè)時(shí)候就得用即夢(mèng) 4.0 的圖像編輯能力了。

我們直接將原來(lái)第一張圖的黑色 PPT 背景變成剛做的拖鞋 PPT。

當(dāng)然第三個(gè)分鏡將會(huì)基于第二張圖去修改，直接給我們的拖鞋加上掛鉤，同時(shí)改掉 PPT 上的文字。

這樣三張非常模擬喬布斯發(fā)布會(huì)場(chǎng)景的圖片就做出來(lái)的，是不是已經(jīng)有那個(gè)味了。

然后我們將所有臺(tái)詞分成三段生成，第一段是提出懸念，然后第二段展示拖鞋，第三段介紹掛鉤和發(fā)售。

然后按照剛才的介紹的基礎(chǔ)操作分別將圖片上傳，然后寫(xiě)上表格里面的語(yǔ)音和對(duì)應(yīng)的運(yùn)鏡及動(dòng)作就行。

等待視頻的完成，之后的事情你們應(yīng)該都會(huì)了，用剪映之類的把三段合成一段視頻就行。

這種方式比單鏡頭的數(shù)字人效果要好非常多，同時(shí)通過(guò)切分鏡頭避免了超長(zhǎng)鏡頭導(dǎo)致的長(zhǎng)生成時(shí)間和 ID 保持不住的問(wèn)題，再來(lái)看一下我們的結(jié)果：

近年來(lái) AI 視頻模型飛速發(fā)展，一直以來(lái)視頻模型就是視頻模型，唇形同步模型就是唇形同步模型，這樣正常影視流程中最常見(jiàn)的動(dòng)作運(yùn)鏡以及人物表演，被區(qū)分成了兩個(gè)部分。

過(guò)去我們面對(duì) AI 視頻模型，就像在跟一個(gè)才華橫溢但性格古怪的藝術(shù)家合作。你給出「一個(gè)悲傷的女人在雨中行走」這樣的提示詞，然后祈禱它能理解你心中的「悲傷」是克制的還是崩潰的，「行走」是踉蹌的還是決絕的。每一次生成都像開(kāi)盲盒，創(chuàng)作者被迫成為賭徒去抽卡。

Omnihuman 1.5 呈現(xiàn)的狀態(tài)更像是一臺(tái)精密的導(dǎo)演監(jiān)視器：首幀畫(huà)面 = 場(chǎng)景設(shè)定、音頻內(nèi)容 = 臺(tái)詞劇本、動(dòng)作提示 = 分鏡腳本、多角色控制 = 群戲調(diào)度。把創(chuàng)作從玄學(xué)變成了工程學(xué)。

當(dāng)然 AI 指令精確之后，對(duì)于創(chuàng)作者的要求也變高了，那些更懂表演、調(diào)度具備「應(yīng)該讓它執(zhí)行什么指令」的導(dǎo)演思維的人更能發(fā)揮這個(gè)模型的價(jià)值。

據(jù)悉，新模型9月30日也將同步上線即夢(mèng)手機(jī)端，屆時(shí)在軟件商店更新最新版本即夢(mèng)app，就能體驗(yàn)。

如果覺(jué)得藏師傅的內(nèi)容對(duì)你有幫助的話，可以幫忙點(diǎn)個(gè)贊和喜歡，也可以??轉(zhuǎn)給你具有導(dǎo)演思維的朋友，謝謝各位