北京
數字人這賽道也越來越卷了，
大模型可以寫劇本，語音模型可以配出百變語氣，當我越來越不滿足于只是把口型對上這件事之后，
那這個只會坐著、不能走路、表情都是提前預設好的、臺詞數字人，會如何進化？
剛好最近在內測即夢的數字人新模型 OmniHuman 1.5。（有新模型的地方就有我）
來看看用即夢4.0圖像模型配合OmniHuman 1.5數字人模型做出的MV效果怎么樣：
數字人終于擺脫原地罰坐、罰站的設定了！
用下來的整體的感受是OmniHuman 1.5聽得懂音頻里的情緒和語義，能讓人物根據文本中的情緒自己隨地大小演，還能完成多人角色互動，讓他們都配合鏡頭動起來，同時也支持各種風格角色的大幅度運動并配以口型。
也就是說，我不只是單單給它一個聲音讓它配個口型，
而是可以讓它走位、演戲、調鏡頭，完成一整場戲。
所以我打算客串影視導演主理人，從語義理解、動作調度、情緒演繹、群體協同以及多風格表演五個維度進行全方位測評，Here we go！
首先來看語義理解，我先設定了一個場景，是一個女人在衣柜中挑選衣服，
然后我給上傳了一段音頻，音頻里講的話是：
“我的紅色外套呢？我今天要穿呢，誒，找到了，在這里，太好啦！”，
同時我在動作提示語中沒有給出完全確定的指令，只是說她拿到了自己想要的衣服這樣模糊的說法，想要看看OmniHuman 1.5 是不是能成功拿出音頻提到的“紅色衣服”。
OmniHuman 1.5 生成的人物做出了東翻西找的動作，
而且真的成功拿出衣柜中暗紅色的衣服并做出了開心的表情。
然后我又試了個更狠的，我直接只丟了一段音頻上去，連動作提示都沒給，
直接讓OmniHuman 1.5給我生成看看效果。
結果就是，首先即夢識別出了圖中的動勢做出了兩個人一邊向前走一邊講話的場景，然后還能判斷出音頻中的內容是對著另外一個人說的，所以會有男人轉頭對著女人說話的動作，amazing??！
那如果基本的動作不用我寫提示語即夢自己就可以完成的話，那加上我的提示語是不是也可以完成更復雜的動作調度呢？甚至能配合上鏡頭變化？
所以，這次我在讓他完成說話對口型的同時設置了一連串的時序動作，同時還增加了鏡頭運動，
男人一直向前走，然后停下抬頭仰望天空，然后抬起右手摘下眼鏡，然后嘆了口氣
五個動作都一一完成了，鏡頭最后也聚焦到了人物的臉部，
人物的表情也都可以配合著音頻的情緒來的，整體完成度很高。
再給即夢出一個難題，讓主角在做復雜的連續動作的同時還和周圍環境有所互動，
男人慌張的快步走進辦公室，然后慌張地坐下，然后打開桌子上的筆記本電腦，一邊打字一邊講話
生成的時候我們只能提供首幀畫面，也就是說 OmniHuman 1.5 在完成動作的同時還能補充出來畫面中本來沒有的元素，比如說這個凳子、電腦都是模型自主生成的，但是人物依然能和這些新生成的物品進行流暢的互動。
接著我們來看情緒表演，測試數字人的情緒比較靈的辦法就是讓ta哭，
是不是哭得夠自然，能不能將這個悲傷的氛圍傳遞出去。
OmniHuman 1.5會根據音頻的情緒起伏決定角色的表演，像這個音頻中人物悲傷的情緒是克制的，是慢慢表露出的痛苦，更多的是迷茫和無奈，所以在最后角色慢慢坐在地上呆呆的看著地面的時候，我也覺得情緒是對的。
反過來，當我用同一張圖片，但是換了一個情緒起伏非常大的音頻時，人物也會做出悲傷程度更加濃烈，表情動作幅度都比較大的表現。
即使換成憤怒的情緒，只給“暴跳如雷”四個字的動作指示，即夢也能做出不錯的效果（而且用即夢內置的配音時，尤其是憤怒的情緒可以多用嘆號表達憤怒的程度，實測還有點用，邪修辦法又+1）
PS：要是即夢的音頻可以咬字不那么清晰就更像真人做的了。
其實前面已經可以看到如果是多人畫面的話，除了正在說話的主人公之外，其余的角色也會對主角的行動和表現做出相應的反應，這就說明即夢的OmniHuman 1.5其實是可以演群戲的！
在多人場景中，即夢會自動識別出場景中的人物角色，我們可以自主選擇說話的人物然后生成，
可以看到，首先會判斷正在說話的女人對話的對象應該是她身邊這個醒著的男人，而這個男人在聽到女人的講到“小聲點”之后竟然還做出了用手比噓的動作，這個真的有點牛了。
而當我換成人物更多的場景，需要更多人物進行反應時，即夢也能很合理的安排好畫面中所有人的動作和表情，就比如三個人在聽完女人講笑話之后全都拍桌大笑。
同時我還測試了一些風格化的畫面，生成效果都有適配對應風格的動態，人物的動作效果也都蠻自然的。
如果說前幾代的數字人模型更像是布景演員，
擺好位置，架好相機，它們照著流程走。
那現在的OmniHuman 1.5，已經可以在即夢web端上體驗，明天也會更新到App端，
它生成的人物就像是一個個可以被我們“執導”的數字演員。
它能聽懂聲音背后的情緒起伏，是帶著語氣、帶著演技去演；是可以走進場景、互動交錯、配合鏡頭的角色；甚至是在多人場景中自覺給自己合理加戲，
我已經開始琢磨更多新的玩法了，
一個人拍多角??？整段數字MV？或者做個第一人稱視角劇？
OmniHuman 1.5 這次更新，
相當于一次性打開了很多可能性，
快挑花眼了都。
@ 作者 / 卡爾 & 阿湯
最后，感謝你看到這里如果喜歡這篇文章，不妨順手給我們點贊｜在看｜轉發｜評論
如果想要第一時間收到推送，不妨給我個星標
更多的內容正在不斷填坑中……
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
