口型,口型,還是口型!
之前AI視頻的對口型技術,最大的瓶頸就是多人場景,你很難讓兩個或三個人同時出現在一個畫面里,并且各自的嘴型都能跟上自己的臺詞。
現在,Seko 帶來了商湯新鮮升級的對口型SekoTalk,
我直接做了一段蒙娜麗莎和帶珍珠耳環的少女和大衛雕像坐在一起吐槽的長鏡頭畫面,
三個人物可以互相交談,口型與配音可以很精準的同步,人物動作也比較自然,還有眼神互動,整體完成度很高。
seko還同時上線了畫布修改功能,我也玩了一通完成了一段這樣的絲滑走路變裝秀,
畫面構圖不發生變化,同時還能保持人物的高度一致。放在以前,我要一張張圖做局部重繪,然后導給其他的工具再完成視頻生成,最后再放到剪輯工具里拼起來,才能完成這樣一段。
現在放在Seko里,就是一個頁面就能搞定的事。
![]()
所以我們要如何把這些功能融入到一個完整的影片制作中捏。
之前測評Seko的話,它最突出的能力就是可以一站式完成視頻的全流程創作,
在seko里,我可以完成腳本文案的創意,還能直接生成高一致性的分鏡圖片和視頻,完成配樂和旁白配音,甚至還能對口型、增刪鏡頭、剪輯鏡頭時長等等等等操作,靈活性非常高。
seko升級了這兩個能力之后,我們又能做到什么呢?
就比方之前做一個視頻,只能做到一個畫面中只有一個人物在說話,如果畫面中有兩個人物的話,不說話的人物要么就是傻愣著,要么就是能做出一些微小的反應,要么就是兩個人一起嘴動,簡單來說就是沒有辦法做到多人對話回應,我直接和現在的Seko做個對比,
測下來從人臉、動作、口型同步上看,Seko做的效果又好了不少。
我拿一個短片舉栗,有在追更喜人的朋友嗎?
我做了一段技能五子棋的雙人唱跳視頻,上傳制作好的卡通版人物主體,并讓seko生成一個包含五子棋元素的無厘頭唱跳視頻創意,
![]()
操作步驟基本一樣,調整好整個視頻的創意腳本后就可以直接進入到分鏡的部分進行刪減調整,留下自己想要的畫面,在分鏡這里就可以用到我們剛剛提到的,Seko新上的畫布編輯功能,對單張圖片進行針對性修改,
![]()
比如說這圖中里多出來的兩個三角形我不喜歡,我就可以使用消除功能在保持原圖不變的情況下刪掉不想要的元素,

或者也可以給畫面中自然的融入新元素,

也可以直接用局部重繪功能針對性修改圖中的內容,

如果想保持一致性的情況下對整張圖進行修改,還還還可以直接點擊分鏡然后在直接對話提需求,改個場景、改個天氣、改個圖片風格,都是可以的。
![]()
![]()
調整好所有分鏡后,就可以開始對口型了,這里可以一個鏡頭一個鏡頭來操作,
![]()
Seko會自動分析圖片中有幾個人物,敲重點了,
這時候想用自己的音頻的話,需要分離好每個人說話的音頻,然后選擇對應的角色、上傳音頻、可以適當填寫畫面描述之后再添加音頻,
![]()
也可以直接用Seko內置的音色,調整音色情緒,

添加好音頻后會在左側直接看到音頻軌道,我們可以控制人物在第幾秒說這段話,音頻匹配好后,點擊生成視頻就可以了。
照葫蘆畫瓢,把每個分鏡的配音都調整好,我們就可以得到一個完整的技能五子棋了!三二一,傳統的五子棋,
乍一看這口型對的還挺準,細一看人物一致性保持更好,舞蹈動作也夠抽象的,感覺我已經能看到第一(劃掉)吐槽役張呈了。
![]()
同樣的方法我們還可以出做超長鏡頭的貓咪脫口秀片段,
也可以做一個汽水產品的雙人廣告,馬上給我上架棒棒小賣部(不要再玩內部梗了)
我現在就期待音頻能支持站內剪輯、人物動作幅度可控性能再提升一個臺階,這樣就無敵了!(可靠小道消息,馬上就要上線了!)
其實SEKO的每次升級,除了模型能力的提升外,給我帶來最大的意義就倆字:省事!
以前做個多人的、復雜的視頻,從頭到尾得用好幾個工具,
素材一多時間一長各種軟件間傳來傳去就懵了,
現在,Seko把多人對口型給你了,單鏡頭畫布編輯也給了,視頻編輯、多種圖片模型視頻模型自由選擇也都掏出來了。
AI界的萬能鑰匙是吧,
什么都配全后,腦洞,就是我們唯一需要的了。
AI創作的邊界又又又又一次被擴大了,
卷點好啊。
@ 作者 / 阿湯 & 卡爾
最后,感謝你看到這里如果喜歡這篇文章,不妨順手給我們點贊|在看|轉發|評論
如果想要第一時間收到推送,不妨給我個星標
更多的內容正在不斷填坑中……
![]()
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.