來猜猜哪個是S2,
哪個是我們的新朋友GAGA-1吧,
分不清對不對!
這個case我問了身邊十幾個朋友答案都是這個,但實際上,上面的鏡頭是GAGA-1用了不到五分鐘就做出來的,而下面的鏡頭我用SoRa2跑了快半小時。
跟Sora2每秒0.1刀的價格比起來,GAGA-1目前還是免費階段。這價格成本和時間成本的區別一下子就出來了,關鍵表演這一塊,GAGA-1也很有可圈可點之處。
所以今天我就嘗試用GAGA-1復刻經典鏡頭,并且從單人表演、多人表演以及多語種表演上一起看看GAGA-1
的表現如何。
完整提示語和視頻都打包好了,公眾號后臺回復“gaga”就好啦
先來看看GAGA-1是怎么用的,其實和現在大家熟悉的用法一樣,進入Gaga AI后,選擇GAGA演員,直接上傳圖片,寫好提示語就能可以生成了。目前是支持16:9尺寸的10s的圖生視頻,后續會上線更多。
小提示,打開增強提示生成效果更好!
首先,來看單人表演,我先做了兩個古裝效果,這個配音、嘴形和動作很有古裝片哪個味兒,嘴形也不夸張,沒有張嘴180度之感,表情整體克制,不假大,尤其配音的停頓給我一種真的在思考的感覺,說是哪個古裝片里截出來的一段我也是信的。
而且視頻是包含完整的環境與動作音效一起生成的,音效不會搶拍不會非常突兀,直接就是一段完整可用的素材。
然后我給了一些情緒的指示,呈現出來的效果聲音和表情的情緒照樣很對位,
人物的微表情不會說有特別夸張或者讓人很出戲的感覺,
再來看雙人表演,這個是很厲害的一個地方,之前我們嘗試過的要么是一個鏡頭只能有一個人說話,要么就是要靠剪輯才能讓兩個人進行對話,或者就是用S2,但現在GAGA-1也給我們提供了一個解決方案。
下面這兩個鏡頭,也是通過提示語描述人物說話的內容,就能直接做出兩個人對話場景。而且人物是有世界邏輯的,他們知道在說到什么內容時做出什么動作,比如知道和對方說話要轉頭,兩人的嘴型能在交談點同步,不會一個人在說話時另一個嘴動,或者一個說完之后很久另一個人才開始說話,同時眼神互動、頭部微轉、沉默時停頓,都處理得有節奏,這就讓整個人物看起來行為更有邏輯,也讓畫面更加真實。
現在,我只期待一個可以指定多個角色的音色,并且在多個視頻中能夠持續保持音色的一致性,這樣離影視級的多集劇制作就更近了一步。
目前GAGA-1支持多個語種,生成效果上可以說都能實現母語級的口型匹配與真實情感,我做了一個中、英、日、韓、法語的鏡頭合集,大家可以感受一下這個效果,我目前是覺得還比較自然,很有電視劇質感。
目前實測下來,偏寫實風格和CG的風格的動態效果會更好,一些動畫風格還需要等待后續工具迭代,不過我還是很期待GAGA-1這方面能力也提升之后的效果,那我不是直接可以手搓番劇了?
說了這么多,
最后聊聊GAGA-1是哪個團隊做的。
半年前首個高質量自回歸視頻模型Magi-1就是他們做的,DiT 路線(比如之前的Sora),是一次性把整段視頻并行跑出來的,沒有明確的先后邏輯,時間感和因果就容易跑偏。
而 Magi-1 它是把視頻切成一小段一小段(比如 24 幀≈1 秒),上一段先出結果,下一段再基于它往下接,保證了時間順序的因果關系。理論上沒有時長上限,能一直續寫,還可以“逐秒控制”,想讓啥時候發生啥就啥時候發生。
![]()
創始人是曹越,
經歷有點過于豪華,清華特等獎學金、ICCV 馬爾獎(Marr Prize)、Swin Transformer 共同一作、博士畢業后加入微軟亞洲研究院,后任智源研究院視覺中心負責人。
說對了說多了,321,
視角拉回來這次的GAGA-1,
我覺得以后看視頻真的需要標注哪些是“真人出演”,哪些是“AI出演”,甚至哪些是“真人生成”, 甚至還有可能出現“真人演員”和“AI演員”的區分,現在好萊塢的AI演員今年不也出道第N次了。
演員緹麗·諾伍德(Tilly Norwood),由人工智能制作公司Particle6旗下的人才工作室Xicoia開發,是世界上第一個虛擬職業演員。
真的每次看到這種領域上的大版本更新迭代,
都非常興奮,
超級無敵炒雞蛋想大喊一句,
卷起來啊,S2白菜價,Veo3白菜價,GAGA-1白菜價,
通通白菜價,
我想在家看可互動實時渲染的全AI的超級電影,
配上我新買的vision pro,
美zizi。
@ 作者 / 卡爾 & 阿湯
最后,感謝你看到這里如果喜歡這篇文章,不妨順手給我們點贊|在看|轉發|評論
如果想要第一時間收到推送,不妨給我個星標
更多的內容正在不斷填坑中……
![]()
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.