《鳳凰WEEKLY財經》獲悉,12月16日,阿里發布新一代萬相2.6系列模型。
據悉,該系列模型面向專業影視制作和圖像創作場景進行了全面升級,是國內首個支持角色扮演功能的視頻模型。該模型同時支持音畫同步、多鏡頭生成及聲音驅動等功能,是全球功能最全的視頻生成模型。目前,萬相2.6已同步上線阿里云百煉、萬相官網。
據阿里方面介紹,今年9月,阿里率先在國內發布音畫同步的視頻生成模型萬相2.5,極大提升視頻創作的效率,在權威大模型評測集LMArena上,萬相圖生視頻位居國內第一。此次發布的萬相2.6進一步提升了畫質、音效、指令遵循等能力,單次視頻時長實現國內最高的15s,萬相2.6還新增了角色扮演和分鏡控制功能,不僅能一鍵完成單人、多人、人與物合拍的視頻,還能自動實現多鏡頭切換等專業任務,滿足專業影視級場景需求。
值得注意的是,通義萬相在模型結構上集成了多項創新技術,可對輸入參考視頻進行多模態聯合建模與學習,參考具有時序信息的主體情緒、姿態和多角度全面視覺特征,同時提取音色、語速等聲學特征,在生成階段作為參考條件控制,實現從畫面到聲音的全感官全維度一致性保持與遷移,目前萬相可支持單人和多人的表演。
在分鏡控制上,通義萬相能通過高層語義理解,將原始輸入構建為具備完整故事線與敘事張力的專業級多鏡頭段落,在多鏡頭絲滑切換的過程中保持核心主體、場景布局和環境氛圍統一建模,確保全片在內容、節奏和氛圍上的高一致性。
另外,萬相2.6的角色扮演功能讓普通用戶也能在影視級畫面里表現精湛的演技。例如,用戶上傳一段個人視頻,并輸入一段科幻懸疑風格的提示詞,萬相2.6能快速完成分鏡設計、角色演繹、畫面配音等環節工作,生成一段鏡頭敘事完整、電影級運鏡的短片,僅需幾分鐘就能幫用戶圓電影主角夢。
面向廣告設計、短劇制作等專業場景,通過輸入連續提示詞,萬相還能生成一段完整敘事的短片,讓人人都能當導演。例如,輸入一段廣告創意的提示詞,萬相2.6能生成一段包含人物角色和商品的廣告視頻,并且在多鏡頭切換的情況下保持主體、場景等關鍵信息的一致性。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.