北京
Matrix-Game-3.0今天放出了完整代碼，把實時交互視頻從實驗室拽進(jìn)了開源社區(qū)。這個模型能在單張消費(fèi)級顯卡上跑出720p畫質(zhì)，延遲壓到3秒以內(nèi)——相當(dāng)于你看完一句話，畫面已經(jīng)跟上了。
開發(fā)者放出的Demo里，用戶打字輸入場景描述，AI實時生成對應(yīng)畫面。有人試了"賽博朋克風(fēng)格的城市夜景"，鏡頭推近、霓虹閃爍，全程沒有預(yù)渲染的卡頓感。項目主頁寫著「實時交互是生成式視頻的下一個戰(zhàn)場」，這話放在半年前還算畫餅，現(xiàn)在成了可下載的權(quán)重文件。
技術(shù)細(xì)節(jié)藏得不多：基于擴(kuò)散模型改造，砍掉了傳統(tǒng)視頻生成里的冗余采樣步驟。代價也有，720p是目前上限，人物面部偶爾還會融化成抽象派。但開源協(xié)議是Apache 2.0，意味著商用免費(fèi)、魔改隨意——這和閉源的Pika、Runway形成了微妙對照。
社區(qū)反應(yīng)分化明顯。游戲開發(fā)者已經(jīng)在盤算怎么塞進(jìn)交互敘事，影視從業(yè)者則吐槽"3秒延遲做不了直播"。GitHub星標(biāo)數(shù)6小時破千，Issue區(qū)第一條是"求支持Mac M系列芯片"。
最扎心的評論來自一位網(wǎng)友："上次看到這么快的開源視頻模型，還是Sora發(fā)布前的謠言期。"
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布，本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
