<cite id="ffb66"></cite><cite id="ffb66"><track id="ffb66"></track></cite>
      <legend id="ffb66"><li id="ffb66"></li></legend>
      色婷婷久,激情色播,久久久无码专区,亚洲中文字幕av,国产成人A片,av无码免费,精品久久国产,99视频精品3
      網易首頁 > 網易號 > 正文 申請入駐

      別只關注馬斯克的Grok了,Sora復刻版Open-Sora直接開源!

      0
      分享至

      開源項目地址:https://github.com/hpcaitech/Open-Sora

      中文文檔:https://github.com/hpcaitech/Open-Sora/blob/main/docs/README_zh.md

      不久前,OpenAI的Sora憑借其令人贊嘆的視頻生成效果迅速走紅,成為眾多文字到視頻模型中的佼佼者,引起了全球的關注。緊接著,Colossal-AI團隊推出了一項新的開源方案“Open-Sora 1.0”,該方案全面覆蓋了訓練過程,包括數據處理、所有訓練細節以及模型檢查點,旨在與全球AI愛好者攜手共進,開創視頻創作的新紀元。現在,就讓我們先來看一看“Open-Sora 1.0”模型生成的美景視頻。

      海浪拍打在海灘和懸崖:


      漫天繁星流轉:


      午夜的繁華街頭:


      在海中遨游的海龜:


      Open-Sora技術只是冰山一角。Colossal-AI團隊已經全面開源了模型架構、訓練模型檢查點、所有訓練與數據準備過程的細節、視頻演示和教程,供所有對文字到視頻模型感興趣的人在GitHub上自由學習和使用。

      Open-Sora的復現計劃

      Open-Sora的復現計劃借鑒了Stable Video Diffusion(SVD)工作,分為三個階段:

      1. 大規模圖像預訓練:第一階段通過大規模圖像預訓練,利用成熟的文字到圖像模型幫助降低視頻預訓練的成本。借助互聯網上豐富的大規模圖像數據和先進的文字到圖像技術,能夠訓練出高質量的文字到圖像模型,作為視頻預訓練下一階段的初始化權重。同時,由于缺乏高質量的時空VAE,Open-Sora使用Stable Diffusion模型預訓練空間VAE。這種策略不僅確保了初始模型的優越性能,也顯著降低了視頻預訓練的總體成本。

      2. 大規模視頻預訓練:第二階段通過大規模視頻預訓練,增強模型的泛化能力,有效掌握視頻的時間序列關聯。這一階段需要使用大量的視頻數據訓練,以確保視頻主題的多樣性,從而提高模型的泛化能力。

      3. 高質量視頻數據微調訓練:第三階段通過對高質量視頻數據的微調,顯著提高了生成視頻的質量。第三階段使用的視頻數據量比第二階段少一個數量級,但視頻的持續時間、分辨率和質量都更高。通過這種方式的微調,實現了視頻生成從短到長、從低分辨率到高分辨率、從低保真度到高保真度的高效擴展。每個階段的訓練都是在前一階段的權重基礎上繼續進行。與從零開始的單階段訓練相比,多階段訓練通過逐步擴大數據規模,更高效地實現了高質量視頻生成的目標。在復現過程中,Colossal-AI團隊使用了64個H800 GPU進行訓練。第二階段的訓練量共計2808 GPU小時,約等于7000美元;第三階段的訓練量為1920 GPU小時,約等于4500美元,最后成功地將Open-Sora復現過程的成本控制在約10000美元。

      數據預處理

      為了進一步降低Sora復現的門檻和復雜性,Colossal-AI團隊還提供了便捷的視頻數據預處理腳本,包括公開視頻數據集的下載、基于鏡頭連續性的長視頻分割成短視頻片段,以及使用開源大型語言模型LLaVA生成細粒度提示詞,使您可以輕松開始Sora復現預訓練。
      Open-Sora提供的批量視頻字幕生成代碼可以在3秒內使用兩個GPU為一個視頻生成字幕,質量接近GPT-4V。最終的視頻-文字對可以直接用于訓練。借助開源的代碼,用戶可以輕松快速地在自己的數據集上生成訓練所需的視頻-文字對,大大降低了啟動Sora復現項目的技術門檻和準備工作。

      特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。

      Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

      相關推薦
      熱點推薦
      “京圈惡少”王爍:睡遍娛樂圈女星,毆打繼母王艷,槍指劉濤老公

      “京圈惡少”王爍:睡遍娛樂圈女星,毆打繼母王艷,槍指劉濤老公

      翰飛觀事
      2026-02-19 21:59:48
      香港大火最新消息:港府將花68億收購宏福苑!每戶最高能拿507萬!

      香港大火最新消息:港府將花68億收購宏福苑!每戶最高能拿507萬!

      港漂圈
      2026-02-24 19:36:40
      返程路上女子被丈夫丟在服務區,當場崩潰!丈夫:沒發現,很懊悔

      返程路上女子被丈夫丟在服務區,當場崩潰!丈夫:沒發現,很懊悔

      半島晨報
      2026-02-24 15:51:26
      雷軍又上熱搜啦!面部憔悴許多,現身公司親自給員工發開工紅包

      雷軍又上熱搜啦!面部憔悴許多,現身公司親自給員工發開工紅包

      火山詩話
      2026-02-24 11:08:57
      回顧“91女神”琪琪:五官出眾,卻因天真讓自己“受傷”

      回顧“91女神”琪琪:五官出眾,卻因天真讓自己“受傷”

      就一點
      2025-11-22 10:36:39
      BBA春節檔掀史上最猛降價潮,寶馬7系狂降27萬,新能源車企卻換了一種打法

      BBA春節檔掀史上最猛降價潮,寶馬7系狂降27萬,新能源車企卻換了一種打法

      金融界
      2026-02-24 18:07:07
      李易峰“選妃”畫面曝光!現場看視頻選人,隨后其床照被公開太辣眼

      李易峰“選妃”畫面曝光!現場看視頻選人,隨后其床照被公開太辣眼

      八卦王者
      2026-02-22 14:06:04
      王健林再為萬達續命25億元,他比許家印爺們!

      王健林再為萬達續命25億元,他比許家印爺們!

      毒sir財經
      2026-02-24 22:34:10
      12306半夜3點通知候補成功 搶票人睡醒時列車已發車 近1700元的車票僅可改簽

      12306半夜3點通知候補成功 搶票人睡醒時列車已發車 近1700元的車票僅可改簽

      閃電新聞
      2026-02-24 18:32:03
      芯片產出速度提升50%!ASML取得關鍵突破,EUV光刻實現千瓦級躍遷

      芯片產出速度提升50%!ASML取得關鍵突破,EUV光刻實現千瓦級躍遷

      DeepTech深科技
      2026-02-24 19:24:14
      冬奧會各國獎勵:中國運動員獲贈一臺車 美國寒酸 3國一分錢不給

      冬奧會各國獎勵:中國運動員獲贈一臺車 美國寒酸 3國一分錢不給

      侃球熊弟
      2026-02-24 02:15:03
      一個非常不好的消息:中國超2億獨生子女面臨的非常嚴峻問題。

      一個非常不好的消息:中國超2億獨生子女面臨的非常嚴峻問題。

      百態人間
      2026-02-05 15:39:14
      幽靈一樣的墨西哥最大毒梟:在警隊全面“黑化”,從牛油果種植戶到被懸賞1500萬美元

      幽靈一樣的墨西哥最大毒梟:在警隊全面“黑化”,從牛油果種植戶到被懸賞1500萬美元

      紅星新聞
      2026-02-23 18:39:24
      跌成白菜價,也沒人買?14億人輸給3億美國人,電視到底怎么了?

      跌成白菜價,也沒人買?14億人輸給3億美國人,電視到底怎么了?

      百科密碼
      2026-02-23 16:49:28
      特斯拉新車現身官網,內飾終于升級!

      特斯拉新車現身官網,內飾終于升級!

      花果科技
      2026-02-24 13:23:09
      美國深夜收到消息:中國發兩條公告,亞洲震動,日本右翼陷入癲狂

      美國深夜收到消息:中國發兩條公告,亞洲震動,日本右翼陷入癲狂

      東極妙嚴
      2026-02-24 15:24:06
      NBA巨星庫里“亂穿鞋”時代或將終結?知情人士:安踏CEO親自出馬,合作可能性高

      NBA巨星庫里“亂穿鞋”時代或將終結?知情人士:安踏CEO親自出馬,合作可能性高

      每日經濟新聞
      2026-02-24 18:25:08
      章若楠大年初一去舅舅家,穿貂毛大衣素顏漂亮,送48元碗仔面節儉

      章若楠大年初一去舅舅家,穿貂毛大衣素顏漂亮,送48元碗仔面節儉

      小椰的奶奶
      2026-02-25 01:12:56
      春節快結束了…是時候來點刺激的八卦了……

      春節快結束了…是時候來點刺激的八卦了……

      魔都囡
      2026-02-23 12:47:34
      月薪近30萬!要求普通話流利,港府兩個職位罕見公開招聘

      月薪近30萬!要求普通話流利,港府兩個職位罕見公開招聘

      港你知
      2026-02-24 21:06:53
      2026-02-25 01:52:49
      北茗的AI茶館 incentive-icons
      北茗的AI茶館
      探討AI領域內容,展望人機共生的美好未來!
      54文章數 9關注度
      往期回顧 全部

      科技要聞

      宇樹科技發布四足機器人Unitree As2

      頭條要聞

      武契奇遭"滅門式"暗殺陰謀:他們計劃虐殺我的孩子

      頭條要聞

      武契奇遭"滅門式"暗殺陰謀:他們計劃虐殺我的孩子

      體育要聞

      蘇翊鳴總結米蘭征程:我仍是那個熱愛單板滑雪的少年

      娛樂要聞

      汪小菲官宣三胎出生:承諾會照顧好3個孩子

      財經要聞

      縣城消費「限時繁榮」了十天

      汽車要聞

      入門即滿配 威蘭達AIR版上市 13.78萬元起

      態度原創

      數碼
      藝術
      健康
      手機
      軍事航空

      數碼要聞

      《死亡擱淺2》PC版推薦配置RTX 3060可FHD 60幀,Steam國區298元

      藝術要聞

      投資95億,高428米!海南第一高樓最新進展

      轉頭就暈的耳石癥,能開車上班嗎?

      手機要聞

      蘋果發布iOS 26.4 Beta 2系統更新,液態玻璃設計有新變化!

      軍事要聞

      美軍參聯會主席警告:對伊朗動武可能帶來重大風險

      無障礙瀏覽 進入關懷版