艾倫人工智能研究所推出Molmo 2，為AI系統帶來開放視頻理解能力

基于圖像理解人工智能模型的基礎，艾倫人工智能研究所今日推出了Molmo 2，這是一個適用于計算機視頻和多圖像理解的多模態模型系列。

2024年，Ai2發布了Molmo，該模型為圖像理解設立了新的基準，并幫助建立了強大"指向"和標記能力的參考標準。這些模型不僅能夠描述圖像中出現的內容，還能以高置信度識別和標記物體。

Molmo 2系列包含三個變體，每個都針對不同的使用場景設計：Molmo 2 8B、Molmo 2 4B和Molmo 2-O 7B。8B和4B模型基于阿里巴巴集團的開放權重推理模型Qwen 3，提供視頻定位和問答能力。Molmo 2-O變體基于Ai2的開源模型系列Olmo構建，專注于高智能和推理性能。

據Ai2介紹，較小的Molmo 2模型相對于其規模展現出了超常的性能。8B模型在關鍵圖像理解任務和相關基準測試中超越了原始的Molmo 720億參數模型，為效率設立了新標準。

在圖像和多圖像推理方面，4B變體盡管規模極其緊湊，仍在推理方面表現出色。它超越了Qwen 3-VL-8B等開放模型，且訓練數據遠少于類似模型。它僅使用919萬個視頻，而Meta平臺公司的PerceptronLM使用了7250萬個視頻。

這些較小的規模使模型能夠使用更少的硬件高效部署，降低成本的同時提高了基本能力的可用性。

Ai2首席執行官Ali Farhadi表示："通過Olmo，我們為真正開放的AI設立了標準，去年Molmo引領行業走向指向功能；Molmo 2通過將這些能力帶入視頻和時間域，進一步推動了發展。"

像Molmo 2這樣的模型為輔助和智能物理技術奠定了基礎，通常被稱為物理AI。這些系統感知、理解并推理現實世界，以便有意義地與之交互。

要讓機器與環境交互，它們必須首先理解所觀察到的內容。人類直覺地執行這項任務，但機器需要能夠分割物體、隨時間跟蹤它們、一致地標記它們并分配預期屬性的AI模型。

Ai2表示，Molmo 2為視頻理解引入了此前沒有開放模型能夠提供的能力。這包括準確識別事件發生的位置和時間、在復雜場景中跟蹤多個物體，以及將動作連接到幀級時間線。

這種對物理世界的改進理解對于交通攝像頭、零售物品跟蹤平臺、安全監控系統、自動駕駛車輛和機器人等智能系統至關重要?？焖俜诸愐曇爸械奈矬w及其固有特征，使機器能夠推理接下來可能發生的事情。這種能力不僅對交互至關重要，對安全也同樣重要。理解機器人正在觀察什么從根本上改變了它選擇如何響應的方式。

此外，Ai2還發布了用于訓練Molmo 2的九個新開放數據集集合，總計超過900萬個多模態示例，涵蓋密集視頻字幕、長形式問答定位、跟蹤和多圖像推理。僅字幕數據集就涵蓋了1000多個視頻，每個視頻都有平均超過900字的詳細描述。

據該研究所介紹，這個數據集語料庫提供了視頻指向、多物體跟蹤、合成定位和長視頻推理的混合。它表示，這些數據集結合起來為當今最完整的開放視頻數據集合奠定了基礎。

所有模型、數據集和評估工具現已在GitHub、Hugging Face和Ai2 Playground上公開提供，供交互式測試使用。該研究所表示將很快發布訓練代碼。

Q&A

Q1：Molmo 2相比原版Molmo有什么改進？

A：Molmo 2在原有圖像理解基礎上增加了視頻理解能力，能夠識別事件發生的確切位置和時間，在復雜場景中跟蹤多個物體，并將動作連接到幀級時間線。8B模型甚至超越了原始720億參數的Molmo模型性能。

Q2：Molmo 2有哪些不同的版本？

A：Molmo 2系列包含三個變體：Molmo 2 8B和4B基于阿里巴巴的Qwen 3模型，提供視頻定位和問答能力；Molmo 2-O 7B基于Ai2的開源Olmo模型，專注于高智能和推理性能。

Q3：Molmo 2的視頻理解能力可以應用在哪些場景？

A：Molmo 2的視頻理解能力可廣泛應用于交通攝像頭、零售物品跟蹤平臺、安全監控系統、自動駕駛車輛和機器人等智能系統，幫助這些系統更好地感知、理解和推理現實世界。