當(dāng)AI學(xué)會(huì)看電影：復(fù)旦大學(xué)團(tuán)隊(duì)如何教會(huì)機(jī)器理解"動(dòng)作"語(yǔ)言

這項(xiàng)由復(fù)旦大學(xué)丁恒輝、劉暢、何舒婷、應(yīng)凱寧等研究者與新加坡南洋理工大學(xué)、上海財(cái)經(jīng)大學(xué)合作完成的突破性研究，于2025年發(fā)表在IEEE模式分析與機(jī)器智能匯刊(IEEE TPAMI)上。對(duì)于想要深入了解技術(shù)細(xì)節(jié)的讀者，可以通過論文編號(hào)arXiv:2512.10945v1查詢完整論文。這項(xiàng)研究首次構(gòu)建了專門針對(duì)動(dòng)作表達(dá)的大規(guī)模視頻分割數(shù)據(jù)集MeViS，徹底改變了機(jī)器理解視頻內(nèi)容的方式。

想象一下，當(dāng)你對(duì)朋友說"那只向右飛走的鳥"時(shí)，朋友能立刻明白你指的是哪只鳥，即使畫面中有三只外觀相似的鳥。但對(duì)于計(jì)算機(jī)來(lái)說，這卻是一個(gè)巨大的挑戰(zhàn)。傳統(tǒng)的AI系統(tǒng)更像是色盲癥患者試圖通過顏色分辨不同的物體——它們往往依賴靜態(tài)特征如形狀、顏色來(lái)識(shí)別目標(biāo)，而忽視了動(dòng)作這一關(guān)鍵信息。

研究團(tuán)隊(duì)發(fā)現(xiàn)，現(xiàn)有的視頻理解數(shù)據(jù)集存在一個(gè)根本性問題：它們過于關(guān)注靜態(tài)描述。就好比在一群穿著相同校服的學(xué)生中，傳統(tǒng)方法只會(huì)說"那個(gè)穿藍(lán)色衣服的學(xué)生"，而無(wú)法說出"那個(gè)正在跑步的學(xué)生"。這種局限性使得AI在面對(duì)真實(shí)世界的復(fù)雜場(chǎng)景時(shí)顯得力不從心，特別是當(dāng)多個(gè)相似物體同時(shí)出現(xiàn)，只能通過它們的動(dòng)作來(lái)區(qū)分時(shí)。

為了解決這個(gè)問題，研究團(tuán)隊(duì)歷時(shí)數(shù)年，精心構(gòu)建了一個(gè)名為MeViS的超大規(guī)模數(shù)據(jù)集。這個(gè)數(shù)據(jù)集包含2006個(gè)視頻，涵蓋8171個(gè)物體，最重要的是，它提供了超過33000個(gè)專門描述動(dòng)作的表達(dá)式。與以往數(shù)據(jù)集不同，MeViS專門挑選那些包含多個(gè)相似物體的復(fù)雜場(chǎng)景，就像在一個(gè)熱鬧的菜市場(chǎng)中，你需要通過"那個(gè)正在挑西瓜的大媽"來(lái)指出特定的人一樣。

這個(gè)數(shù)據(jù)集的構(gòu)建過程就像訓(xùn)練一群專業(yè)的體育解說員。研究團(tuán)隊(duì)制定了嚴(yán)格的標(biāo)注規(guī)則：首先，目標(biāo)物體必須有顯著的運(yùn)動(dòng)；其次，如果可以通過動(dòng)作明確區(qū)分物體，就絕對(duì)不使用顏色、形狀等靜態(tài)描述；再次，允許用一個(gè)表達(dá)式同時(shí)指代多個(gè)物體，比如"兩只一起跳舞的企鵝"。更具挑戰(zhàn)性的是，數(shù)據(jù)集還包含了"陷阱表達(dá)式"——那些聽起來(lái)合理但實(shí)際上不對(duì)應(yīng)任何物體的描述，就像問"那只綠色的大象在哪里"，而畫面中根本沒有大象。

在注釋過程中，研究團(tuán)隊(duì)采用了類似游戲的雙人驗(yàn)證機(jī)制。一個(gè)注釋者根據(jù)視頻寫出動(dòng)作描述，另一個(gè)驗(yàn)證者獨(dú)立觀看視頻并嘗試找到對(duì)應(yīng)的物體。只有當(dāng)兩人選擇的目標(biāo)完全一致時(shí)，這個(gè)樣本才被認(rèn)為是有效的。這種方法確保了數(shù)據(jù)的質(zhì)量和一致性，避免了模糊或有爭(zhēng)議的標(biāo)注。

除了文本描述，研究團(tuán)隊(duì)還為每個(gè)表達(dá)式錄制了語(yǔ)音版本，總時(shí)長(zhǎng)超過15萬(wàn)秒。這些語(yǔ)音既包括了來(lái)自不同背景的10位真人錄音，也包括了使用先進(jìn)文字轉(zhuǎn)語(yǔ)音技術(shù)生成的合成語(yǔ)音。這種多模態(tài)設(shè)計(jì)使得MeViS不僅可以用于傳統(tǒng)的文本指導(dǎo)視頻分割，還支持語(yǔ)音指導(dǎo)的視頻理解任務(wù)，這對(duì)于未來(lái)的智能助手和機(jī)器人應(yīng)用具有重要意義。

當(dāng)研究團(tuán)隊(duì)將現(xiàn)有的先進(jìn)AI模型在MeViS上進(jìn)行測(cè)試時(shí)，結(jié)果令人震驚。那些在傳統(tǒng)數(shù)據(jù)集上表現(xiàn)優(yōu)異的模型，在MeViS上的表現(xiàn)急劇下降。比如，一個(gè)在其他數(shù)據(jù)集上能達(dá)到60%以上準(zhǔn)確率的模型，在MeViS上只能達(dá)到30%左右的準(zhǔn)確率。這就像一個(gè)擅長(zhǎng)在明亮房間里找東西的人，突然被放到了一個(gè)昏暗復(fù)雜的倉(cāng)庫(kù)中一樣。

這種性能下降揭示了一個(gè)重要事實(shí)：現(xiàn)有的AI模型嚴(yán)重依賴靜態(tài)線索，而缺乏真正的時(shí)序理解能力。當(dāng)面對(duì)"先跳得高然后跳得遠(yuǎn)"和"先跳得遠(yuǎn)然后跳得高"這樣的描述時(shí)，傳統(tǒng)模型往往無(wú)法區(qū)分其中的時(shí)間順序差異。就好比一個(gè)不懂音樂的人聽貝多芬的交響樂，只能聽到音符而聽不出旋律一樣。

針對(duì)這些挑戰(zhàn)，研究團(tuán)隊(duì)開發(fā)了一種新的AI方法，稱為L(zhǎng)MPM++（Language-guided Motion Perception and Matching）。這個(gè)方法的核心思想是將大型語(yǔ)言模型的推理能力引入視頻理解中。傳統(tǒng)方法就像是用一臺(tái)簡(jiǎn)單的計(jì)算器處理復(fù)雜的數(shù)學(xué)問題，而LMPM++則像是請(qǐng)來(lái)了一位數(shù)學(xué)教授來(lái)解決同樣的問題。

LMPM++的工作原理可以比作一個(gè)經(jīng)驗(yàn)豐富的電影導(dǎo)演觀看毛片的過程。首先，它會(huì)在每一幀中識(shí)別出所有可能的目標(biāo)物體，就像導(dǎo)演標(biāo)記出每個(gè)演員的位置。然后，它將這些物體在時(shí)間序列上的表現(xiàn)轉(zhuǎn)化為"物體嵌入"——類似于為每個(gè)演員創(chuàng)建一份表演檔案。接下來(lái)，大型語(yǔ)言模型像一個(gè)資深評(píng)委一樣，綜合分析這些檔案，理解整個(gè)時(shí)間序列中的動(dòng)作模式，最終確定哪些物體符合給定的動(dòng)作描述。

為了增強(qiáng)模型對(duì)時(shí)間序列的理解，研究團(tuán)隊(duì)還設(shè)計(jì)了一種巧妙的"時(shí)序?qū)Ρ葘W(xué)習(xí)"機(jī)制。這種機(jī)制故意打亂動(dòng)作的時(shí)間順序，然后訓(xùn)練模型區(qū)分正確和錯(cuò)誤的時(shí)間序列。就像訓(xùn)練一個(gè)音樂家通過故意演奏錯(cuò)誤的音符順序，來(lái)增強(qiáng)他對(duì)正確旋律的敏感度一樣。

實(shí)驗(yàn)結(jié)果顯示，LMPM++在MeViS數(shù)據(jù)集上取得了顯著的性能提升。在處理單目標(biāo)場(chǎng)景時(shí)，準(zhǔn)確率達(dá)到了41.2%，在多目標(biāo)場(chǎng)景中達(dá)到了51.6%，在識(shí)別"無(wú)目標(biāo)"陷阱表達(dá)式方面的準(zhǔn)確率更是達(dá)到了87.4%。雖然這些數(shù)字看起來(lái)可能不夠完美，但考慮到任務(wù)的極端困難性，這已經(jīng)是一個(gè)重大突破。就像在奧運(yùn)會(huì)的體操比賽中，一個(gè)高難度動(dòng)作哪怕只有50%的成功率，也足以震驚全場(chǎng)。

研究團(tuán)隊(duì)還在傳統(tǒng)的視頻分割數(shù)據(jù)集上測(cè)試了LMPM++，結(jié)果顯示它在這些相對(duì)簡(jiǎn)單的任務(wù)上也取得了最佳性能。在Refer-YouTube-VOS數(shù)據(jù)集上達(dá)到了67.8%的準(zhǔn)確率，在DAVIS17-RVOS上達(dá)到了65.0%。這證明了LMPM++不僅能夠處理困難的動(dòng)作理解任務(wù)，在傳統(tǒng)任務(wù)上也保持了領(lǐng)先優(yōu)勢(shì)。

除了視頻分割，MeViS數(shù)據(jù)集還支持多項(xiàng)相關(guān)任務(wù)。其中包括多目標(biāo)跟蹤，即同時(shí)追蹤視頻中多個(gè)符合描述的物體；語(yǔ)音引導(dǎo)的視頻分割，允許用戶通過語(yǔ)音指令來(lái)操作AI系統(tǒng)；以及一個(gè)全新的任務(wù)——?jiǎng)幼鞅磉_(dá)生成，即讓AI自動(dòng)為給定的物體生成準(zhǔn)確的動(dòng)作描述。

在多目標(biāo)跟蹤任務(wù)中，LMPM++顯示出了強(qiáng)大的泛化能力。傳統(tǒng)的跟蹤方法往往假設(shè)一個(gè)表達(dá)式只對(duì)應(yīng)一個(gè)目標(biāo)，就像一個(gè)只會(huì)單線程工作的程序員。而LMPM++則像一個(gè)能夠同時(shí)管理多個(gè)項(xiàng)目的項(xiàng)目經(jīng)理，能夠靈活處理從零個(gè)到多個(gè)目標(biāo)的各種情況。

語(yǔ)音引導(dǎo)任務(wù)的結(jié)果特別值得關(guān)注。雖然簡(jiǎn)單地將語(yǔ)音轉(zhuǎn)換為文本再處理是一種直接的方法，但直接處理語(yǔ)音信號(hào)能夠保留更多的語(yǔ)義信息，如語(yǔ)調(diào)、重音等。實(shí)驗(yàn)顯示，LMPM++在處理語(yǔ)音指令時(shí)達(dá)到了42.3%的準(zhǔn)確率，明顯優(yōu)于其他專門的音頻處理方法。這就像一個(gè)真正懂音樂的人不僅能聽懂歌詞，還能理解歌曲的情感表達(dá)一樣。

在動(dòng)作表達(dá)生成任務(wù)中，AI需要觀看視頻并自動(dòng)描述特定物體的動(dòng)作。這是一個(gè)完全相反的過程——不是根據(jù)描述找物體，而是根據(jù)物體生成描述。研究團(tuán)隊(duì)測(cè)試了多種現(xiàn)有的視頻描述方法，包括傳統(tǒng)的計(jì)算機(jī)視覺方法和基于大型語(yǔ)言模型的新方法。結(jié)果顯示，基于大型語(yǔ)言模型的方法表現(xiàn)更好，但仍有很大改進(jìn)空間。這說明讓AI準(zhǔn)確描述動(dòng)作仍然是一個(gè)極具挑戰(zhàn)性的問題。

研究團(tuán)隊(duì)深入分析了系統(tǒng)失敗的案例，發(fā)現(xiàn)了幾個(gè)主要的挑戰(zhàn)。第一是復(fù)雜動(dòng)作的長(zhǎng)期追蹤問題。當(dāng)物體的運(yùn)動(dòng)軌跡復(fù)雜，或者多個(gè)物體相互遮擋時(shí)，系統(tǒng)容易丟失目標(biāo)。就像在一場(chǎng)混亂的足球比賽中，即使是專業(yè)解說員也可能在激烈的爭(zhēng)球過程中短暫失去對(duì)特定球員的追蹤。

第二是細(xì)粒度動(dòng)作區(qū)分的困難。當(dāng)需要區(qū)分"低頭吃草"和"低頭喝水"這樣的相似動(dòng)作時(shí)，僅僅從物體的運(yùn)動(dòng)軌跡很難做出準(zhǔn)確判斷，還需要結(jié)合場(chǎng)景上下文和常識(shí)推理。這就像要求AI不僅看得見，還要"想得通"。

第三是語(yǔ)言表達(dá)的歧義性處理。自然語(yǔ)言本身存在歧義，同一個(gè)動(dòng)作可能有多種描述方式，而同一個(gè)描述也可能對(duì)應(yīng)不同的動(dòng)作。比如"快速移動(dòng)"可能指跑步、游泳或者開車，這需要AI具備強(qiáng)大的上下文理解能力。

研究團(tuán)隊(duì)還進(jìn)行了大量的對(duì)比實(shí)驗(yàn)，驗(yàn)證了MeViS數(shù)據(jù)集的必要性。他們發(fā)現(xiàn)，在傳統(tǒng)數(shù)據(jù)集上訓(xùn)練的模型，即使性能看起來(lái)不錯(cuò)，但一旦遇到真正需要?jiǎng)幼骼斫獾膱?chǎng)景就會(huì)露出馬腳。這就像一個(gè)只會(huì)在理想實(shí)驗(yàn)室條件下工作的機(jī)器，無(wú)法適應(yīng)真實(shí)世界的復(fù)雜環(huán)境。通過將模型在圖像數(shù)據(jù)集上訓(xùn)練然后在視頻數(shù)據(jù)集上測(cè)試，研究團(tuán)隊(duì)證明了時(shí)序信息對(duì)于視頻理解的關(guān)鍵重要性。

值得注意的是，MeViS的影響已經(jīng)超出了學(xué)術(shù)研究的范圍。已經(jīng)有其他研究團(tuán)隊(duì)開始使用這個(gè)數(shù)據(jù)集來(lái)訓(xùn)練視頻編輯AI和多模態(tài)大型語(yǔ)言模型。這就像一個(gè)高質(zhì)量的訓(xùn)練場(chǎng)不僅培養(yǎng)出了優(yōu)秀的運(yùn)動(dòng)員，還成為了整個(gè)體育界的標(biāo)桿和參考。

從技術(shù)發(fā)展的角度來(lái)看，MeViS代表了AI視頻理解領(lǐng)域的一個(gè)重要轉(zhuǎn)折點(diǎn)。過去的研究往往將視頻理解簡(jiǎn)化為靜態(tài)圖像理解的延伸，而MeViS強(qiáng)調(diào)了時(shí)序動(dòng)態(tài)信息的獨(dú)特價(jià)值。這種轉(zhuǎn)變類似于從看照片到看電影的差別——不僅僅是圖像數(shù)量的增加，更是理解維度的質(zhì)的飛躍。

在實(shí)際應(yīng)用前景方面，這項(xiàng)研究具有廣泛的潛在價(jià)值。在安防監(jiān)控領(lǐng)域，系統(tǒng)可以更準(zhǔn)確地識(shí)別和描述可疑行為，比如"正在撬鎖的人"或"快速逃跑的車輛"。在體育分析中，可以自動(dòng)識(shí)別和標(biāo)記運(yùn)動(dòng)員的技術(shù)動(dòng)作，為教練和運(yùn)動(dòng)員提供詳細(xì)的表現(xiàn)分析。在醫(yī)療康復(fù)領(lǐng)域，可以監(jiān)測(cè)和評(píng)估患者的運(yùn)動(dòng)恢復(fù)情況。在娛樂產(chǎn)業(yè)，可以幫助視頻創(chuàng)作者更快速地編輯和檢索視頻內(nèi)容。

對(duì)于普通用戶而言，這項(xiàng)技術(shù)的發(fā)展意味著未來(lái)的智能設(shè)備將能夠更好地理解我們的日?；顒?dòng)。你可以對(duì)著智能音箱說"幫我找到昨天那個(gè)孩子在花園里踢球的視頻"，而不需要記住具體的文件名或時(shí)間?；蛘咴谟^看直播時(shí)，AI助手可以自動(dòng)為你標(biāo)記精彩瞬間，比如"進(jìn)球時(shí)刻"或"精彩撲救"。

從更廣闊的人工智能發(fā)展角度來(lái)看，這項(xiàng)研究體現(xiàn)了AI技術(shù)從單純的模式匹配向真正的理解轉(zhuǎn)變的趨勢(shì)。傳統(tǒng)的AI更像是一個(gè)非常精確但缺乏靈活性的工業(yè)機(jī)器人，而新一代的AI則更像是一個(gè)能夠觀察、思考和理解的智能助手。MeViS數(shù)據(jù)集和LMPM++方法的成功，為構(gòu)建更加智能和自然的人機(jī)交互系統(tǒng)奠定了重要基礎(chǔ)。

研究團(tuán)隊(duì)還指出了未來(lái)的幾個(gè)重要發(fā)展方向。首先是提高模型對(duì)復(fù)雜場(chǎng)景的適應(yīng)能力，特別是在多物體交互和長(zhǎng)期跟蹤方面。其次是增強(qiáng)跨模態(tài)理解能力，不僅要理解視覺和語(yǔ)言，還要整合音頻、觸覺等其他感官信息。再次是提升實(shí)時(shí)處理能力，使技術(shù)能夠在移動(dòng)設(shè)備和邊緣計(jì)算環(huán)境中部署。最后是增強(qiáng)模型的泛化能力，讓在一個(gè)領(lǐng)域訓(xùn)練的模型能夠更好地適應(yīng)其他相關(guān)領(lǐng)域。

總的來(lái)說，MeViS數(shù)據(jù)集和相關(guān)研究成果代表了AI視頻理解領(lǐng)域的一個(gè)重要里程碑。它不僅為研究社區(qū)提供了一個(gè)高質(zhì)量的標(biāo)準(zhǔn)測(cè)試平臺(tái)，更重要的是，它揭示了傳統(tǒng)方法的局限性，指出了未來(lái)發(fā)展的方向。隨著更多研究者加入到這個(gè)領(lǐng)域，我們有理由相信，AI理解和描述動(dòng)態(tài)世界的能力將得到顯著提升，最終為人類社會(huì)帶來(lái)更加智能和便利的技術(shù)應(yīng)用。

這項(xiàng)研究的意義遠(yuǎn)不止于技術(shù)層面的突破。它體現(xiàn)了人工智能研究正在從追求單一任務(wù)的極致性能，轉(zhuǎn)向構(gòu)建更加全面和靈活的智能系統(tǒng)。就像人類的智能不僅體現(xiàn)在解決特定問題的能力上，更體現(xiàn)在理解復(fù)雜環(huán)境、適應(yīng)新情況和進(jìn)行創(chuàng)造性思考的能力上一樣，新一代的AI系統(tǒng)也在朝著更加接近人類認(rèn)知方式的方向發(fā)展。MeViS數(shù)據(jù)集為這種發(fā)展提供了重要的數(shù)據(jù)基礎(chǔ)和評(píng)估標(biāo)準(zhǔn)，而LMPM++方法則展示了實(shí)現(xiàn)這一目標(biāo)的可能路徑。

Q&A

Q1：MeViS數(shù)據(jù)集與傳統(tǒng)視頻理解數(shù)據(jù)集有什么區(qū)別？

A：MeViS專門關(guān)注動(dòng)作表達(dá)，包含2006個(gè)視頻和33000多個(gè)描述動(dòng)作的表達(dá)式。與傳統(tǒng)數(shù)據(jù)集不同，它故意選擇包含多個(gè)相似物體的復(fù)雜場(chǎng)景，強(qiáng)調(diào)通過動(dòng)作而非顏色、形狀等靜態(tài)特征來(lái)區(qū)分目標(biāo)。還首次加入了"陷阱表達(dá)式"和多目標(biāo)表達(dá)式，更接近真實(shí)應(yīng)用場(chǎng)景。

Q2：LMPM++方法相比傳統(tǒng)視頻分割方法有什么優(yōu)勢(shì)？

A：LMPM++引入了大型語(yǔ)言模型的推理能力，能夠理解復(fù)雜的時(shí)序動(dòng)作模式。它使用物體嵌入替代傳統(tǒng)的幀級(jí)特征，可以處理更長(zhǎng)的視頻序列。通過時(shí)序?qū)Ρ葘W(xué)習(xí)，模型能夠區(qū)分動(dòng)作的時(shí)間順序，在MeViS數(shù)據(jù)集上取得了顯著的性能提升。

Q3：這項(xiàng)研究成果有什么實(shí)際應(yīng)用價(jià)值？

A：這項(xiàng)技術(shù)可以應(yīng)用于多個(gè)領(lǐng)域：安防監(jiān)控中的行為識(shí)別、體育分析中的動(dòng)作標(biāo)記、醫(yī)療康復(fù)的運(yùn)動(dòng)評(píng)估、視頻內(nèi)容的智能編輯等。對(duì)普通用戶而言，未來(lái)可以通過動(dòng)作描述來(lái)搜索視頻內(nèi)容，或讓AI助手自動(dòng)識(shí)別生活中的精彩瞬間。