Meta推出SAM Audio模型：AI音頻分離新突破

想要單獨(dú)聽到一首歌中的吉他獨(dú)奏？或者想從語音錄音中去除火車噪音？Meta表示，其新推出的SAM Audio模型可以通過簡單的提示來分離和編輯聲音，大大減少了傳統(tǒng)音頻編輯工具所需的手動工作。

分段任意模型SAM Audio的發(fā)布延續(xù)了Meta此前發(fā)布的視覺資產(chǎn)分割模型。Meta現(xiàn)在聲稱，它已經(jīng)創(chuàng)建了"首個用于音頻分離的統(tǒng)一多模態(tài)模型"SAM Audio，該模型今天已在公司的Segment Anything Playground上提供，同時也可供下載。

所謂"多模態(tài)"，是指SAM Audio能夠解釋三種類型的音頻分割提示：文本提示、時間段標(biāo)記，以及視頻中的視覺選擇來隔離或移除特定聲音。

以樂隊演奏的視頻為例，選擇吉他手就能讓SAM Audio自動隔離該演奏者的聲音。在戶外錄音中高亮顯示狗叫聲的波形，告訴SAM移除該聲音，它就能在整個文件中追蹤并消除這些干擾。

"SAM Audio在多樣化的真實場景中表現(xiàn)可靠——使用文本、視覺和時間線索，"Meta在SAM Audio發(fā)布聲明中表示。"這種方法為人們提供了對音頻分離方式的精確和直觀控制。"

該公司表示，它看到了SAM Audio的多種用例，如清理音頻文件、去除背景噪音，以及其他以前需要在音頻編輯軟件或?qū)Ｓ寐曇艋旌瞎ぞ咧惺謩油瓿傻娜蝿?wù)。

話雖如此，使用AI處理音頻并不是什么新想法——市面上有很多產(chǎn)品都能做SAM Audio所做的事情，但Meta將這個領(lǐng)域描述為"碎片化"的，"有各種為單一用途設(shè)計的工具"，不像SAM Audio所謂的統(tǒng)一模型。

鑒于其基于用戶提示隔離特定聲音的能力，人們自然會對這種模型的安全性產(chǎn)生疑問，以及它是否可能被用來在公共錄音中單獨(dú)提取聲音或?qū)υ挘瑥亩赡軇?chuàng)造出新的竊聽途徑。我們仔細(xì)查看了Meta的SAM Audio頁面和相關(guān)研究論文，以獲取有關(guān)新模型內(nèi)置安全功能的更多信息，但該公司根本沒有涉及這方面內(nèi)容。

當(dāng)被問及安全問題時，Meta只告訴我們，如果沒有AI時某事是非法的，那么你就不應(yīng)該使用AI來做這件事。

"正如SAM許可證所述，SAM材料的使用必須符合適用的法律法規(guī)，包括貿(mào)易管制法和適用的隱私和數(shù)據(jù)保護(hù)法，"Meta發(fā)言人告訴The Register，這聽起來可疑地像是使用SAM Audio做惡事完全在其能力范圍內(nèi)。

不過，Meta自己承認(rèn)SAM Audio有"一些局限性"，這可能意味著對于那些想要使用AI重現(xiàn)現(xiàn)代版《竊聽大陰謀》的人來說，它還沒有完全準(zhǔn)備好。對于SAM Audio來說，分離"高度相似的音頻事件"仍然是"一個挑戰(zhàn)"，比如從眾多聲音中挑出一個聲音或從管弦樂隊中隔離單一樂器，Meta指出。SAM Audio也無法在沒有提示的情況下完成任何音頻分離，也不能將音頻作為提示，這意味著向它輸入你想要隔離的聲音仍然超出了該機(jī)器人的范圍。

SAM Audio可能有用的一個領(lǐng)域是無障礙空間，Meta表示正在積極朝這個方向努力。該公司表示已與美國助聽器制造商Starkey合作探索潛在的集成，同時還與2gether-International（一個為殘疾創(chuàng)業(yè)者提供服務(wù)的加速器）合作，探索SAM Audio可以服務(wù)的更多無障礙可能性。

Q&A

Q1：SAM Audio是什么？它有什么特別之處？

A：SAM Audio是Meta推出的音頻分離AI模型，被稱為"首個用于音頻分離的統(tǒng)一多模態(tài)模型"。它的特別之處在于能夠通過文本提示、時間段標(biāo)記和視頻中的視覺選擇三種方式來分離音頻，用戶可以簡單地選擇視頻中的吉他手來自動隔離該演奏者的聲音。

Q2：SAM Audio能處理哪些音頻分離任務(wù)？

A：SAM Audio可以清理音頻文件、去除背景噪音、隔離特定樂器聲音等。比如從樂隊演奏中單獨(dú)提取吉他聲，或者從戶外錄音中去除狗叫聲等干擾。不過它在處理高度相似的音頻事件時仍有挑戰(zhàn)，比如從眾多聲音中挑出一個聲音。

Q3：SAM Audio的安全性如何？會不會被濫用？

A：Meta對SAM Audio的安全性問題回應(yīng)較為模糊，只表示使用必須符合相關(guān)法律法規(guī)。由于該模型能夠基于提示隔離特定聲音，確實存在被用于竊聽等不當(dāng)用途的擔(dān)憂，但Meta沒有詳細(xì)說明內(nèi)置的安全防護(hù)措施。