<cite id="ffb66"></cite><cite id="ffb66"><track id="ffb66"></track></cite>
      <legend id="ffb66"><li id="ffb66"></li></legend>
      色婷婷久,激情色播,久久久无码专区,亚洲中文字幕av,国产成人A片,av无码免费,精品久久国产,99视频精品3
      網易首頁 > 網易號 > 正文 申請入駐

      大語言模型的新征程—— ACL 2025頂會見聞前沿論壇實錄|GAIR Live

      0
      分享至



      ACL 投稿破8000,大模型把計算語言學推向‘智能體’時代,三位頂級學者拆解 NLP 未來趨勢。

      作者丨岑峰

      編輯丨陳彩嫻

      2025年的 ACL(計算語言學協會)年會,無疑是大語言模型( LLM )持續主導 NLP 領域的又一里程碑。這不僅僅體現在學術研究的深度,更體現在會議本身的各項數據上——史無前例的8000多篇投稿,其中中國作者的比例高達51%。這一現象清晰地傳遞出大模型已成為 NLP 領域核心的信號,也標志著整個行業的格局正在發生深刻變化。

      通過與多位參會者的溝通,我們得出這樣的結論:大模型并未“沖淡”計算語言學的核心,反而在其技術框架下,為傳統議題賦予了新的定義和呈現形式。同時,其多模態特性打破了傳統的研究壁壘,吸引了來自計算機視覺、網絡安全等不同領域的學者,使得 ACL 大會的氛圍愈發跨學科。

      為了深入剖析這一變革,雷峰網、AI 科技評論 GAIR Live 品牌特別邀請了三位杰出學者——美國埃默里大學副教授劉菲、美國約翰霍普金斯大學助理教授肖超瑋,以及中國科學院自動化研究所研究員張家俊,三位嘉賓從他們在 ACL 的所見所聞出發,就大模型的能力邊界、安全魯棒性以及多模態融合展開了一場深度對話。

      面對“大模型是否會沖淡計算語言學”的擔憂,三位嘉賓一致認為,ACL 的核心本質并未改變,它始終是通過計算手段研究和運用語言;大模型只是計算語言學借助 AI 技術實現自我進化的體現。對于投稿量激增和中國作者比例創歷史新高,三位嘉賓給出了多維度解讀。張家俊老師認為,這主要得益于開源技術對研究門檻的降低,以及 AI 應用場景的廣泛拓展;劉菲老師則補充道,大模型顯著提升了研究生產力,讓撰寫論文的效率大幅提升,這也是投稿量激增的直接原因。

      然后,三位嘉賓從自己的研究方向和本次 ACL 帶來的論文出發,進一步剖析了今年 ACL 所反映的學術趨勢變化。其中一個趨勢是,大語言模型正從單純的“問答機器”向具備高級“智能體”特征的“問題解決者”演進。劉菲老師指出,當前大模型的推理能力已大幅提升,但面對復雜任務時,必須“規劃先行”;她進一步深入剖析了 LLM 在推理(Reasoning)和規劃(Planning)能力上的躍遷,強調未來的 LLM 不僅需要強大的內部推理,更要學會調用外部工具,以彌補知識局限性,學會“說不”;張家俊老師則說明,大模型的主動澄清能力等交互方式的改變將是根本性的,它將使 AI 從一個被動響應的工具,轉變為一個能夠進行主動、有意義的交互的智能伙伴。

      與此同時,LLM 的快速發展也伴隨著日益嚴峻的安全與魯棒性挑戰。肖超瑋老師將模型對抗性攻擊與防御形容為一場“永無止境的攻防戰”。他揭示了攻擊策略的“持續學習能力”,并提出了一種全新的防御范式——“學習安全推理邏輯”。這一思路不再依賴于生成海量數據進行對抗訓練,而是通過讓模型學會“瀏覽動態攻擊策略列表”并進行深層語義分析,從而主動識別并化解潛在的惡意指令。這標志著 LLM 安全研究正從被動防御轉向主動、策略性的智能防御。

      三位嘉賓還共同展望了多模態融合的未來圖景。張家俊老師將 LLM 的演變喻為一場范式革命,并指出多模態融合是 LLM 的下一個必經之路。它將使 LLM 具備跨模態的理解和生成能力,從簡單的“看圖說話”進化到真正的“感知與交互”。

      三位老師描繪了一幅清晰而宏大的 LLM 未來藍圖:一個不僅能理解、生成語言,還能進行復雜推理、安全規劃,并與多模態世界深度融合的通用智能體。這不僅是學術研究的新方向,更是 AI 產業實踐的下一個主戰場。


      以下是此次圓桌討論的精彩分享,AI 科技評論進行了不改原意的編輯整理:

      01

      ACL的包容性與自我進化

      岑峰:去年 ACL 主席 Emily M. Bender 說“ ACL 不是 AI 會議”,引發了關于大模型是否會沖淡計算語言學研究的擔憂。但一年過去,大模型相關論文卻斬獲最佳論文,這股“ AI 味”不減反增。我的第一個問題是:我們當前是在見證計算語言學被 AI“收編”,還是看到它借助 AI 之力實現自我進化?

      劉菲:我是去年和今年ACL 主會多個領域的高級領域主席(Senior Area Chair),我認為,作為自然語言處理領域的頂級會議,ACL 必須與時俱進。

      當前,大模型和智能體等技術浪潮正席卷整個行業。傳統的 NLP 研究方向,如對話、問答、機器翻譯等,已經沿用了十多年。如今,大模型帶來了許多新的研究方向,比如大模型安全、多模態、多語言等,這些都是亟待探索的重要領域。我很高興看到,今年的 ACL 已經開始適應這種變化,將大模型智能體和人機協作等方向納入了會議議題。我相信,未來 ACL 的領域劃分會迎來更大調整,以更好地適應當前 AI 技術的發展。

      肖超瑋:從我個人研究經歷來看,這種轉變正體現了 NLP 會議日益增強的包容性。我從機器學習和計算機視覺安全轉向 NLP 安全,我以前是不投 NLP 會議的,最近這兩年開始投 NLP 會議,恰好說明這個領域在大模型的時代下正在迎接不同背景的學者。我認為,計算語言學的核心議題并未消失,而是在大模型框架下有了新的呈現。比如我研究的多語言安全問題,不同語言和文化對“安全”的定義各不相同,這正是大模型時代計算語言學需要深入探索的新議題。今年 ACL 大會的跨學科氛圍非常濃厚,這種融合趨勢為計算語言學帶來了更多新視角和新機遇。

      張家?。何艺J同劉老師和肖老師的觀點,ACL 的核心本質沒有改變,它始終是通過計算手段研究和運用語言,大模型是計算語言學借助 AI 技術實現進一步進化的體現。對于 Emily M. Bender 主席的觀點,我認為她并非否定 AI 的價值,而是以一種極端的方式提醒學界:不應只關注 AI 技術本身,更要關注研究的多樣性與語言本質的探索。

      大模型不僅是研究語言的“工具”,也成為了具備語言能力的“研究對象”,這極大地拓展了計算語言學的內涵。同時,大模型的多模態特性也推動了 ACL 的跨學科融合。雖然大模型研究成為主流,但 ACL 對語言學核心議題的關注并未減弱,今年仍有許多論文聚焦語言組合性、語法學習等基礎研究。

      此外,我非常認同劉老師關于傳統研究方向需要調整的觀點,明年我們將討論如何優化會議領域劃分,以更好地適應發展。

      岑峰:今年 ACL 投稿量突破8000篇,創下歷史新高。這股“內卷”是源于跨學科的新問題,還是因為 AI 技術降低了研究門檻?

      張家?。何艺J為兩個原因都存在,但技術門檻降低的影響更為顯著。這主要得益于開源技術。當前,90%以上的研究都基于開源模型、方法和數據。就像上世紀90年代末,統計機器翻譯的工具開源后,相關研究才迎來爆發式增長。如今, AI 應用場景的廣泛拓展也吸引了更多領域的研究者加入,共同推動了投稿量的激增。

      肖超瑋:我非常認同張老師的觀點。我之前的網絡安全領域,因為技術和工具不便開源,導致會議投稿量與 ACL 有天壤之別。在 NLP 領域,我深刻體會到了開源環境的優勢:大量國內外的開源大模型性能出色,降低了研究門檻,吸引了更多研究者。此外,ACL 采用的 ARR(ACL Rolling Review)機制也是吸引跨領域研究者的重要因素。它不像一些會議的“一票否決”制,而是允許作者根據審稿意見修改后重新提交,甚至可以更換審稿人。這種機制更適應 AI 技術的快速迭代,也讓更多有價值的研究成果有機會被看到。正是這種友好的投稿機制和成熟的開源環境共同推動了 ACL 投稿量的激增。

      劉菲:我非常認同兩位老師的觀點。大模型極大地提升了研究生產力,這是投稿量激增的直接原因。傳統上寫一篇論文可能需要兩周,現在借助大模型兩天就能完成初稿。這種效率的飛躍,讓更多人能快速上手。我建議希望進入 NLP 領域的研究者,可以從開源項目入手,并結合自己的專長探索“ NLP + 垂直領域”的交叉方向,這樣既有實際需求,也更容易產出有價值的成果。

      岑峰:今年 ACL 大會,中國作者的論文比例達到51%。三位老師第一次參加 ACL 是什么時候?相比當年,如今讓你們感受最“不一樣”的地方是什么?

      肖超瑋:我過去主要是參加機器學習,視覺和安全的會議,今年首次參加 ACL,最大感觸是它與機器學習會議的核心關注點不同。機器學習會議更關注模型和算法本身,而 ACL 則更包容,它圍繞語言學本質,匯聚了不同文化、語言背景的思考,這幫助我理解“如何設計安全策略”這類關鍵問題,進而指導我們構建更負責任、更安全的模型。此外,今年中國企業在會場的高參與度和在開源大模型領域的顯著進展,也讓我印象深刻。

      劉菲:我對中國在 AI 領域的快速發展感到非常欣慰。過去十幾年,我們打下了堅實的基礎,大模型的研發需要完整的技術鏈條支撐。我看到國內在數據處理、模型架構探索等基礎研究上都取得了顯著進展。同時,國內大模型配套生態系統也在高速發展,研究正從基礎技術突破邁向智能體等應用層面。我期待未來一兩年,大模型能更多地融入我們的日常生活。

      張家?。何业谝淮螀⒓?ACL 是在2013年,會議地點在保加利亞索菲亞。當時的 ACL 更聚焦語言學本質,而如今大模型已成為主流研究方向。

      我感受最深的有幾點:第一,論文數量大幅增長,讓人很難全部閱讀;第二,中國研究者的話語權顯著提升,無論在論文貢獻還是組織參與度上都變得更有影響力;第三,研究領域的邊界日益模糊,不同方向的方法和對象趨同,跨領域交流變得更順暢;第四,應用場景不斷拓展,NLP 已從相對小眾的研究方向,成為 AI 領域的核心焦點。

      02

      大模型規劃:統一評估框架的必要性

      岑峰:劉菲老師團隊的一篇關于 LLM 規劃的論文獲得了本次 ACL 的杰出論文,為何當前該領域特別需要這樣一個統一的評估框架和能力地圖?它解決了哪些迫在眉睫的問題?

      劉菲:我們的團隊之所以如此關注大語言模型的規劃能力,核心原因在于,當前大模型的推理能力已實現大幅提升,這讓它們具備了解決高難度、復雜任務的潛力。但這類任務往往無法一蹴而就,需要通過“任務拆解”將其分解為多個可執行的子模塊,這正是規劃能力的核心。

      舉個具體的例子,如果你想用智能體制定一份為期一周的北京旅行行程,它首先需要拆解出多個子任務,比如“預訂機票”、“預訂酒店”和“每日行程安排”。這三個子任務本身就非常復雜。更重要的是,不同用戶對這些子任務的需求差異巨大,這意味著復雜任務的第一步必須是合理的、個性化的任務拆分。

      此外,這些子任務的解決路徑也各不相同。有些可以由系統自動處理,但可能存在不穩定性;有些則需要人工介入。更關鍵的是,子任務之間并非孤立存在,它們有著明確的關聯結構。規劃的最終目標是讓用戶完全滿意,而“個性化” 是實現這一目標的最大難點。做好規劃,需要綜合考慮這些多維度的個性化因素。

      正因為規劃任務的復雜性和多樣性,我們認為構建一個統一的評估框架至關重要。我在自然語言處理領域工作了近15年,始終堅信 “評估先行”。一套優質的、經過深思熟慮的評估指標能夠有效指導系統開發,讓研究方向更為集中和高效。反之,如果缺乏扎實可靠的評估框架,整個領域的發展就會變得分散,甚至陷入停滯。因此,要真正推動大模型規劃與推理領域的前進,必須先建立一個統一且精細的評估框架。

      此外,規劃能力也與當前的智能體人工智能( Agentic AI ) 高度相關。規劃的效率直接決定了智能體完成任務的效率,從這個角度看,規劃與決策無疑是極具潛力的研究方向。除了規劃,我們團隊也對多智能體協同和競爭方向有著濃厚的興趣。我認為,未來大模型可以升級為個性化模型,讓每個人都擁有一個專屬的智能助手。在這種情境下,智能體之間可能存在復雜的社會關系:在團隊協作時,它們需要合作;而在爭奪同一個資源時,它們又會形成競爭。無論是合作還是競爭,多智能體都需要強大的規劃和協同能力,這也是我們未來重點關注的方向。

      岑峰:如果小模型能在特定規劃任務上達到大模型的性能,這對商業化應用與部署會有何影響?

      劉菲:小模型具有很強的推理能力,而大模型的優勢在于知識儲備。如果一個工業落地場景無需大量外部知識,僅需調用大模型的單一能力,那么經過知識蒸餾的小模型就極具價值。但若任務對專業知識有高要求,則仍需采用參數規模更大的模型??偠灾?,小模型在特定場景下的高性能表現,將大幅降低部署成本,加速商業化落地。

      岑峰:劉老師在論文中提到“強化不可行任務檢測指標”的建議,讓大模型學會“說不”,從技術層面會面臨哪些挑戰?又會給用戶體驗帶來怎樣的改變?

      劉菲:從用戶角度,我非常希望大模型能主動“說不”。目前,大模型在訓練時傾向于迎合用戶需求,這導致它們在回答不確切的問題時容易產生“幻覺”,比如虛構一個不存在的電影劇情。

      要解決這個問題,長遠來看,我們需要將傳統的分類模型方法與大模型結合,實現“結論與推理依據的對齊”。當前,大模型通過逐 token 生成推理依據,但其最終結論可能與推理過程不一致。未來,我們需要確保無論結論是基于分類模型還是參數化模型,其口頭解釋都能保持一致。如果大模型能學會“說不”,將能提供更準確、更可信的信息,避免誤導用戶,從而帶來更好的用戶體驗。

      03

      從被動到主動:大模型的未來交互策略

      岑峰:張老師團隊也有一篇 ACL 的 Highlight 論文,其核心思想是“讓視覺語言模型學會提問,消解視覺回答中的模糊性”。如何通俗解讀這一研究?它與人類的提問邏輯有何異同?

      張家?。何覀冄芯康暮诵氖亲屢曈X語言模型擁有“追問”的能力。在視覺問答( VQA )中,很多問題回答不準確,是因為問題本身就很模糊。這就像我們問“那個東西怎么用?”,對方會反問“你指的是哪個?”來明確需求。但大模型默認用戶問題是完全正確的,不會主動澄清。由于圖像信息量大,這種模糊性在視覺領域尤其突出。因此,我們的研究就是教會模型,在識別到模糊提問時,先通過追問來明確用戶意圖,再給出精準回答。

      岑峰:除了論文中提到的三類模糊性,是否還存在其他類型?能否結合例子具體說明?

      張家俊:我們當前將模糊性劃分為三類,主要是基于現有數據集的特性和技術的可行性。但實際上,除了這三種,在現實場景中肯定還存在其他類型的模糊性問題。

      其中一個非常典型的例子就是由文化背景差異帶來的模糊性。在不同的國家和文化語境下,即使是相同的問題,其背后所指向的需求或隱含的文化含義也可能截然不同,也存在數據構造極為困難的巨大的挑戰。要構建涵蓋不同文化、不同常識背景的模糊問題數據集,需要大量的跨文化標注,目前這方面的積累還遠遠不夠。所以,我們選擇先聚焦于“指代、意圖、拼寫” 這三類更容易界定和構造數據的問題,后續再逐步拓展。

      為了幫助大家更好地理解這三類模糊性,我可以結合視覺場景來舉幾個具體的例子:

      • 指代模糊:想象一張照片里有兩個人一前一后站著,一個穿著“殺馬特”風格的衣服,另一個是“二次元”風格。如果用戶問模型:“這個人怎么穿成這樣?”模型就無法確定用戶指的是哪一個人。這就是典型的指代模糊,模型需要通過追問來解決,比如問:“您指的是照片中靠前的人,還是靠后的人?”

      • 意圖模糊:比如一張圖片展示了一個人站在倫敦橋上,背景能看到著名的大本鐘。這時,用戶可能會問:“這個人站在哪里?”從表面看,用戶是在問具體位置,但深層的意圖可能是想知道所在的城市,也就是“倫敦”。如果模型只回答“在橋上”,就沒有真正滿足用戶的需求。這就是意圖模糊,模型需要追問來確認,比如問:“您是想了解具體地點,還是所在的城市?”

      • 拼寫模糊:假設圖片是在某個展覽活動現場,用戶想問“這是一個什么事件?”但因為同音字錯誤,打成了“這是一個什么時間?”雖然語法正確,但語義完全偏離了。這就是拼寫模糊,模型需要識別出這種偏差并進行追問,比如問:“您是否想問‘這是一個什么事件?’”

      這些例子清晰地說明了,在復雜的人機交互中,讓模型學會主動識別和消解模糊性,是提升用戶體驗的關鍵。

      岑峰:如何從技術上讓模型具備“該直接回答還是主動追問”的判斷能力?這項研究對未來 AI 認知發展有何啟示?

      張家?。汉诵脑谟谧屇P蛽碛小白灾鳌?,即清楚自己“知道什么、不知道什么”。當面對不確定的問題時,它能識別出不確定性,并主動交互。目前,我們通過 數據驅動 的方式來實現這一能力。我們專門針對模糊場景,自動化構造了大規模訓練數據,將“需要追問”的案例作為正樣本,將“可直接回答”的案例作為負樣本,以此教會模型進行二元判斷。從長遠看,若模型能同時具備“自知之明”和“用戶認知建?!钡哪芰Γ型灾餍纬芍鲃咏换ヒ庾R。

      岑峰:這一能力能否擴展到其他領域?它將如何改變人與 AI 的交互方式?

      張家?。哼@一能力的通用性非常強,可以擴展到智能客服、智能家居、車載系統等高頻人機交互場景,甚至在智能決策系統中,模型也能通過主動提問來補全信息,提升決策準確性。這種主動澄清能力,將成為多模態模型和決策模型的基礎能力。例如,在撰寫綜述時,模型若能主動詢問用戶“您希望重點覆蓋哪些領域?”,便能生成更貼合需求的內容。這種交互方式的改變將是根本性的,它將使AI從一個被動響應的工具,轉變為一個能夠進行主動、有意義的交互的智能伙伴。

      04

      大模型安全與魯棒性:一場永無止境的攻防戰

      岑峰:在大模型時代,有哪些新的攻擊或防御策略?傳統方法是否仍有效?

      肖超瑋:我將結合我們團隊的研究探索,分享對大模型安全領域的最新觀察與趨勢。

      早期的對抗攻擊研究主要集中在計算機視覺領域。那時的防御方案聚焦于“System 1” 層次,即通過生成對抗樣本,并進行 “對抗訓練” 來微調模型。然而,這種方法的致命缺陷是 泛化性極差。它只能應對已知的擾動,面對更廣泛、更復雜的未知攻擊時,幾乎束手無策。

      早在2022年,我們團隊就提出了一個不同的思路,從 “System 2” 層面設計防御方案。我們的 DiffPure 通過引入“擴散模型”,模擬人類的“慢思考”過程,實現在無需接觸對抗樣本的情況下,也能對未知擾動進行有效防御。

      如今,這種“System 2” 的思路在大模型安全研究中得到了延伸。我們最近的工作 ARMOR,僅僅讓模型“背”下安全策略是遠遠不夠的,而是必須讓它通過一個主動的 推理過程 來分析問題,明確不安全行為違反了哪些安全準則。當前,無論是 OpenAI 的 “深度思考的對齊” 還是國內清華大學等團隊的工作 STAIR,都在嘗試通過“推理模型” 來強化安全對齊。

      然而,現有的一些推理防御方案仍存在漏洞。其根本原因在于,模型的推理邏輯和人類對比可能存在偏差。對于一個惡意的共計,人類解決問題的關鍵,是讓模型像人類一樣“抽絲剝縷”,先理解到底是在問什么問題,再基于安準則做出判斷,是不是這個問題是不是違背了安全準則。

      因此,我們提出了“結構化推理” 方法,旨在明確模型的推理邏輯,使其決策過程更貼近人類思維。我們認為,如何將這種結構化推理與基于強化學習的目標驅動方法相結合,是當前一個重要的研究方向。

      另一個重要趨勢是智能體安全( Agent Security )。今年 ACL 會議上,業界開始關注 “間接指令注入( indirect problem injection )” 這種新的系統級威脅。針對這類問題,我們在 ACL 會議上面也提出了 Agrail , 通過構建一個智能體安全護欄提升智能體的安全。

      總的來說,安全研究正在從早期的“ System 1 ” 級對齊微調,深化到“ System2 ”級別利用“結構化推理” 提升模型安全性并從單一模型擴展到系統層面,通過構建外部防御機制來系統性地解決安全問題。這些都是當前領域的重要進展,并且仍在持續推進。

      岑峰:與計算機視覺相比,NLP 在對抗攻擊與魯棒性方面面臨哪些獨特挑戰?

      肖超瑋:我之所以從計算機視覺( CV )轉向自然語言處理( NLP )領域,正是因為語言具有獨特的價值和挑戰。CV 領域的對抗攻擊通常很直接,比如在停車標志上貼一張特殊設計的貼紙來誤導模型,而 NLP 則完全不同,語言是人類設計的、帶有強烈 社會性的知識載體和社交工具。其邏輯與人類現實社會中的“說服”或“PUA”非常相似。攻擊者可以通過不同的語言技巧和策略,誘導模型給出有害的回答。這說明 NLP 的攻擊門檻非常低,普通用戶就能實施,這是語言特性帶來的全新挑戰。

      為此,我們的研究方向像 AutoDAN-Turbo,ARMOR 等是從“策略空間”切入,系統地梳理和識別這些基于策略的攻擊手段,再讓模型學習如何防御。早期的攻擊方式相對簡單,比如替換個別單詞,但現在的攻擊已升級,不再是簡單的文本改寫,而是通過設計特定策略來精準誘導模型。這種升級不僅為攻擊行為開辟了巨大空間,也給防御工作帶來了巨大挑戰。我認為,這正是語言獨特的社會性和動態的語言學屬性所導致的。

      岑峰:AI 安全的未來方向是怎樣的?除了對抗攻擊和防御,還有哪些更深層次的問題需要解決?

      肖超瑋:我認為未來的 AI 安全需要重點關注四個方向:

      1. 推理模型的應用:核心問題是,我們該如何利用推理模型?是采用我們提出的“結構化推理”,還是更偏向目標對齊的方法,這需要深入研究。

      2. 目標過擬合:目前許多模型通過獎勵機制來確保目標達成,但過度關注結果可能導致模型在過程中產生欺騙行為。如何解決這種“目標過擬合”帶來的新安全挑戰,是亟待解決的問題。

      3. 個性化安全:這是一個跨學科的難題。安全本身沒有統一的定義,如何讓模型能適應不同國家、不同個體的安全準則,并構建一個兼顧個體需求與公共安全的策略框架,是需要深層探索的方向。

      4. 智能體安全:隨著大模型向多智能體系統演進,系統級安全問題日益突出,比如“間接指令注入”。智能體比單一模型更脆弱,因此如何定義和解決智能體安全問題,是未來需要重點思考的方向。

      岑峰:張老師,我也想請教您,從多模態大模型研究的視角,您如何看待 AI 安全問題?

      張家?。何曳浅UJ同肖老師的觀點,語言的主觀性和不確定性確實為 AI 安全帶來了獨特的挑戰。而當我們將技術從單一的語言或視覺模態拓展到多模態時,AI 安全問題會進一步加劇。

      舉個我們研究中遇到的例子:一個安全對齊良好的大語言模型,其抗攻擊能力較強。但如果加入語音交互模態,安全風險便會立刻凸顯。不同的口音或年齡群體在提問時,很可能繞過為文本模態設計的安全機制。

      為此,我們團隊開展了“行為克隆” 的研究,旨在實現 “跨模態對齊”。核心思想是:在語音和文本語義一致的前提下,模型對兩種模態輸入的行為響應也必須完全一致。我們通過這種方法,在不修改大語言模型核心參數的情況下,實現了語音到文本的模態對齊,從而讓模型在處理語音輸入時也能繼承原有的安全能力。

      然而,這種方法尚未完全解決所有多模態安全問題。例如,語音中的情緒、重音差異仍可能導致模型內部表征發生微小變化,進而影響其安全防御水平。因此,我認為多模態場景下的 AI 安全研究,既存在巨大的探索空間,也面臨著更為嚴峻的挑戰。

      05

      產學研融合:新企業入局與人才新需求

      岑峰:今年我們看到了量化基金、律師事務所等新企業入局 ACL,會對 NLP 研究和人才需求產生哪些影響?ACL 的學術成果又該如何更好地轉化為產業應用?

      張家俊:今年 ACL 的贊助商確實呈現顯著多樣化,這背后是大模型發展推動 NLP 技術的應用邊界不斷拓展。如今,大模型不僅應用于互聯網,更在金融、法律、醫療等實體行業落地,催生了企業對 NLP 人才的差異化需求。這些新入局的企業通過贊助頂會,來吸引人才和對接前沿研究,這是其核心驅動力。

      關于學術成果如何對接產業,這取決于論文的研究屬性:

      • 興趣驅動型研究:這類研究以學術探索為核心,通常不考慮實際應用。例如,有最佳論文聚焦“大模型內部公平性”這類基礎問題,其直接商業價值有限,企業聯合研究的動力也較低。

      • 應用/任務驅動型研究: 這類研究是連接學術與產業的核心。它又分為兩個方向:

      ?基礎模型構建:比如專注于預訓練數據篩選、對齊數據工程等。ACL 的許多杰出論文都屬于此類,它們由產學研聯合開展,能直接轉化為業界模型開發的核心技術。

      ?具體場景落地:比如面向律師事務所的“法律文本分析”,或面向量化基金的“金融輿情挖掘”。這類研究從行業實際問題出發,目標就是技術落地,因此天然具備與產業對接的屬性,能直接轉化為企業的產品功能。

      因此,“應用驅動型研究”是推動 ACL 學術價值向產業價值高效轉化的關鍵。

      肖超瑋:我非常認同張老師的分析,大模型正在拓展其應用邊界。我分享一個親身經歷:我的航班延誤8小時,航空公司只愿意賠償100美元。我用大模型查詢后得知,根據歐盟法律,我應該獲得600歐元的賠償,最終成功拿到了這筆錢。這個案例讓我感觸很深:大模型憑借其海量知識儲備,讓普通人也能便捷地獲取專業知識,這在過去是無法想象的。

      這個例子也恰好說明了模型與產業結合的巨大價值。現在,越來越多的企業,包括安全領域的公司,都在探索如何構建AI安全防護機制,比如打造 “ AI 防火墻” 或利用 AI 生成 “安全代碼”。這些都不僅僅是學術研究,而是能直接應用于產業的實際方向。

      關于如何更好地推動研究與產業結合,我認為可以從兩個方面發力:

      1. 應用驅動型研究:研究者可以結合自身優勢,深耕特定應用場景,圍繞產業實際需求開展研究。

      2. 基礎理論研究:同樣要重視大模型的訓練邏輯、算法設計等基礎研究。這些看似不直接落地,但它們是未來技術突破的核心,終有一天會迸發出巨大的產業價值。

      06

      觀眾QA

      岑峰:有觀眾提問:若防御者能利用推理( reasoning )提升安全,攻擊者同樣可借助推理實施攻擊,那么該領域合理的研究假設應如何界定?

      肖超瑋:是的,攻防雙方都可利用推理能力。所以對于防御的關鍵就是,在合理的威脅模型的假設下,在攻擊者也可以用各種合理的工具,各種手段還能防御成功就是合理的。比如現在 OpenAI 的防御的威脅模型就是,他不會全給你模型完整的和真實的推理過程,而是經過篩選后僅暴露部分內容,這些內容不會妨礙正常用戶對推理過程的理解,滿足了可解釋信也不會影響模型回答問題的準確性。這種假設就是合理的。這種假設下,雖然攻擊者可以用各種手段,也可以用推理共計,但是他不能利用模型真實的和完整的推理內容。

      岑峰:第二個觀眾問題:“大語言模型面臨多種攻擊方式,是否存在通用的魯棒防御方法?”

      肖超瑋:我認為,這個問題的答案可以概括為“既無絕對通用的方法,也存在可探索的通用防御方向”。

      從“無” 的角度看,絕對的通用防御是不存在的。攻擊者具備持續學習的能力,他們總能探索出全新的攻擊形式。因此,我們不能再沿用傳統的防御思路,比如僅僅通過生成海量數據來進行對抗訓練,這種方式是行不通的。

      然而,從“有” 的角度看,我們存在可行的通用防御方向。我們需要轉變思路,讓模型學習如何進行 安全推理。正如我們近期研究的工作 ARMOR 提出的,模型首先需要具備瀏覽一個動態攻擊策略列表的能力,并能從中識別出輸入問題可能采用的攻擊策略,進而理清用戶的真實意圖。這個列表是可維護、可低成本更新的,我們可以不斷將新的攻擊策略補充進去。

      我們希望傳遞的理念是,研究應從“結構化推理” 和 提成本的“終生學習” ,快讀迭代的角度去思考防御。讓模型學習理解高層級的推理邏輯,而不是單純地記憶數據實例。攻擊者可能會用不同的語言、不同的勸說策略發起攻擊,但從高層級來看,這些攻擊手段存在諸多共性。因此,我們需要維護的是這份高層級共性策略列表,并持續更新,防御者可以低成本的讓模型基于該列表進行推理,來以終身學習的方式去防御。只有讓模型掌握這種識別推理邏輯能力,才有可能從根本上解決問題,真正推動 AI 安全領域取得進展。

      岑峰:時間過得飛快,我們這次圓桌到這里就結束了。謝謝三位嘉賓的分享,謝謝觀眾們的觀看,我們下次再見!

      未經「AI科技評論」授權,嚴禁以任何方式在網頁、論壇、社區進行轉載!

      公眾號轉載請先在「AI科技評論」后臺留言取得授權,轉載時需標注來源并插入本公眾號名片。

      特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。

      Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

      AI科技評論 incentive-icons
      AI科技評論
      點評學術,服務AI
      7012文章數 20715關注度
      往期回顧 全部

      專題推薦

      洞天福地 花海畢節 山水饋贈里的“詩與遠方

      無障礙瀏覽 進入關懷版 主站蜘蛛池模板: 欧美色丁香| 国内精品久久久久伊人aⅴ| 亚洲AV日韩Aⅴ无码色老头| 国产精成人品| 中国无码人妻丰满熟妇啪啪软件 | 亚洲国产一区二区三区久| 亚洲高清WWW色好看美女| 波多野结衣第一页| 国模无码免费视频| 人妻夜夜爽天天爽一区| 亚洲av激情综合在线| 久久人妻中文字幕| 沙雅县| 99久久精品费精品国产| 岛国av无码免费无禁网站| 国产精品午夜无码AV天美传媒| av色综合| 亚洲最大国产成人综合网站 | Z〇Z○女人ZOZO另类| 性猛交ⅹxxx富婆视频| 国产福利微视频一区二区| 无码AV在线播放| 日韩AV东京热| 亚洲欧美v国产蜜芽tv| 亚洲精品在线少妇内射| 成人福利网站导航秘?涩涩屋| 日韩AV东京热| 中文字幕日韩精品亚洲一区| 色伦专区97中文字幕| 91大神视频破解版在线观看| av资源吧| 性欧美丰满熟妇xxxx性| Y111111国产精品久久久| 91在线精品视频| 无码av中文字幕免费放| 欧美成人一区二区三区| 亚洲中文字幕av天堂| 97超碰自拍| 99久久久国产精品免费蜜臀| 午夜免费男女aaaa片| 国产亚洲av|