百度發(fā)布文心4.5 Turbo、X1 Turbo兩大模型

4月25日，Create2025百度AI開發(fā)者大會在武漢舉辦。百度創(chuàng)始人李彥宏發(fā)布了文心大模型4.5 Turbo及深度思考模型X1 Turbo兩大模型，以及多款A(yù)I應(yīng)用。百度首席技術(shù)官王海峰現(xiàn)場詳細(xì)解讀了背后的技術(shù)。據(jù)王海峰介紹，文心大模型4.5是多模態(tài)基礎(chǔ)大模型，文心4.5 Turbo源自文心4.5，效果更好、成本更低；基于文心4.5 Turbo，文心X1升級到X1 Turbo，性能提升的同時(shí)，具備更先進(jìn)的思維鏈，問答、創(chuàng)作、邏輯推理、工具調(diào)用和多模態(tài)能力進(jìn)一步增強(qiáng)。在C-Eval、CMMLU、MathVista、Math500等多個(gè)基準(zhǔn)測試集中，文心4.5 Turbo和X1Turbo跟DeepSeeK與GPT模型相比，效果在伯仲之間。文心4.5和4.5 Turbo都是多模態(tài)大模型，實(shí)現(xiàn)了文本、圖像和視頻的混合訓(xùn)練。針對不同模態(tài)數(shù)據(jù)在結(jié)構(gòu)、規(guī)模、知識密度上的差異，通過多模態(tài)異構(gòu)專家建模、自適應(yīng)分辨率視覺編碼、時(shí)空重排列的三維旋轉(zhuǎn)位置編碼、自適應(yīng)模態(tài)感知損失計(jì)算等技術(shù)，大幅提升跨模態(tài)學(xué)習(xí)效率和多模態(tài)融合效果，學(xué)習(xí)效率提高近2倍，多模態(tài)理解效果提升超過30%。

后訓(xùn)練方面，百度研制了自反饋增強(qiáng)的技術(shù)框架，基于大模型自身的生成和評估反饋能力，實(shí)現(xiàn)了“訓(xùn)練-生成-反饋-增強(qiáng)”的模型迭代閉環(huán)，不僅解決了大模型對齊過程中，數(shù)據(jù)生產(chǎn)難度大、成本高、速度慢等問題，而且顯著降低了模型幻覺，模型理解和處理復(fù)雜任務(wù)的能力大幅提升。在訓(xùn)練階段，研制了融合偏好學(xué)習(xí)的強(qiáng)化學(xué)習(xí)技術(shù)，通過多元統(tǒng)一獎勵機(jī)制，提升了對結(jié)果質(zhì)量判別的準(zhǔn)確率，通過離線偏好學(xué)習(xí)和在線強(qiáng)化學(xué)習(xí)統(tǒng)一優(yōu)化，進(jìn)一步提升了數(shù)據(jù)利用效率和訓(xùn)練穩(wěn)定性，并增強(qiáng)了模型對高質(zhì)量結(jié)果的感知。得益于偏好信號與獎勵信號的融合運(yùn)用，模型的理解、生成、邏輯和記憶等能力全面提升。

深度思考方面，突破了僅基于思維鏈優(yōu)化的范式，在思考路徑中結(jié)合工具調(diào)用，構(gòu)建了融合思考和行動的復(fù)合思維鏈，模型解決問題能力得到顯著提升。同時(shí)，結(jié)合多元統(tǒng)一的獎勵機(jī)制，實(shí)現(xiàn)了思考和行動鏈的端到端優(yōu)化，大幅提升了跨領(lǐng)域的問題解決能力。數(shù)據(jù)方面，打造了“數(shù)據(jù)挖掘與合成 -數(shù)據(jù)分析與評估 -模型能力反饋”的數(shù)據(jù)建設(shè)閉環(huán)，為模型訓(xùn)練源源不斷地生產(chǎn)知識密度高、類型多樣、領(lǐng)域覆蓋廣的大規(guī)模數(shù)據(jù)。同時(shí)，數(shù)據(jù)建設(shè)流程具備良好的可擴(kuò)展性，能夠輕松遷移到全新的數(shù)據(jù)類型，實(shí)現(xiàn)快速、高效的數(shù)據(jù)生產(chǎn)。

基于文心大模型的語言和代碼能力，百度研制了代碼智能體和智能代碼助手——文心快碼。代碼智能體，基于智能體的理解、規(guī)劃、反思，以及工具調(diào)用能力，用自然語言對話，即可實(shí)現(xiàn)應(yīng)用的自動開發(fā)，并支持多輪交互，迭代優(yōu)化代碼質(zhì)量，實(shí)現(xiàn)了無代碼編程，讓人人都可以成為程序員。智能代碼助手，幫助專業(yè)的程序員更高效地寫出更好的代碼。據(jù)介紹，文心快碼3.5版主要突破了四大核心能力：一是代碼智能體引擎，支持多模態(tài)編程、開發(fā)工具調(diào)用、應(yīng)用預(yù)覽，實(shí)現(xiàn)「需求-編碼-調(diào)試-驗(yàn)證」端到端生成；二是代碼預(yù)測改寫引擎，新增光標(biāo)預(yù)測與多行智能改寫，可精準(zhǔn)實(shí)現(xiàn)復(fù)雜的代碼的增加、刪除和修改；三是上下文引擎，結(jié)合文心4.5和X1的推理能力，更懂開發(fā)者意圖，回答問題更準(zhǔn)確；最后是更開放的研發(fā)生態(tài)，通過MCP接入?yún)f(xié)議，全面兼容主流開發(fā)工具鏈。目前百度每天新增的代碼中，文心快碼生成的代碼占比已超過40%。最新數(shù)據(jù)顯示，文心快碼向全社會開放，累計(jì)服務(wù)760萬開發(fā)者。

文心大模型的能力拓展和效率提升，得益于飛槳文心的聯(lián)合優(yōu)化。比如，訓(xùn)練方面，多模態(tài)統(tǒng)一的掩碼注意力加速，在不同模態(tài)混合計(jì)算注意力時(shí)，顯著降低掩碼構(gòu)建和計(jì)算開銷，大幅提升訓(xùn)練性能；推理方面，多模態(tài)流式分塊預(yù)填充機(jī)制，減少首token耗時(shí)，同時(shí)減少推理計(jì)算的顯存峰值，提升推理批次大小，提升吞吐性能。通過這些聯(lián)合優(yōu)化技術(shù)，文心4.5 Turbo訓(xùn)練吞吐達(dá)到文心4.5的5.4倍，推理吞吐達(dá)到8倍。從現(xiàn)場我們了解到，飛槳框架3.0既延續(xù)了動靜統(tǒng)一、訓(xùn)推一體的技術(shù)特色，更在自動并行、神經(jīng)網(wǎng)絡(luò)編譯器、高階自動微分等方面創(chuàng)新突破。例如，動靜統(tǒng)一自動并行，使得大模型分布式訓(xùn)練代碼減少80%；大模型訓(xùn)推一體，幫助強(qiáng)化學(xué)習(xí)訓(xùn)練提速114%；科學(xué)計(jì)算高階微分，微分方程求解速度比PyTorch 快115%；神經(jīng)網(wǎng)絡(luò)編譯器，提升框架通用性能，模型端到端訓(xùn)練速度提升27%；異構(gòu)多芯適配，飛槳已適配國內(nèi)外60多個(gè)系列芯片。截至目前，飛槳文心開發(fā)者數(shù)量已超過2185萬，服務(wù)超過67萬家企業(yè)，創(chuàng)建的模型達(dá)到110萬。

隨著人工智能技術(shù)加速進(jìn)步，大模型在千行百業(yè)的應(yīng)用也越來越深入。例如，在文博領(lǐng)域，百度與中國文物交流中心達(dá)成深度合作，增強(qiáng)大模型在文博領(lǐng)域?qū)I(yè)知識，并發(fā)布首個(gè)文博智能體，用AI的力量讓文博知識觸手可及，讓每個(gè)人都成為文博傳承的參與者與受益者；在非遺武術(shù)傳承領(lǐng)域，百度與上海體育大學(xué)武術(shù)學(xué)院、中國武術(shù)博物館館聯(lián)合發(fā)布“非遺武術(shù)-百度文心大模型”，基于文心大模型，融合上海體育大學(xué)武術(shù)學(xué)院、中國武術(shù)博物館的專業(yè)積淀，將武術(shù)技法與算法結(jié)合，通過3D動作建模、AI動態(tài)糾錯(cuò)等技術(shù)，將非遺武術(shù)技術(shù)動作以數(shù)字化的形式保存和記錄下來。活動最后，第十二屆百度獎學(xué)金頒獎典禮在現(xiàn)場舉辦。作為國內(nèi)外AI領(lǐng)域資助金額與含金量最高的學(xué)術(shù)獎學(xué)金之一，百度獎學(xué)金自2013年設(shè)立以來，已累計(jì)發(fā)放超千萬元資金。王海峰為來自全球頂尖高校的10位獲獎選手頒發(fā)獎學(xué)金，每人20萬元。這不僅是對獲獎選手學(xué)術(shù)成果的認(rèn)可，也彰顯了百度對AI人才培養(yǎng)的長期承諾。