作者:林克
4月22日,前幾天還在灰測的GPT-image-2正式公測,其實際使用效果引發(fā)了AI圈的熱議。
和之前的圖像生成的最關(guān)鍵變化是:字更清楚了、海報更像設(shè)計稿了、UI截圖終于能用。這也讓圖像生成模型開始被當成生產(chǎn)工具來討論了。
先看看生成效果:
![]()
顆粒度更高的效果背后,其實一條技術(shù)路徑在拐彎。
過去幾年主流方法來自擴散模型diffusion的思路。它的出發(fā)點很樸素:如果一張清晰圖片可以一步步加噪聲變成雪花,那么反過來,從雪花一步步去噪,就有機會還原出一張圖。
于是模型被訓練去做一件事,在不同噪聲階段判斷“下一步應(yīng)該往哪兒收斂”。
這套方法在視覺上很成功。它擅長處理連續(xù)變化的東西,比如光影、紋理、人物細節(jié)。但它有一個幾乎繞不過去的結(jié)構(gòu)性限制:生成幾乎是“整體發(fā)生”的,沒有順序概念。
從噪聲到圖像的過程中,所有元素一起浮現(xiàn)出來。人物、背景、裝飾、文字,都在同一個收斂軌道里被“涂抹”出來。模型沒有“先寫第一個字、再寫第二個字”的能力,因為在它的世界里,并不存在“字符”這種離散單位。
這就是早期模型為什么在文字上集體失靈。它看到“HELLO”,學到的是幾種常見的筆畫組合;生成時,會在某個區(qū)域給出一塊“像文字的紋理”。至于字母順序、拼寫規(guī)則、句子長度,這些約束不在它的表達體系里。
很多團隊試圖用更多數(shù)據(jù)、更高分辨率去彌補,但效果有限,因為在連續(xù)系統(tǒng)去模擬離散結(jié)構(gòu),總會在關(guān)鍵位置出錯。
GPT-image-2這一代模型的變化,恰好發(fā)生在這個斷點上。
它首先把圖像換了一種表示方式。通過視覺分詞器tokenizer,圖像被拆成一系列離散單元,類似文本里的token。這樣一來,圖像就變成可以逐步生成的序列。
一旦進入序列空間,語言模型那套成熟的方法就可以直接接入。生成過程就有了順序,可以“從前到后寫出來”。順序、長度、上下文約束,都可以在這個過程中被顯式控制。
更關(guān)鍵的一步,是引入了接近“agent”的訓練思路。
Agent特點是先理解任務(wù),再形成計劃,最后執(zhí)行。GPT-image-2的生成鏈路里,語言模型承擔了類似“規(guī)劃器”的角色。它會根據(jù)輸入,把需求拆解成結(jié)構(gòu),例如哪里是標題,寫什么內(nèi)容,大致占據(jù)什么位置,是否需要多行排版。這個過程對用戶不可見,但在模型內(nèi)部形成了一個隱式的布局草圖。
接下來,視覺部分在這個草圖約束下去完成渲染。文字成為一個被提前定義好的目標。字符的順序和內(nèi)容由語言模型決定,視覺模型負責把它們以合適的樣式呈現(xiàn)出來。
從工程角度看,這是一條“規(guī)劃—執(zhí)行”鏈路被內(nèi)嵌進模型本身,像agent一樣有步驟、有結(jié)構(gòu)、有中間決策。
這種結(jié)構(gòu)對文字的影響是立竿見影的。因為文字本質(zhì)就是一種強約束的序列任務(wù),而語言模型正好擅長處理序列。當兩者對齊之后,“寫對字”不再依賴運氣,而成為一個可以被穩(wěn)定優(yōu)化的目標。
這也是為什么GPT-image-2在海報、UI、電商圖這些場景表現(xiàn)突出。這些場景的難點一直在結(jié)構(gòu)和約束,而不是純視覺。只要結(jié)構(gòu)被提前鎖定,后續(xù)渲染的自由度反而更容易控制。
國內(nèi)模型目前大多處在兩條路徑的交界處。
豆包圖像已經(jīng)開始引入語言模型參與生成決策,在中文短文本和簡單排版上有明顯改善。這說明“規(guī)劃層”正在形成,但在長文本和復雜布局上仍有波動,意味著離散表示和視覺渲染之間的對齊還不夠穩(wěn)。
快手的Kolors在視覺表現(xiàn)上非常突出,風格和質(zhì)感接近行業(yè)第一梯隊,但文字更多還是在視覺階段被補償,缺乏前置約束,一旦文本變長就容易失控。
阿里千問和百度的優(yōu)勢在于數(shù)據(jù)和場景,尤其電商與搜索生態(tài),具備構(gòu)建大規(guī)模結(jié)構(gòu)化數(shù)據(jù)的條件。但目前圖像生成仍然延續(xù)原有路徑,語言模型尚未成為生成鏈路的核心控制者。
從方法論上看,差距集中在三點:圖像是否被離散化為可序列處理的單位,語言模型是否進入生成主鏈路,以及是否建立了帶布局與文本標注的數(shù)據(jù)體系。這三者一旦打通,文字問題基本會隨之消失。
這條路徑和文本模型的發(fā)展方向也在逐漸重合。像Claude之所以被很多開發(fā)者用于實際工作,核心原因是因為它在執(zhí)行復雜任務(wù)時更穩(wěn)定。
長上下文處理、結(jié)構(gòu)化輸出、步驟完整,這些能力讓它更像一個可以交付結(jié)果的系統(tǒng)。GPT系列從對話走向工具的過程,本質(zhì)也是在強化這種“完成任務(wù)”的能力。
圖像生成正在經(jīng)歷類似的階段。從“生成一張好看的圖”,走向“完成一個帶視覺約束的任務(wù)”。
當語言模型、離散表示和類似agent的規(guī)劃機制疊加在一起,圖像就不再只是視覺結(jié)果,而成為表達和執(zhí)行的一種新載體。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.