![]()
Ben,OpenAI技術團隊核心成員,最近在X上扔了個觀察。他說大多數人沒意識到:推理模型的第二條縮放定律,在很多任務上壓根沒 plateau——簡單說,砸更多 token 進去,答案確實會變好。
這事有點反直覺。第一條縮放定律(預訓練階段)早就撞墻了,數據快用完、算力邊際收益遞減,業界共識是"大力出奇跡"的時代接近尾聲。但 Ben 指出,推理階段完全是另一套游戲規則。給模型更多"思考時間"——也就是生成更多中間 token——性能曲線還在往上走。
![]()
他補了一句關鍵細節:「especially with a simple harness」。意思是,不需要什么花哨的工程 trick,一個簡陋的 scaffold 就能讓這種 scaling 生效。這相當于告訴大家,天花板可能比想象中高,而且門檻意外地低。
評論區很快有人算賬:如果這是真的,推理成本將成為新的護城河。誰燒得起更多 token,誰就能拿到更好的結果。但也有研究者質疑,這種收益能持續到多少量級?Ben 沒給數字,只留了個開放式結尾。
一位做 AI infra 的工程師在下面回復:"我們上周剛測完,數學題上 token x4,準確率漲了 12%,但 latency 讓人崩潰。"這條用戶反饋,大概比任何論文都更能說明問題。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.