o3出圈玩法“看圖猜位置”，豆包也安排上了！還是人人免費用那種

o3出圈玩法“看圖猜位置”，豆包也安排上了！

而且不只是猜位置那么簡單，玩法“更上了一層樓”，例如我們給出下面這張圖：

醒目的東方明珠，一眼便知是上海。但現在的問題是：

你知道這是幾幾年嗎？

對我們人類來說可能會有點難以判斷，不過在豆包這里，現在可以精確回答：1999年左右。

這就是豆包APP最新的一個功能——升級了視覺推理，圖片也能深度思考！

具體而言，現在豆包的深度思考過程不再只是文字的處理，對圖片也能進行分析。

操作上也非常簡單，只需開啟深度思考模式，然后拍照或上傳圖片即可：

而且細看豆包APP分析的整個深度思考的過程，也是有點意思在身上的。

例如它先會以圖搜圖，大致判斷一下圖片位置是上海；然后再調用圖片分析工具（包括放大、裁剪和旋轉等等），根據圖片中的具體細節內容，進一步分析確定年份的證據。

總而言之，是屬于邊思考邊搜邊巧用工具的那種。

那么接下來，一波實測，走起！

實測豆包的帶圖推理

AI打假AI、看圖找茬都難不倒

這第一關，咱先來點好玩的——讓AI識別AI。

左右兩邊的西紅柿都非常逼真，僅憑肉眼實在難以區分。

而豆包一擊即中，一番思索后得出了正確答案：右側為AI生成。

展開其推理過程，才發現它是通過“放大細節”得出結論的。

尤其是右圖左下角的西紅柿暴露了身份，其蒂部呈現出不自然的卷曲和分叉blabla。

既然它“眼力”不錯，咱們接著整個大的——請找出下圖中熊貓里的足球。

人類 VS AI，計時開始……

很好，肉眼找了一圈又一圈，最后還是只能求助于AI。

豆包APP給的答案是醬嬸兒的：

怕你還是找不到，所以在思考過程中特意“放大”了足球所在的區域。

注意看，這里同樣涉及到豆包對圖片分析工具的調用，整個過程如下：

1. 初步識別→可疑區域鎖定
2. 放大區域→局部圖案對比
3. 空間定位→精準敘述

看來一些比較考眼力的小游戲，尤為適合請豆包APP這位外援。

還是個靠譜的生活搭子

此外，作為一款日常工具，平時看到任何不懂的東西也都可以隨時丟給豆包APP。

例如網上沖浪時，看到有人分享一款小眾樂器，這就第一時間問問豆包：

豆包老師直接開課，采用最直接的方法——相似圖片檢索，確認這是少數民族鄂溫克族的口弦琴。

又或者遇到云南這樣的“新奇物種大省”，反手也是一個求助的動作。

原來這是云貴一帶的小苦瓜，學名翅果藤，可以素炒、涼拌或曬干泡茶。

對于這種可能豆包自己都少見的東西，它會結合圖片檢索+文字檢索來雙重保障信息準確。

這下好了，以后人人都有一個7x24小時響應的生活助手了。

而且它的本事可不止幫忙搞定生活瑣事，用來提升工作效率一樣拿得出手。

輔導作業、提高生產力也不在話下

這不，讓無數父母越來越頭疼的作業輔導，現在也能全權交給豆包APP了。

為了加大難度，這里我們直接上今年IMO（國際數學奧林匹克競賽）的第一題：

看不懂不要緊，直接交給豆包——在經過明顯時間更長的思考后，它通過一步步推理最終給出了正確答案。

有一說一，答案是否正確我等凡人也看不太懂，所以交給了ChatGPT這個第三方裁判，讓它來對比一下豆包APP和網上公開的人類選手給出的正確答案是否一致。

ChatGPT經過分析后認為，雖然解答方法不一樣，但二者的結論是一致的。

與此同時，豆包APP也能用于日常工作——比如將一份財報數據一鍵提取成表格。

話不多說，直接丟一份蘋果公司財報試試：

逐一檢查后，豆包有效hold住了數據準確性的考驗，而且還支持橫向全屏查看。

當識圖準確性這個“攔路虎”搞定后，豆包APP能夠發揮作用的空間也就更廣泛了，包括但不限于：

• 拍攝PPT、會議紀要或白板筆記中的表格內容，快速轉換為結構化數據；
• 提取合同截圖或發票上的費用明細表；
• 提取商品報價表、庫存表、銷售明細表截圖；

豆包的邊想邊搜，有夠靈活

從上面種種的實測中，我們不難發現豆包的思考鏈所具備的一個亮點——邊想邊搜。

傳統AI的思考過程，大多采用的是“先搜后想”模式，也就是先一次性抓取海量信息，然后基于已經搜到的這些信息進行推理，范圍相對有限、靈活性不足。

而豆包APP的“邊想邊搜”更像是一個“動態推理+多輪搜索”的過程。

在這個模式下，AI會根據推理的需要，在深度思考的過程中多次調用搜索、圖片分析等不同工具來獲取和驗證信息，從而提供更加全面、準確的結果。

這個完整的思考鏈條，會根據用戶問題的具體情況，靈活地接入圖片理解和信息搜索。

例如，在思考推理過程中，它既可能需要通過文字信息去檢索和分析圖片（文搜圖），也可能需要根據圖片內容去反向查找相關信息（圖搜文、圖搜圖）。

為了更直觀地展示這個過程，我們嘗試用它來找一部記憶模糊的童年動畫片：

而就是這樣寥寥幾句，豆包APP通過多輪關鍵詞檢索和圖片分析，幫忙成功找到了《Super Why》這部童年經典。

圖搜圖就和開頭展示的例子類似，在此不再過多贅述。

至于在思考過程中展現圖搜文，下面根據某張技術截圖反向查找原始論文出處的例子就淋漓盡致地展現了這種能力。

豆包APP通過3輪搜索+調用圖片分析工具，一步步鎖定了這是OpenAI發表的論文《Training language models to follow instructions with human feedback》。

而經過實際對比，這張圖也的確是該論文中的Figure 1。

Okk，林林總總體驗下來，豆包APP現在確實屬于邊思考邊搜邊巧用工具的“六邊形戰士”了。

一句話，以后遇到啥問題都能隨手一拍或截圖丟給它。

事實上，不止豆包APP，如今幾乎整個行業都在朝視覺推理這個方向狂飆突進。

今年以來，以OpenAI為代表推出的o3、o4-mini等推理模型，幾乎憑一己之力將圖像納入推理鏈，開啟了多模態深度理解的新范式。

隨后，視覺推理能力迅速成為衡量大模型綜合實力的新技術門檻，在國內外掀起了新一輪競速熱潮。

細究起來，這背后其實有兩大核心驅動力：一曰技術，二曰需求。

一方面，多模態技術的持續發展，為視覺推理提供了強有力的技術支撐。

由于主流大模型均采用Transformer架構，它具備天然的多模態融合能力，能夠對文字、圖像、音頻等不同模態的信息進行統一編碼和高效處理。

因此，帶圖推理在技術上實際并非遙不可及。

而且發展多模態目前已成為AI圈的共識之一，顯而易見，作為多模態智能重要組成部分的視覺推理，也大概率將隨之水漲船高，成為競逐熱點之一。

更不必提，視覺推理也確實存在真真切切的行業及用戶需求。

從行業角度來看，視覺推理是落地多種應用場景的關鍵能力。

比如在工業制造領域，視覺推理可用于無序分揀、晶圓缺陷檢測、電池極片3D輪廓測量等復雜場景；在醫療領域，視覺推理能夠助力手術導航、病理圖像分析等應用……如此種種不勝枚舉。

而對普通用戶來說，鑒于現實中圖文混合的信息越來越多，人們越來越需要的不只是“識圖”，而是真正理解圖中的邏輯與內容。

就像我們在實測環節看到的那樣，在圖像問答、文檔解析等多個場景中，具備視覺推理能力的模型已經可以像人類一樣識別細節、分析關系、做出判斷，極大提升了信息獲取和處理的效率。

綜上所述，可以說技術的成熟與需求的涌現，在此時此刻實現了高度契合，從而帶動了視覺推理能力迅速升溫，成為新階段的核心看點之一。

當然，大道理歸大道理。對我們普通用戶來說，最直接的變化是：o3、o4-mini等需要氪金才能用的功能，如今已經能在豆包APP里低門檻、免費用上。

豆包這波，也算是真正把“帶圖推理”打下來了~

p.s. 豆包APP現已全量上線帶圖推理功能，不過需要更新至最新的9.5.0版本才能體驗哦。