大家好我是歸藏(guizang),提前用了一下智譜新版的 AutoGLM。
前幾天參加了一下智譜關(guān)于電腦和手機(jī)操作的智能體 AutoGLM 新版本(https://autoglm.zhipuai.cn/)的閉門會,同時試用了一下。
這次的更新非常大,基本將這類 Agent 的使用場景和能力拓展了非常多。
AutoGLM 更新亮點(diǎn):
- 全球首個手機(jī)通用 Agent,不止可以操控電腦而且可以操控手機(jī)
- Agent 的操作全在云手機(jī)&云電腦上運(yùn)行,解放你自己的設(shè)備
- 全平臺覆蓋的客戶端:iOS、安卓、網(wǎng)頁都有,你可以在任何地方下發(fā)任務(wù)
- 可實(shí)現(xiàn)跨應(yīng)用程序的自動、可泛化的任務(wù)執(zhí)行 ,即將更新“定時任務(wù)”能力
![]()
這次主要的更新是云手機(jī)的 Agent 能力,我試了一下相當(dāng)穩(wěn)定和高效,我們先來看一下效果。
日常我們使用手機(jī)可以分成兩個部分的任務(wù),第一部分是內(nèi)容消費(fèi),我們看電視劇抖音視頻等來消遣時間,這部分是 AI 沒辦法替代的,只有自己看才能獲得內(nèi)容消費(fèi)帶來的愉悅感。
另一部分是各種生活服務(wù)和工具使用,這部分是 AI 發(fā)揮作用的時候了,而且語音和文字輸入對于老人以及殘障人士的幫助也非常大。
![]()
首先我們先來個復(fù)雜的任務(wù),跨多個 APP 并且需要進(jìn)行幾十次點(diǎn)擊這種。
日常一個事情我覺得用手機(jī)的時候是非常低效的。
在約朋友的時候經(jīng)常不知道去哪吃,而且在北京通勤時間巨長,40 分鐘路程都算短的,找餐廳要在大眾點(diǎn)評,看通勤時間要在高德還得轉(zhuǎn)發(fā)給朋友一起挑餐廳,非常浪費(fèi)時間,現(xiàn)在 AutoGLM 可以一次搞定了。
幫我規(guī)劃一個本周六在北京的兩人約會行程。上午去798藝術(shù)區(qū),中午在大眾點(diǎn)評上找一家附近人均200元左右、評分最高的西餐廳給我三個選擇。下午去三里屯逛街,然后用高德看一下過去需要多長時間,幫我規(guī)劃整個行程的時間安排,我住回龍觀,他住望京,我們幾點(diǎn)出門合適該怎么走。這個任務(wù)非常復(fù)雜,Agent 需要跨兩個 APP 進(jìn)行多次點(diǎn)擊和搜索操作,沒想到 AutoGLM 執(zhí)行的很好。
首先他需要打開大眾點(diǎn)評,然后切換城市到北京-搜索798 藝術(shù)區(qū)-篩選人均消費(fèi)價格,挨個點(diǎn)擊搜索結(jié)果記錄信息。
只是在這一個APP 上就需要起碼點(diǎn) 20 次。
![]()
然后他需要打開高德地圖,找到灰的幾乎看不到的開屏廣告跳過按鈕,開始分別查詢望京到 798 和回龍觀到 798 的路線和時間,最后還得查詢 798 到三里屯的時間。
在高德的操作看起來會比在大眾點(diǎn)評的更加復(fù)雜,首先是點(diǎn)擊次數(shù)更多,然后就是高德的界面內(nèi)容真的又多又雜非常考驗(yàn)?zāi)P偷亩嗄B(tài)內(nèi)容識別能力。
![]()
再經(jīng)過幾十次的點(diǎn)擊和七八次的文本輸入后 AutoGLM 非常快速而且準(zhǔn)確的完成了任務(wù),給出了餐廳的選擇以及不同時間段和地點(diǎn)的通勤時間。
這里有個給智譜的小建議,GLM 的回復(fù)有點(diǎn)雜了,感覺他需要更加細(xì)致的整理信息,比如先把最為確定的餐廳信息和通勤時間告訴我,然后再說他推測的出行安排,事實(shí)和推理分開這樣比較好。
![]()
男生日常購買一些必需品和商品的時候跟女生差別比較大,又需要比價,不然虧,但是又懶得去購物軟件上不斷的挑選和對比,這個時候就可以讓 AutoGLM 出馬了。
我直接讓他執(zhí)行了一個我日常購買電子設(shè)備的常見流程,搜索京東和拼多多關(guān)于大疆無人機(jī)的價格信息然后匯總。
幫我分別在京東、拼多多上搜索‘大疆 Mini 4 Pro 無人機(jī)’,找出價格最低的平臺,并看看有沒有能用的優(yōu)惠券或紅包,最后把最低價的商品鏈接和優(yōu)惠信息總結(jié)給我。智譜 Auto GLM 智能體手機(jī)的使用過程科幻感非常強(qiáng),你只需要語音輸入或者打字之后,他就會直接啟動云端的手機(jī)開始執(zhí)行任務(wù)。
首次啟動會讓你登錄賬號,后面就不需要了,然后你就看著他非常快的輸入內(nèi)容-查看搜索結(jié)果-分析詳情頁內(nèi)容并且匯總,而且可以跨多個應(yīng)用執(zhí)行任務(wù)。
![]()
它默認(rèn)會讀取平臺的前三個或者 5 個搜索結(jié)果,如果你覺得少的話可以在提示詞要求他讀取更多信息。
對于無人機(jī)這種標(biāo)品來說三個結(jié)果已經(jīng)足夠了,我們一般都是對比京東官方店和拼多多百億補(bǔ)貼的價格。
AutoGLM 給出了詳細(xì)的結(jié)果京東的優(yōu)惠和拼多多的價格都有,還有大致的評價,基本已經(jīng)支持我進(jìn)行購買決策了,如果我買的話可能就去拼多多買 4219 的那個了。
![]()
內(nèi)容運(yùn)營上他也能幫忙,首先是信息檢索和整理,我可以要求他去國內(nèi)特色的只有手機(jī)上才能訪問的內(nèi)容平臺檢索內(nèi)容后總結(jié),幫我發(fā)布內(nèi)容。
也可以讓他幫我分析賬號數(shù)據(jù)輔助運(yùn)營,訪問和查看你的賬戶數(shù)據(jù),然后進(jìn)行分析和總結(jié)。
我想發(fā)一條關(guān)于‘周末北京City Walk’的小紅書。請先在小紅書和抖音搜索最近熱門的路線和打卡點(diǎn),然后幫我寫一篇500字左右、風(fēng)格活潑的文案,最后推薦10個熱門標(biāo)簽。相較于其他有瀏覽器操作能力的 Agent AutoGLM 的搜索更加直觀和細(xì)致,手機(jī)上的操作要比網(wǎng)頁版更加順暢能看到的內(nèi)容更多。
可以看到 GLM 4.5的內(nèi)容整理和總結(jié)能力也很強(qiáng),他不止給出了檢索的內(nèi)容,而且還進(jìn)行了二次加工,將多條內(nèi)容整合成了一條,而且跟你說了不同的互動表現(xiàn),讓你發(fā)內(nèi)容的時候有側(cè)重點(diǎn)。
![]()
除了我們正常人這種需要跨多個 APP 進(jìn)行信息整理和決策的任務(wù)以外,我還有一個場景就是幫爸媽設(shè)置手機(jī)。
隨著 大型 APP 越做越復(fù)雜加上無處不在的貸款和廣告,讓老人和殘障人士使用手機(jī)越來越艱難,他們根本無法理解手機(jī)的交互邏輯,比如哪里是展示的哪里可以點(diǎn)擊,AutoGLM 可以完美解決這個問題。
比如,我媽想看某個劇集的話,光是找到這個劇,然后點(diǎn)到對應(yīng)的集數(shù)都要越過很多的障礙,有了 AutoGLM 我們完全可以直接把這些加到收藏或者已經(jīng)觀看那里讓他繼續(xù)看就行。
我媽媽想看電視劇,幫我在騰訊視頻里找一個現(xiàn)在熱門的現(xiàn)實(shí)題材電視劇,不要執(zhí)行搜索,直接點(diǎn)界面篩選找,并從第一集開始播放。然后幫我把這部劇添加到收藏夾里。 ![]()
AutoGLM 在檢索信息的時候有非常強(qiáng)的搜索沖動,所以在需要動用篩選功能的模糊任務(wù)需要跟他強(qiáng)調(diào)用篩選工具而非搜索,不然他可能會直接搜熱門現(xiàn)實(shí)題材電視劇,這種搜索詞夠嗆能搜到符合要求的內(nèi)容。
在我跟他強(qiáng)調(diào)了使用搜索之后,AutoGLM 就是開始通過搜索來完成信息檢索的任務(wù)了,最后挑了長安的荔枝加入了收藏。
其實(shí)智譜這次將通用 Agent 拓展到手機(jī)是一個非常明智的決定,尤其是對國內(nèi)的互聯(lián)網(wǎng)環(huán)境來說,而且能解決我們現(xiàn)在互聯(lián)網(wǎng)經(jīng)濟(jì)增長最大的阻力。
以往很多公司由于參考海外產(chǎn)品的慣性忽略了國內(nèi)的特殊情況。
不是所有人都是坐辦公室的,相當(dāng)多的普通人其實(shí)不太接觸電腦,另外國內(nèi)相當(dāng)多必須的操作需要在手機(jī) APP 上完成,海外產(chǎn)品可以做網(wǎng)頁點(diǎn)餐這種我們就肯定無法完成,必須在手機(jī)上操作。
![]()
他們通過手機(jī)虛擬機(jī)這個操作避免了Agent 跟用戶搶奪手機(jī)權(quán)限的問題,說到權(quán)限虛擬機(jī)也解決了 Agent 拿不到手機(jī)控制權(quán)的問題,虛擬機(jī)可以自由控制權(quán)限。
中國互聯(lián)網(wǎng)可能 80% 的流量和時間消耗都發(fā)生在移動設(shè)備上,Agent 驅(qū)動云手機(jī)這個操作直接解決了每個人只有 24 小時消費(fèi)內(nèi)容的問題,直接將內(nèi)容和 APP 消費(fèi)時間拓展了無數(shù)倍。
![]()
目前的互聯(lián)網(wǎng)基本就是注意力經(jīng)濟(jì)驅(qū)動的,你的注意力會被算法廣告系統(tǒng)明碼標(biāo)價讓廣告主進(jìn)行競價支付,每個人的注意力是有限的,所以增長就是有限的。
AutoGLM 直接開辟了一個新的注意力增長通道,而且這個通道看起來增長是無限的。
我之所以說這個主要是因?yàn)樵跍y試的時候,AutoGLM 做正常人的操作是沒啥問題的,但是由于國內(nèi)幾大巨頭的反爬機(jī)制非常強(qiáng)大,AutoGLM 最需要克服的反而是各種無限彈出的驗(yàn)證碼和強(qiáng)制下線等操作。
手機(jī) Agent 化目前來看從模型能力和用戶需求上都是不可避免的發(fā)展方向,模型能力現(xiàn)在完全可以勝任了,剩下就是生態(tài)建設(shè)了。
希望國內(nèi)的 AI 公司和幾個互聯(lián)網(wǎng)巨頭早日磨合出一個安全又穩(wěn)定的手機(jī) Agent 運(yùn)行環(huán)境,畢竟不只是人可以創(chuàng)造價值,Agent 也可以,而且 Agent 的時間是無限的。
推薦大家試試 AutoGLM,體驗(yàn)一下手機(jī)的“自動駕駛”和智譜送你的“車”。
我是歸藏,如果覺得今天的內(nèi)容對你有用,并且插圖很可愛的話歡迎給我個三連,謝謝各位
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.