為什么許多 AI 產品在內測時表現良好,一旦交付客戶后就會 “翻車” ?
![]()
整理|保文;編輯|燕子
在「DeepTalk」第三個系列話題欄目「AI 落地實戰」對話中,崔牛會創始人 & CEO 崔強,與北森聯合創始人 & CEO 紀偉國,圍繞 “AI 產品上線第一仗:從內測到客戶交付的那些坑” 這一主題展開了深度對話。
紀偉國認為:第一,AI 產品在從 0 到 1 階段,最大的挑戰是難以有效匹配客戶業務場景,因此 AI 產品經理應當在一線圍繞客戶業務場景做產品,并根據客戶需求快速迭代;
第二,AI 產品成功的關鍵是以客戶為中心理解客戶業務,以及將行業 Know-how 融入產品;
第三,AI Agent 最終會走向客戶的自定義,未來客戶化工作將可能較重;
第四,在 AI 產品的打磨中,耐心非常重要,要確保產品成熟后再進行規模化銷售。
以下是經牛透社編輯整理的對話內容:(有刪減)
AI 上線第一仗
崔強:現在大家看到 AI 在 ToB 領域比較熱,但接下來可能會較快進入一個理性的狀態,其中一個常見問題是:大家沒有找對場景,所以交付后才會出現各種問題。
北森的 AI 產品,已經有相對規模化的收入了。北森在 AI 實踐中,包括前段時間發布的 AI Learning,在產品的交付過程中,經歷了哪些關鍵挑戰,有哪些經驗?
紀偉國:2023 年下半年,北森做過很多 AI 產品,卻收不上錢來。因此,我們在 2024 年,做了以下幾個假設和轉變:
第一,必須做能收費的 AI 產品;
第二,能收費的 AI 產品,應該是一個端到端的場景,能把客戶某個問題端到端地解決掉才行。
所以,當時我們在戰略上選擇了7 個 Agent:AI 招聘助手、 AI 面試官、AI 員工助手、AI 做課、AI 陪練、AI 領導力教練、AI 測評。
在這個過程中,我們也對北森的IPD 研發流程做了微調。
這么做的主要原因,是AI 產品的復雜性遠低于軟件產品,研發成本也低很多,而且面向的都是非常具象化的場景。所以,首先我們把研發分成幾段,并且要求快速迭代,將迭代周期縮短為兩到三周。
第二,產品經理到一線圍繞客戶做產品,把交付分為 “從 0 到 1” 和 “從 1 到 N” 兩個階段。一旦產品內測成功,就進入 “從 0 到 1” 的可用性驗證階段。這個階段都是產品經理自己銷售和交付,緊貼客戶業務場景落地,可以讓產品經理看到產品在客戶側的真實應用反饋,要確保 “1” 的實現:即產品在客戶那里能用起來,并且可以通過評審,進入 “從 1 到 N” 的階段。
在 “從 1 到 N” 階段,前線人員可以基于客戶畫像篩選匹配的客戶進行銷售,做一定的交付支撐,確保早期客戶的應用效果和應用粘性;
大概到了 50家~100家 客戶,確認了市場空間、競品價格、目標客戶、目標場景、交付和營銷方式等方面,才會進入規模化銷售階段。
在 “從 0 到 1” 階段,最大的一個挑戰是AI 產品做出來之后,到客戶那里仍然會出現很多未知的場景,客戶在應用時會發現產品和業務場景匹配不上,產品就會 “翻車”。
而且產品在交付給客戶后,還需要快速迭代。北森的 AI 面試官,做到了兩周一次迭代。
要應對以上挑戰,關鍵是產品經理要上前線,圍繞客戶業務場景做產品,并根據客戶的需求和反饋快速迭代產品。
崔強:怎樣判斷客戶愿意為一個 AI 應用場景付費?
紀偉國:在產品的設計和定位上,它應該是一個獨立收費的 AI 產品,解決了某個獨立的、高價值業務場景(如 AI 面試官)問題,而不是一個原來產品功能的延伸或疊加。
因為疊加在原有產品里的功能點、價值點通常都比較小,很難讓客戶愿意單獨付費。
崔強:在 AI 產品內測過程中,一般會遇到哪些問題?
紀偉國:還是以 AI 面試官為例。北森是從校招場景開始的,但切入之后發現,只有做了才能知道客戶的業務場景,而且這些業務場景大都和大模型的關聯不多,例如:客戶要測紋身,色盲,客戶會測試對比等等。
北森的 AI 面試官,大概 50% 的研發都和大模型沒有太大關系,更多的是圍繞客戶業務場景,為了解決業務問題而填補客戶需求上的空缺。
崔強:這里面其實技術門檻并沒有那么高,真正的門檻是從客戶的業務場景中理解客戶需求。
紀偉國:是的。
第一,理解客戶的業務場景是很難的,每個客戶都有很多需求,只有客戶夠多,才能知道哪些是共性需求。所以,第一大挑戰,是以客戶為中心理解客戶業務;
第二,無論什么產品,都要融入行業 Know-how ,對行業 Know-how 的理解是產品成功的另一個關鍵。在這個過程中,代碼技術和大模型反而顯得不太關鍵。
以 AI 面試為例,把 AI 訓練得 "懂面試" 這件事的前提是在當下 AI 大模型的通用能力基礎上,訓練 AI 的人本身就是面試專家,這點很重要。
北森上百名測評顧問都轉型做提示詞工程師的背后,就是在把不同崗位的能力模型要求是什么、怎么在不同考察維度上讓 AI 問出高質量的問題,并基于行為面試法讓 AI 實時三層智能追問,并且結合結果-過程和動機科學評分,經過過程中上百次訓練過程調整,才得到一個經驗豐富、達到專業面試官水平的 AI 面試官。
崔強:前幾天和白鴉(有贊創始人)聊,他覺得行業 Know- how 重要,但更重要的是行業 Know- how 可以被數字化,可以被大模型學習或者理解。你怎么看這個問題?
紀偉國:人力資源的終極目標,首先,是明確崗位對人的要求;第二,是怎么評估人的能力;第三,是如何發展人的能力。
所以,人力資源是一個偏人文或者平衡性的領域,并不是非常容易量化的,它更依賴于多年的經驗積累,而且這種經驗往往是儲存于專家頭腦中的,以往我們是拿不出來的。
現在,可以將這些經驗輸入大模型,變成可固化的產品,這和白鴉講的有些類似:它不是一個比較固化的知識,而是一個行業 Know- how,是一個動態、可理解的東西。
崔強:在 AI 功能里,是不是也有一個可以跑起來的最小版本?這個最小版本怎樣才算合格,是可以交付給客戶上線使用的?
紀偉國:我不太理解這個最小版本的定義,我理解的是最小場景。
首先,一定要解決一個端到端的具體場景。AI 面試官首先做的是校招場景,去年 11 月份我們才開始做藍領招聘場景。我認為一定要把一個場景做扎實,端到端地把一個業務鏈條解決掉,才能進入另外一個場景,否則就沒有意義。
整個校招場景中,有沒有一個最小版本?
我認為是沒有的,因為我們是要把客戶的整個問題解決掉的。比如,客戶會要求你把校園招聘的第一輪面試全部取代掉,如果取代不了,客戶是不會買單的。
所以,我理解沒有所謂的最小版本,只能是選一個場景做深做透,再去做下一個。
崔強:在客戶交付過程中,你們內部首先要達到什么樣的預期之后,產品才能上線接受客戶的 “檢閱”,這里有沒有一定的原則?
紀偉國:原型產品出來以后,我們立刻會讓先鋒客戶使用,這個過程中一定會有客戶對產品的反饋,如果發現客戶的反饋你根本解決不了,這時就需要果斷放棄,比如我們的 AI 測評產品就是這樣。
從這個角度看,我們是不太管理客戶預期的。而且 AI 類產品,客戶肯定是會去體驗的。如果不達預期,他們也不會再用。
這里有兩種情況:第一,如果大模型技術很難達到客戶預期,需要立刻停止,不要再投入了;第二,如果要投入巨大的成本才能達成客戶預期,可以先放一放,先做容易做的。
崔強:客戶對不確定的東西永遠會焦慮。在實踐中,客戶對于大模型幻覺、泛化的忍受程度是怎樣的?
紀偉國:讓大模型做一些精確性的東西確實比較難,所以,這類場景我們就不做了。這個過程中,關鍵還是要利用大模型比較擅長的自然語言能力。
所以,我們選擇場景,首先要考慮如何利用大模型的優勢,來解決人力資源場景中的問題。
回到業務場景
崔強:你怎么看大模型技術的發展對目前企業軟件行業的影響?
紀偉國:我做大模型至今快一年半了,前 6 個月并沒有太多感覺,但 6 個月以后的每個季度,都在刷新我對這件事情的認知。
我發現大模型有很多地方,比如今年我們推出的 AI 學習助手,的確是可以發揮巨大價值的。同時,我也看到一些前端營銷類的 AI Agent,有很多是偏 C 端的,它們做得非常好,并且在拓展海外市場。
作為管理軟件,我們去年推出了 7 個 Agent,有一個失敗了。今年我們又推出 4 個,加在一起共 10 個,未來我們還會推出新的 Agent。
最初我并沒想到人力資源領域會需要這么多的 Agent,雖然我們已經非常克制,但我覺得可以做的東西還有很多。
隨著 AI 技術的發展,也可能產生很多新的東西來。所以,現在我是抱著非常開放的心態擁抱 AI 技術,接受它對業務的顛覆。
既然技術變了,我們跟著去變就對了。
崔強:客戶需要的并不是炫技,而是要解決問題。目前,我們會看到一些 AI 過于追求炫技的感覺,對此你有什么看法?
紀偉國:以客服場景為例。去年我們試了大半年,想用 AI 客服來解決北森人力資源軟件的客服問題,但這很難,主要是因為我們的產品過于復雜。
舉個例子,如果你問 “我的工資為啥少了 5 塊”,AI 肯定是回答不了的。但是我們也看到很多銀行、航空公司都在大量地使用 AI 客服。
雖然用戶的體驗并不好,但為什么還要用它呢?
這說明對于這類客戶而言,它的價值依然很大,可以有效解決客服成本的問題。所以,從商業上看,它就很成功。
未來幾年,AI 還可以變得越來越好。
崔強:北森的 AI 產品在上線時,會給客戶做大量的按需提示詞優化工作嗎?
紀偉國:最初,我認為 AI Agent 應該是標品,但今天看來,它最終會走向客戶的自定義。
以 AI 面試官為例,客戶要招聘什么崗位,自己是最清楚的,客戶需要把自己的面試題目、評價標準等資料放進 AI 產品。最終很可能發展成客戶把自己的東西放進產品,產品走向自定義。
所以,將來客戶化可能是一個比較重的工作,北森現在也做了很多的客戶化。
崔強:僅僅為客戶提供工具是不夠的,還要能被客戶 “自定義” 成自己的產品。這意味著產品要有客戶的行業屬性,行業 Know-how 以及適應相關的業務流程等。
但這樣一來,實施成本會不會變得很高?
紀偉國:我們為客戶提供兩類實施服務:一類是輕量級的,主要包括簡單的培訓以及崗位交流,幫客戶完成配置;另一類是深度定制。這兩類實施服務的成本,要比軟件的實施服務低很多。
北森有兩類實施顧問:一類是軟件的實施顧問;另外一類是能力評估和發展技術(People Science)方向的實施顧問,與之對應的是偏心理學方面的學者或者人力資源專家。在北森寫提示詞的正是這類的專家,它非常依賴于專家們的知識萃取能力。
當然,傳統管理軟件廠商做不了這個事情,因為它已經脫離軟件范疇了。北森是做人力資源測評出身的,我們有自己人力資源方面的專業技術和 Know-how,具備這樣的專業能力,也是我們一個非常大的差異化。
崔強:雖然它還是工具,但背后所需人的能力在發生變化,不是軟件工程師和軟件實施服務商可以解決的問題了。
紀偉國:是的,問題往往不在軟件技術上。
舉一個場景,比如 AI 陪練產品,要讓對話做到非常貼合業務。有的客戶讓 IT 工程師和銷售結對子,來寫提示詞,做自己公司的 AI 陪練產品,發現效果不好,為什么?
因為這里首先要回答什么是銷售能力?是溝通能力、談判能力、人際能力,還是其它什么能力?這個能力如何訓練、發展?
軟件工程師和銷售兩個人搞不定這個事情,這些都需要專業背景的專家來做。一般的人力資源部門是沒有這樣的專家的,需要專業公司來做。
崔強:軟件企業做 AI,是不是在已有系統的基礎上修修補補?
紀偉國:北森并不是完全只從軟件角度考慮,而是從大模型能力和人力資源的業務角度出發,去思考自己能做什么。
我們做的 AI 陪練、 AI 面試官,是可以脫離我們的軟件獨立運行的。但是 AI 面試助手、AI 簡歷篩選,又和軟件連在一起。
所以,建議大家不要總想著軟件,而是要回到客戶業務的角度,回到大模型能力的角度,把這兩方面結合起來考慮。
崔強:做 AI 產品是不是要配套使用顧問?剛才你提到要做一些培訓工作,這個培訓工作會做到什么程度?有一定的標準嗎?
紀偉國:我們有兩類,第一類是實施顧問,第二類是客戶成功經理,類似于你提到的使用顧問。
實施顧問,項目啟動時會與客戶做一個簡單的訪談,將系統內相關的能力配置好,讓客戶可以使用起來。如果客戶需要做客戶化,我們還會做更重的服務,收部分實施費。
在上線后,由客戶成功經理接手,客戶方可能換人或者出現一些新的業務需求,客戶成功經理可以及時響應、培訓客戶。
AI 陪練、AI 領導力教練會有簡單的產品培訓,很容易上手。
崔強:怎么發現適合 AI 應用的場景,如何界定一個場景是否適應 AI 化?有具體的評定指標嗎?
紀偉國:沒有。
AI 面試官在美國也非常受歡迎,所以選擇 AI 面試官這個方向也是比較清晰的。
AI 陪練是一個傳統場景,大模型來了之后,我們將它重做了一遍。
AI 領導力教練這個場景,北森之前做過兩代類似產品(和 AI 無關),都失敗了,我們對客戶的業務場景是有一定的認知深度的,所以用 AI 做這些場景就會比較快。
崔強:賣 SaaS 與 賣 AI 產品的區別是什么?賣 AI 產品,銷售要如何轉型?
紀偉國:銷售轉型是要花一定時間的。首先,銷售理解 AI 產品,知道如何與客戶溝通,需要一定的時間周期,這個過程也需要有人帶他們去做。
此外,整理業務場景、銷售培訓、成功案例積累、賣點梳理和話術設計,如何試測等,這些全都要標準化下來,最后才是銷售規模化階段,以上是需要一個過程的。
賣 SaaS 與 賣 AI 產品的區別,在于軟件產品更復雜,客戶無法試測,只能通過 POC 來驗證。此外,還有復雜的競標過程。
但 AI 產品的銷售鏈條很短,一般客戶試測完了就能決策。
以往客戶買軟件需要 IT 部門參與,但買 Agent 的話,客戶可能并不認為是在買軟件,所以很多情況下,可能就不需要經過 IT 部門了。
AI 轉型路徑
崔強:傳統 SaaS 公司轉型 AI 公司,有哪些具體路徑?
紀偉國:這個是有路徑的。現在 SaaS 公司不做 AI 已經不行了。
最近我談了好幾個超大金額的單子,客戶公司都有這樣的規定:如果產品不是 AI 相關的,就不允許購買了,這是一個客戶需求端一個非常大的變化。
對于 SaaS 公司來說,首先,公司中要有人能夠真正理解大模型可以做什么,它的能力優勢和短板,以及 RAG 、向量等相關知識。
其次,要理解公司所處的業務,理解整個業務鏈。這里要做的是把軟件忘掉,要洞察業務鏈條中哪些是客戶比較痛的地方?在這些痛點中,哪些比較適合用大模型解決,成本比較低,客戶有付費意愿,而且是一個端到端的場景,找到這樣的機會點:
第一步,要做出原型產品,并且立刻找到客戶使用,客戶反饋將刷新你的認知,指導你快速迭代產品。圍繞客戶做到一定程度,當 8家~10家 客戶已經用起來,就過了產品可用性階段。
第二步,開始收取客戶一定費用(不要太高),繼續投入研發,快速跟隨客戶迭代。直到你判斷產品已經領先競爭對手,客戶愿意支付費用,同時也搞清楚了如何快速交付,這就過了商業化驗證階段。
然后開始進入第三步:規模化銷售階段,讓銷售團隊快速推進。
做完以上三個階段,AI 產品可以與軟件協同銷售,軟件的差異化也隨之出來了。
崔強:AI 產品如何定價,北森現在的定價邏輯是怎樣的?
紀偉國:最近大家總是在提按結果付費,我也認真研究了 Salesforce 、ServiceNow、Workday 的案例,它們主要是按照席位,或者按照對話量收取訂閱費。
比如一個客服 Agent,可以省掉一個客服人員,該客服人員的工資是 10 萬美金,以此收取 20% 的費用就是 2 萬美金。這 2 萬美金要如何定價?
可能是一個席位賣 2 萬美金,或者一個客戶一天回 50 個對話,一個對話收費 2 美金,等等。
北森的 AI 面試官是按面試的人數收費。AI 陪練、AI 領導力教練、AI 學習助理是按席位收取訂閱費,這也是北森目前主要的收費模式。
崔強:從內測到真正交付的過程中,你遇到比較大的挑戰是什么,有沒有這樣的案例?
紀偉國:AI 產品交付過程和軟件有很大的不同,挑戰也不一樣,AI 產品交付對交付人員對于專業技能的要求和對于AI 大模型技術的理解深度都有要求。
一開始我們讓軟件交付的同學去做交付 AI 面試官和 AI 領導力教練,發現客戶不滿意,交付不了。后來用測評的同學去交付,就會很成功!
AI 產品的設計到交付,都需要足夠的業務專業性和對 AI 的理解,否則產品的效果會打折扣!
崔強:在從內測到客戶上線交付的過程中,還有哪些最容易犯的錯誤,可以供正在進行 AI 轉型,或者一些 AI 創業公司所參考的?
紀偉國:第一個典型錯誤,是做出一個 AI Agent 出來,就認為客戶會買了,但實際上做出的這個產品能覆蓋 50% 的客戶業務場景就不錯了。
因為和客戶磨產品需要很長時間,我們每個 Agent 從做出來,到過了可用性驗證階段,基本上都需要 6 個月以上的時間。所以:
第一,是要有耐心;
第二,不要把 AI 理解成一個技術創新或者變革,而是應當理解成一個解決某個業務問題的應用。不要把 AI 看得那么神秘,它的研發門檻不高,但是理解業務,做一個能夠解決客戶業務問題的應用其實挺難的;
第三,產品一定要確保比較成熟時再交給銷售,否則很容易就會亂套。我們的 AI 產品到銷售、交付環節的節奏都很慢。比如:產品從 0 到 1 做出來需要 3 個月,過可用性驗證還需要 6 個月,到規模化銷售,可能再需要 6 個月。所以,耐心非常重要。
崔強:未來在不同崗位、不同角色可能會出現許多 Agent,是否按結果付費還無法確定,這一定是需要一個過程的。
雖然,為結果付費可能是未來的一個目標,但現在如果大家都一刀切地追求按結果付費,就可能是一種偏執了。
至少現在絕大多數 SaaS 或者企業軟件是不能切換到按結果付費邏輯來的,未來也許有 1% 的企業可能做到,讓我們拭目以待。
在這個過程中也希望能看到更多成功的 AI Agent 在我們身邊綻放,改變我們的生活,幫助客戶解決問題,謝謝大家。
紀偉國:謝謝大家,謝謝崔牛會。
說明:文章為牛透社原創,未經允許謝絕轉載。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.