這是蒼何的第 451 篇原創!
大家好,我是蒼何。
不知道大家有沒有這種經歷:
腦子里明明有個畫面,或者一句歌詞,但就是死活想不起來名字。
比如,我前兩天想搜個電影,腦子里只有個畫面:“一個男的在雨里吃漢堡,旁邊還有條狗”。
我去搜“雨里吃漢堡”,以前出來的全是某快餐店廣告,或者天氣預報。
![]()
那種話到嘴邊卻搜不出來的感覺,真的太憋屈了。
但最近,我發現搜索好像變神了。
不管是搜那種很虛的形容詞,還是很具體的某個極其冷門的直播場景,它好像能讀心一樣,啪一下就給你呈上來了。
那一瞬間,我真的感覺屏幕對面是不是坐了個懂我的活人。
![]()
理智告訴我,這背后,一定是技術的迭代。
沒錯,這依然是我們熟悉的 AI 大模型在搞事情。
最近快手技術團隊搞了個大動作,發了兩篇硬核論文,公開了他們的新一代工業級搜索技術。
![]()
![]()
論文地址我放評論區了,感興趣的可以下載讀一讀。
名字聽起來挺高大上的:UniDex(統一語義倒排) 和 UniSearch(統一生成式搜索)。
這倆名字看著是不是挺勸退?
什么“倒排索引”、“語義建模”、“生成式”……
這些詞堆在一起,就像是把英文字母表重新排列組合了一遍,每個字都認識,連在一起就想關網頁。
![]()
但不瞞你說,我硬著頭皮啃完這 2 篇名為《UniDex: Rethinking Search Inverted Indexing with Unified Semantic Modeling》和《UniSearch: Rethinking Search System with a Unified Generative Architecture》的論文,居然被燃到了。
因為這不僅僅是技術升級,這簡直是把搜索系統的地基給扒了重蓋。
今天這篇文章,就是想帶你用最通俗易懂的方式,扒開這層技術外衣。
看看為什么現在的搜索能比你肚子里的蛔蟲還靈,以及快手這波操作到底牛在哪。
第一招:UniDex,給視頻發“身份證”
![]()
先說這個 UniDex。它的核心任務是:找得準、找得快。
在它出現之前,搜索引擎用了幾十年的核心機制叫倒排索引(Inverted Indexing)
這玩意兒是個啥呢?
舉個例子,你去了一個巨大的老式圖書館。
以前的管理員(老算法)特別死板,他手里只有一張寫著書名關鍵詞的卡片。
你想找一本關于“很多水的地方”的書,但他手里只有寫著“海”、“河”、“湖”的卡片。
你搜“大海”,他能找到;但如果你搜“很多水的地方”,他可能就懵圈了。
![]()
因為書名里沒這幾個字,這就叫表面上的詞匯重疊限制了能力。
這就導致了兩個問題:
笨: 不懂意思,只認字面。
重: 為了能搜到更多詞,得設計一大堆同義詞擴展、停用詞處理等人工規則,維護起來累死人。
而 UniDex,就像是換了一個過目不忘的天才管理員。
他不再死記硬背書名里的字了,他用了一種叫語義建模的方法。
簡單說,就是給每一本書(視頻)都發了一個“語義身份證”(Semantic ID,簡稱SID)。
這個身份證里記的不是字,而是意思。
論文里舉了個特別形象的例子:“Apple” 。
這個詞,可能是水果,可能是蘋果公司,甚至可能是一個唱片公司的名字 。
如果一個視頻里提到了 Google、Microsoft 和 Apple,雖然沒提“科技公司”這幾個字,但 UniDex 一眼就能看出它的語義身份證屬于“科技”這一類。也就是會把 Apple 認為是蘋果公司。
當你搜相關概念時,雖然字不一樣,但“身份證”是對得上的,它就能給你找出來。
這背后的技術原理叫“Model-based 倒排索引” 。
快手直接把地基換了!用模型生成的“語義ID”徹底取代了傳統的“關鍵詞”。
為了做到這一點,他們提出了一種名為“UniTouch”的技術,把查詢詞和視頻都變成了離散的ID。
![]()
而且,他們用了一種很聰明的匹配策略叫“Max-Max”
![]()
啥意思呢?
就是一個視頻,只要有一個語義側面跟你的搜索意圖對上了,就能被撈出來。
這就像那個天才管理員,只要聽到你描述的任何一個特征(比如“雨里吃漢堡”),他就能瞬間反應過來:“哦!你是要找那個!”
這帶來的好處是驚人的。
官方數據顯示,UniDex 讓倒排系統的響應速度提升了 25% ,而且它還帶來了倒排召回視頻在精排透出占比提升25%+的增益,這意味著它能比傳統倒排多挖掘出四分之一的「漏網之魚」,讓那些原本因為沒有關鍵詞匹配而被遺漏的優質內容重見天日。
![]()
同時,因為它不再需要存那一大堆亂七八糟的關鍵詞索引,大幅降低了系統存儲和計算資源。
這就像原本那個老管理員要戴著老花鏡翻半天卡片,現在這個天才管理員掃一眼就給你把書遞過來了,而且他還不用占那么大工位。
更絕的是,正如論文中這張對比圖所示,它在處理那些平時很難搜準的「長尾」冷門內容時簡直是降維打擊,直接把結果的稀缺率(RRS)打下來了,讓點擊率(CTR)蹭蹭往上漲,這效果比優化熱門搜索還要顯著得多。
![]()
第二招:UniSearch,像主廚一樣“現做”
再說第二招:UniSearch。
這一招主要用在直播搜索里。
直播搜索有個大難題:它變得太快了。
你在那一秒搜的時候,主播可能剛開始唱歌,下一秒他可能就開始帶貨了。
![]()
傳統的搜索是“拼接”出來的——先召回一堆,再粗排,再精排。
這就像做菜。
老算法是:A負責買菜,B負責切菜,C負責炒菜。
結果A買回來的是魚,B按牛肉的方法切了,C按炒青菜的方法炒了。
大家各干各的,最后端出來的菜(搜索結果),味道總差點意思。
而 UniSearch,搞了個真端到端。
![]()
它就像是一個全能主廚,從買菜到上桌,一個人(一個模型)全包了。
它把“視頻編碼”和“搜索生成”放在一個框架里訓練。
![]()
當你輸入搜索詞,UniSearch 不是去倉庫里翻找,而是直接生成出它認為最適合你的那個直播間的語義ID,緊接著通過動態Trie樹索引找到對應直播間。
![]()
這就更神了。
為了讓這個主廚更懂食客口味,快手還引入了強化學習。
![]()
簡單說,就是根據用戶的真實反饋(看了多久、有沒有進直播間),實時調整主廚的手藝。
效果也是立竿見影:近 2 年最大直播間進間數收益(+3.31%),標志了直播搜索質量的有效提升。
![]()
他們也對進間次數進行了下探,發現 58.73% 的提升來自新用戶,占總增量一半以上。這表明 UniSearch 返回的結果對不熟悉平臺的新用戶具有更強的吸引力,具有潛在的拉新能力。
這也意味著,AI 真的幫用戶發現了他們當下最想看的那個直播間。
這意味著什么?
這一套組合拳打下來,我最大的感受是:
工業級搜索,正在經歷一場去文字化的革命。
以前我們認為搜索就是“字”對“字”的匹配。
但快手這套 UniDex & UniSearch 告訴我們,搜索的本質是“意圖”對“內容”的共鳴。
而且,越是那種長尾的、冷門的、以前很難搜出來的東西,UniDex和 UniSearch 的提升效果越明顯。
數據顯示,對于那些極少被搜到的“長尾查詢”,UniDex 的相關性結果稀缺率大幅下降,點擊率顯著提升。
也就是說,不管你搜的東西多偏門,它都能懂你。
對于我們普通用戶來說:
那種“搜了個寂寞”的時刻會越來越少。
你不用再費勁心思去想“關鍵詞”了,你只需要表達你的想法。
哪怕是很抽象的描述,算法也能通過語義ID精準定位到你想要的內容。
對于行業來說:
這是一次教科書級別的降本增效示范。
大家都在喊 AI 落地,但很多時候 AI 是錦上添花甚至畫蛇添足,增加了成本卻沒帶來多少收益。
但快手證明了,把底層的地基用 AI 重構,不僅能讓系統跑得快 25%(降本),還能實打實地帶來業務增長(增效)。
這才是真正的工業級——不是PPT上的炫技,而是真金白銀的效率提升。
我發現很多人總覺得 AI 大模型離自己很遠。
但其實,它正在悄悄滲透進我們每一次“下拉刷新”、每一次“點擊搜索”里。
沒有這些算法的進化,在信息爆炸的今天,我們面對的可能不是豐富,而是混亂。
最后,你可以再回頭,看看文章開頭那個讓你云里霧里的技術名詞。
結合我今天的大白話拆解,是不是感覺,好像,也沒那么天書了?
懂了的朋友,評論區扣個1,讓我看看這屆讀者的含金量。
如果還有哪里不明白,我們在評論區繼續聊~
技術雖然高冷,但它的終點,永遠是更好的體驗。
能看到這里的都是真愛粉!
如果覺得這篇解讀對你有啟發,隨手點個贊、在看、轉發三連吧~
如果想第一時間看我拆解最新 AI 技術,也可以給我個星標?
謝謝你耐心看完我的文章~
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.