![]()
哈嘍,大家好,今天小睿這篇評論,來聊一聊2023年三星的泄密事件,想必大家還有印象,員工把半導(dǎo)體設(shè)備參數(shù)、源代碼這些核心機密輸進ChatGPT,直接導(dǎo)致信息流入訓(xùn)練數(shù)據(jù)庫。
去年國內(nèi)某新能源車企也出過類似問題,工程師用云端AI優(yōu)化電池設(shè)計,結(jié)果核心配方數(shù)據(jù)被平臺緩存,差點造成重大損失。
![]()
咱們?nèi)粘S玫腁I應(yīng)用,不管是手機助手還是圖片生成工具,基本都是把數(shù)據(jù)傳到云端處理。你點同意的那個用戶協(xié)議,其實就是授權(quán)平臺拿你的數(shù)據(jù)。
往大了說,政務(wù)數(shù)據(jù)、企業(yè)機密,往小了說,你的聊天記錄、定位信息,只要過了云端就有泄露風(fēng)險。
![]()
現(xiàn)在AI巨頭就那么幾家,要是所有數(shù)據(jù)都往他們服務(wù)器流,等于把全社會的信息都攥在少數(shù)人手里。某省級政務(wù)APP之前想加AI咨詢功能,就是怕社保、房產(chǎn)這些敏感數(shù)據(jù)出問題,硬是擱置了大半年。
普通用戶的隱私更沒保障,有些號稱能“猜你喜歡”的AI,本質(zhì)就是扒你的歷史數(shù)據(jù)。有朋友試過用某云端AI寫病歷總結(jié),結(jié)果后續(xù)收到一堆精準推送的保健品廣告,細想真的后怕。這些問題不是技術(shù)不行,而是云端模式從根上就有隱私漏洞。
![]()
更現(xiàn)實的是硬件限制,國內(nèi)高校和企業(yè)想買英偉達高端顯卡,要么價格翻幾倍,要么拿不到貨。某高校AI實驗室去年采購計劃里,三張高端顯卡拖了半年都沒到位,研究進度直接受影響。
大家都在找國產(chǎn)替代方案,但國產(chǎn)顯卡普遍顯存不夠,24GB顯存想裝個大模型都裝不下。
![]()
南京大學(xué)李猛團隊的研究算是解了燃眉之急,他們搞的AI本地化部署技術(shù),不僅能讓數(shù)據(jù)不碰云端,還能完美適配國產(chǎn)顯卡,
![]()
這個技術(shù)的核心發(fā)現(xiàn)特別關(guān)鍵,他們看出混合專家模型里“低分專家可被替換”,就像考試時難題才找尖子生,簡單題普通學(xué)生就行,不用所有人都占著位置。
基于這個規(guī)律,他們設(shè)計的系統(tǒng)能把顯存利用率提兩倍多,深圳有家做工業(yè)檢測的小企業(yè)試過,之前跑一次缺陷識別要兩張進口顯卡,現(xiàn)在用一張國產(chǎn)顯卡就夠,硬件成本直接砍半。團隊還跟某國產(chǎn)顯卡廠商深度合作,專門針對顯存不足的問題優(yōu)化,現(xiàn)在24GB顯存就能跑原來48GB才能裝的模型。
手機端的突破更直觀,某手機廠商拿這個技術(shù)做測試,在12GB內(nèi)存的機型上部署了混合專家模型。之前想跑同級別模型,得24GB內(nèi)存才夠,而且反應(yīng)慢半拍。測試時用它做離線翻譯、本地文檔總結(jié),速度比原來快30%,還不用聯(lián)網(wǎng)傳數(shù)據(jù)。
![]()
對咱們普通用戶來說,這技術(shù)最實在的好處是省錢。手機廠商本來計劃明年主推24GB內(nèi)存機型,說是為了AI功能,價格至少漲一千。現(xiàn)在有了這個技術(shù),12GB內(nèi)存就能跑高端本地AI,等于不用換手機也能享新技術(shù)。
隱私保護更是實打?qū)崳贾萦袔准裔t(yī)院已經(jīng)在試用這套技術(shù)做影像分析。醫(yī)生把CT片導(dǎo)入本地AI,直接在電腦上出診斷建議,數(shù)據(jù)全程沒離開醫(yī)院內(nèi)網(wǎng)。之前用云端AI,光數(shù)據(jù)脫敏就要花兩小時,現(xiàn)在十分鐘就能搞定,還沒泄露風(fēng)險。
![]()
李猛團隊一開始也走了彎路,最早想直接在手機上部署,發(fā)現(xiàn)內(nèi)存不夠就轉(zhuǎn)攻國產(chǎn)顯卡。他們跟高通研究院交流時受到啟發(fā),把“替換專家”和“多步預(yù)測”結(jié)合起來,才算打通關(guān)鍵環(huán)節(jié)。現(xiàn)在這套技術(shù)在國產(chǎn)顯卡上跑的效果,跟進口顯卡比沒差多少。
![]()
當(dāng)然技術(shù)還有提升空間,但這步突破已經(jīng)很關(guān)鍵,它不光解決了隱私和成本問題,更給國產(chǎn)顯卡打開了新市場。未來咱們用AI,不用再糾結(jié)數(shù)據(jù)安全,不用非得買高價硬件,這才是技術(shù)該有的樣子。
AI的核心是服務(wù)人,不是讓人被技術(shù)綁架。南大團隊的研究證明,把技術(shù)做扎實,兼顧安全和實用,才能讓AI真正普惠起來。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.