清華大學(xué)“天眸芯”問世 讓機(jī)器像人一樣用眼睛觀察世界

來源：高校人工智能與大數(shù)據(jù)創(chuàng)新聯(lián)盟

有一種芯片，能讓機(jī)器模仿人類視覺系統(tǒng)的特征觀察世界——這乍一聽似乎有些科幻，然而，在清華大學(xué)精儀系教授施路平、趙蓉的帶領(lǐng)下，由精儀系博士生楊哲宇、王韜毅、林逸晗等人組成的一支年輕科研團(tuán)隊(duì)，已經(jīng)將這種芯片變成了現(xiàn)實(shí)，它的名字叫做“天眸芯”。

“天眸芯”不僅能讓機(jī)器擁有類似人眼的視覺感知能力，更開創(chuàng)了全新的類腦視覺感知理論和感知芯片技術(shù)，標(biāo)志著中國(guó)在類腦計(jì)算和類腦感知方向取得重要突破。

2024年5月，基于該研究成果的論文“面向開放世界感知、基于原語(yǔ)表示具有互補(bǔ)通路的視覺芯片”登上《自然》（Nature）期刊封面。該成果入選2024年清華大學(xué)最受師生關(guān)注的年度亮點(diǎn)成果。

“天眸芯”的《自然》封面圖。

讓機(jī)器像人一樣用眼睛觀察世界

“天眸芯”的研發(fā)開始于2018年。彼時(shí)，施路平教授團(tuán)隊(duì)主導(dǎo)設(shè)計(jì)的世界首款異構(gòu)融合類腦芯片“天機(jī)芯”取得重要進(jìn)展，它給人工智能提供了一個(gè)算力足夠強(qiáng)大的“大腦”。也是在那時(shí)，施路平前瞻性地提出“感知與計(jì)算并重”的研究發(fā)展路徑——計(jì)算能力提高的同時(shí)，讓人工智能像人類一樣感知世界、處理大量數(shù)據(jù)的能力也不可忽視。

為了實(shí)現(xiàn)該目標(biāo)，團(tuán)隊(duì)將目光首先聚焦到了視覺感知的層次上。視覺感知作為智能無人系統(tǒng)獲取信息的核心途徑，發(fā)揮著至關(guān)重要的作用。但在復(fù)雜多變且不可預(yù)測(cè)的環(huán)境中實(shí)現(xiàn)高效、精確且魯棒的視覺感知，依然是一個(gè)艱巨的挑戰(zhàn)。

在“天眸芯”問世之前，傳統(tǒng)視覺感知芯片由于受到“功耗墻”“帶寬墻”的限制，在應(yīng)對(duì)極端場(chǎng)景時(shí)，往往面臨失真、失效或高延遲的問題，嚴(yán)重影響了系統(tǒng)的穩(wěn)定性和安全性。例如，在夜晚的道路上，如果有車子突然開遠(yuǎn)光高速駛來、隨意變道，裝載傳統(tǒng)視覺芯片的自動(dòng)駕駛系統(tǒng)往往很難捕捉這一類的突發(fā)情況，進(jìn)而導(dǎo)致閃躲不及時(shí)。

主要負(fù)責(zé)硬件系統(tǒng)的王韜毅進(jìn)一步介紹，傳統(tǒng)視覺感知芯片一般使用均勻時(shí)間的采樣，就如同復(fù)印機(jī)一樣，會(huì)對(duì)所有畫面一視同仁地記錄。這帶來的問題是，當(dāng)數(shù)據(jù)量過多、精度要求提高時(shí)，芯片因?yàn)楸仨毘休d過多無用信息而響應(yīng)不及時(shí)，就像“死機(jī)”一樣，無法及時(shí)地“看到”危險(xiǎn)。為了克服這些挑戰(zhàn)，團(tuán)隊(duì)聚焦類腦視覺感知芯片技術(shù)，提出了一種基于視覺原語(yǔ)的互補(bǔ)雙通路類腦視覺感知新范式。

人體具有視桿細(xì)胞與視錐細(xì)胞兩類視覺細(xì)胞，前者具有很高的感光度，即使在弱光環(huán)境下依然能夠快速感應(yīng)，但其空間分辨率和色彩識(shí)別能力較低；后者的感光度較低，卻能提供較高的視覺質(zhì)量。同時(shí)，人體還有兩條視覺通路，其中一條通路側(cè)重于處理顏色、細(xì)節(jié)等高精度的信息，另一條通路則側(cè)重于迅速反應(yīng)，處理突發(fā)危險(xiǎn)。前述兩類細(xì)胞感知到的視覺信號(hào)通過復(fù)雜的神經(jīng)網(wǎng)絡(luò)，分別投射至上述兩條通路并在大腦中整合，實(shí)現(xiàn)感知精度與反應(yīng)速度的協(xié)同優(yōu)化、共同發(fā)揮作用應(yīng)對(duì)不同情況。

楊哲宇用人眼與照相機(jī)等器械捕捉信息的區(qū)別，說明了人類視覺系統(tǒng)的特殊性：一般來說，照相機(jī)在照片拍攝時(shí)，會(huì)將每個(gè)部分平均地進(jìn)行采樣，無法特別關(guān)注到畫面中的危險(xiǎn)；然而，人類的眼睛除了能看到外界豐富的內(nèi)容和顏色外，還有著挑重點(diǎn)的能力，它能自動(dòng)聚焦關(guān)鍵信息，忽略次要細(xì)節(jié)，并且在危險(xiǎn)出現(xiàn)時(shí)瞬間切換注意力。

“天眸芯”以此種視覺機(jī)制為靈感，借鑒人類視覺系統(tǒng)的基本原理，模仿人類視覺系統(tǒng)的特征，將感知到的視覺信號(hào)拆解為光強(qiáng)、時(shí)間變化、空間變化等不同的視覺元素，再有機(jī)組合形成兩條優(yōu)勢(shì)互補(bǔ)、信息完備的視覺感知通路。一條通路提供高清晰、色彩豐富的畫面內(nèi)容，同時(shí)模仿人眼抓重點(diǎn)的能力，讓注意力所在處的內(nèi)容細(xì)節(jié)更加豐富的同時(shí)，比傳統(tǒng)視覺芯片更加“節(jié)能”；另一條通路主要負(fù)責(zé)處理突發(fā)情況，能夠快速聚焦并做出相應(yīng)反應(yīng)，彌補(bǔ)了傳統(tǒng)視覺芯片在應(yīng)對(duì)危機(jī)時(shí)的不足與遲緩。這套系統(tǒng)模仿人腦的信息處理模式，將視覺元素分配到不同的感知通路中，再通過模仿人腦響應(yīng)機(jī)制，對(duì)相關(guān)信息進(jìn)行連接和協(xié)同，最終實(shí)現(xiàn)信息的高效、穩(wěn)定傳輸。

“天眸芯”實(shí)物圖。

這種創(chuàng)新設(shè)計(jì)帶來了突破性的性能提升，不僅讓芯片的帶寬降低了90%，消耗更少，更讓其實(shí)現(xiàn)了每秒可處理高達(dá)10000幀的超高速畫面（遠(yuǎn)超電影的24幀/秒）、10bit高精度、130db高動(dòng)態(tài)范圍的視覺信息采集范圍。換句話說，“天眸芯”不僅看得快、看得清，還特別省電。

面向未來：讓人工智能深入日常生活

基于該芯片，團(tuán)隊(duì)還自主研發(fā)了高性能軟件、算法和類腦數(shù)據(jù)集，并在開放環(huán)境車載平臺(tái)上進(jìn)行了性能驗(yàn)證。團(tuán)隊(duì)利用“天眸芯”自行搭建了一套汽車自動(dòng)駕駛系統(tǒng)，并在北京郊區(qū)進(jìn)行了真實(shí)道路測(cè)試。

自動(dòng)駕駛感知演示平臺(tái)。

回憶起實(shí)驗(yàn)過程，主要負(fù)責(zé)軟件部分工作的林逸晗首先提到了“興奮”的感受：“可能因?yàn)閷?shí)驗(yàn)的未知性吧，大家上路的時(shí)候都很激動(dòng)，當(dāng)然，最后也確實(shí)獲得了很多珍貴的新數(shù)據(jù)。”實(shí)地實(shí)驗(yàn)具有不確定性，然而也正是因此，團(tuán)隊(duì)才能得到“天眸芯”在突發(fā)情況下的真實(shí)表現(xiàn)。

在多種極端場(chǎng)景下，該系統(tǒng)實(shí)現(xiàn)了低延遲、高性能的實(shí)時(shí)感知推理，在智能無人系統(tǒng)領(lǐng)域展現(xiàn)了巨大應(yīng)用潛力。實(shí)地實(shí)驗(yàn)為下一步的芯片提升等積累了寶貴的數(shù)據(jù)，也為未來的長(zhǎng)遠(yuǎn)發(fā)展打下了牢固的基礎(chǔ)。尤其在自動(dòng)駕駛方向上，相比于過去的芯片，“天眸芯”在感知突發(fā)情況方面的表現(xiàn)更優(yōu)秀。

自動(dòng)駕駛模組外殼。

面向未來，“天眸芯”將在產(chǎn)業(yè)端與學(xué)術(shù)端進(jìn)一步孵化、發(fā)展。在產(chǎn)業(yè)端，團(tuán)隊(duì)將其從實(shí)驗(yàn)室中的新概念、新產(chǎn)品轉(zhuǎn)化為針對(duì)不同領(lǐng)域的實(shí)用落地應(yīng)用，在當(dāng)前的成果基礎(chǔ)上，繼續(xù)迭代芯片架構(gòu)。趙蓉教授預(yù)計(jì)，該芯片范式有望從類人視覺拓展至類人聽覺、嗅覺等多模態(tài)感知，構(gòu)建更為全面的人工感知體系。

推動(dòng)建設(shè)通用的、生活化的人工智能系統(tǒng)，真正讓人工智能體有機(jī)融入到人類的日常生活中，是類腦中心全體師生奮斗的目標(biāo)。

“天眸芯”團(tuán)隊(duì)合照，從左到右依次為：精儀系2022級(jí)博士生陳雨過、2020級(jí)博士生王韜毅、2017級(jí)博士生楊哲宇，精儀系教授施路平、教授趙蓉，精儀系2020級(jí)博士生林逸晗、2020級(jí)博士生曾輝，類腦計(jì)算研究中心工程師王佳政。

道阻且長(zhǎng)。對(duì)此，施路平教授常說：“膽識(shí)二字，膽在識(shí)前。研究類腦的學(xué)問，就是要勇于面對(duì)困難，敢于克服困難。”不畏挑戰(zhàn)，勇于創(chuàng)新，是“天眸芯”團(tuán)隊(duì)始終堅(jiān)持的信念。（來源：清華大學(xué)，原文標(biāo)題：“天眸芯”：以創(chuàng)新開拓類腦感知的未來）

全國(guó)高校人工智能與大數(shù)據(jù)創(chuàng)新聯(lián)盟

全國(guó)高校人工智能與大數(shù)據(jù)創(chuàng)新聯(lián)盟（簡(jiǎn)稱:高校聯(lián)盟）是由清華大學(xué)、浙江大學(xué)、中南大學(xué)、東北大學(xué)、上海工程技術(shù)大學(xué)、重慶郵電大學(xué)、東北林業(yè)大學(xué)、佛山科學(xué)技術(shù)學(xué)院、曲阜師范大學(xué)、黑龍江大學(xué)、海豚大數(shù)據(jù)科技等全國(guó)54家高校、企業(yè)共同發(fā)起，于2018年5月26日在北京中國(guó)科技會(huì)堂正式成立。迄今為止，聯(lián)盟發(fā)展會(huì)員300多家, 覆蓋全國(guó)20多個(gè)省市。聯(lián)盟由一批積極投身于“人工智能、大數(shù)據(jù)、區(qū)塊鏈”教育事業(yè)的高校、科研機(jī)構(gòu)、企事業(yè)單位和個(gè)人自愿組成的公益性、全國(guó)性學(xué)術(shù)交流服務(wù)平臺(tái)。中國(guó)工程院原常務(wù)副院長(zhǎng)、中國(guó)工程院院士潘云鶴、中國(guó)科學(xué)院院士陳國(guó)良、中國(guó)工程院院士李伯虎擔(dān)任聯(lián)盟名譽(yù)理事長(zhǎng)，中國(guó)工程院院士譚建榮擔(dān)任聯(lián)盟理事長(zhǎng)。聯(lián)盟工作接受工信部、國(guó)家網(wǎng)信辦等政府部門行政管理和業(yè)務(wù)指導(dǎo)。聯(lián)盟主要工作是推進(jìn)產(chǎn)教融合、校企合作、協(xié)同育人。(加盟微信13651193492)

華算人工智能研究院

華算人工智能研究院全稱是“山西省華算人工智能研究院有限公司”，是經(jīng)山西轉(zhuǎn)型綜合改革示范區(qū)管理委員會(huì)批準(zhǔn)，于2023年10月在太原成立的第一批專業(yè)研究人工智能、賦能數(shù)字經(jīng)濟(jì)產(chǎn)業(yè)發(fā)展的獨(dú)立法人組織。華算人工智能研究院依托全國(guó)高校人工智能與大數(shù)據(jù)創(chuàng)新聯(lián)盟專家委員會(huì)及理事會(huì)資源，按照山西省委省政府、山西轉(zhuǎn)型綜合改革示范區(qū)管理委員會(huì)發(fā)展人工智能、數(shù)字經(jīng)濟(jì)的系列文件精神和工作計(jì)劃，將研究院打造成為山西省發(fā)展人工智能、數(shù)字經(jīng)濟(jì)的示范應(yīng)用推廣平臺(tái)，同時(shí)面向全國(guó)開展人工智能業(yè)務(wù)。華算人工智能研究院名譽(yù)院長(zhǎng)由中國(guó)工程院院士李伯虎擔(dān)任。研究院內(nèi)設(shè)AI產(chǎn)業(yè)學(xué)院共建中心、實(shí)訓(xùn)實(shí)習(xí)就業(yè)中心、實(shí)驗(yàn)室建設(shè)中心、專家智庫(kù)等6個(gè)職能部門。歡迎加入華算人工智能研究院專家智庫(kù)，共同賦能高校AI人才培養(yǎng)及產(chǎn)教融合事業(yè)發(fā)展。

高校區(qū)塊鏈專委會(huì)

全國(guó)高校人工智能與大數(shù)據(jù)創(chuàng)新聯(lián)盟區(qū)塊鏈專委會(huì)（簡(jiǎn)稱:高校區(qū)塊鏈專委會(huì)），是由北京大學(xué)、浙江大學(xué)、武漢大學(xué)、西南財(cái)經(jīng)大學(xué)、北京交通大學(xué)、鄭州大學(xué)、貴州大學(xué)、桂林電子科技大學(xué)、山西農(nóng)業(yè)大學(xué)、佛山科學(xué)技術(shù)學(xué)院、陜西師范大學(xué)、中國(guó)網(wǎng)安、海豚大數(shù)據(jù)科技等全國(guó)40多家高校、企業(yè)和機(jī)構(gòu)共同發(fā)起，于2019年12月7日在廣東省佛山市正式成立。目前發(fā)展高校及企業(yè)會(huì)員70多家。中國(guó)工程院院士、浙江大學(xué)教授陳純擔(dān)任高校區(qū)塊鏈專委會(huì)名譽(yù)顧問；福州大學(xué)教授蔡維德、中國(guó)計(jì)算機(jī)學(xué)會(huì)區(qū)塊鏈專委會(huì)主任斯雪明教授、中國(guó)人民銀行數(shù)字貨幣研究所副所長(zhǎng)狄剛擔(dān)任高校區(qū)塊鏈專委會(huì)名譽(yù)主任；北京大學(xué)信息科學(xué)技術(shù)學(xué)院區(qū)塊鏈中心主任陳鐘教授擔(dān)任高校區(qū)塊鏈專委會(huì)主任。高校區(qū)塊鏈專委會(huì)主要工作是促進(jìn)高校區(qū)塊鏈教育，為高校區(qū)塊鏈專業(yè)建設(shè)及學(xué)科發(fā)展提供專家咨詢服務(wù)。

高校元宇宙專委會(huì)

全國(guó)高校人工智能與大數(shù)據(jù)創(chuàng)新聯(lián)盟元宇宙專業(yè)委員會(huì)（簡(jiǎn)稱:高校元宇宙專委會(huì)），是由清華大學(xué)、湖南大學(xué)、浙江大學(xué)、四川大學(xué)、汕頭大學(xué)、河北金融學(xué)院、保定市元宇宙協(xié)會(huì)、英偉達(dá)中國(guó)、海爾衣聯(lián)網(wǎng)研究院、海豚大數(shù)據(jù)科技(天津)有限公司等全國(guó)20多所高校、企業(yè)和機(jī)構(gòu)共同發(fā)起，于2022年11月5日在北京正式成立。中國(guó)工程院院士、計(jì)算機(jī)軟件與虛擬現(xiàn)實(shí)領(lǐng)域?qū)＜亿w沁平擔(dān)任高校元宇宙專委會(huì)名譽(yù)顧問；中國(guó)工程院院士、北京航空航天大學(xué)電氣與自動(dòng)化學(xué)院名譽(yù)院長(zhǎng)、中國(guó)航天科工集團(tuán)有限公司科技委高級(jí)顧問李伯虎擔(dān)任高校元宇宙專委會(huì)名譽(yù)主任；清華大學(xué)信息國(guó)研中心可信軟件和大數(shù)據(jù)部常務(wù)副主任邢春曉擔(dān)任高校元宇宙專委會(huì)主任委員。目前已發(fā)展高校及企業(yè)會(huì)員30多家。高校元宇宙專委會(huì)主要工作是促進(jìn)高校元宇宙教育、加強(qiáng)校企合作、推動(dòng)元宇宙專業(yè)建設(shè)及學(xué)科發(fā)展，為元宇宙教育教學(xué)提供專家咨詢服務(wù)。

高校數(shù)字經(jīng)濟(jì)專委會(huì)

全國(guó)高校人工智能與大數(shù)據(jù)創(chuàng)新聯(lián)盟數(shù)字經(jīng)濟(jì)專業(yè)委員會(huì)（簡(jiǎn)稱:高校數(shù)字經(jīng)濟(jì)專委會(huì)），是由華算人工智能研究院、清華大學(xué)、北京大學(xué)、中國(guó)人民大學(xué)、中國(guó)社會(huì)科學(xué)院信息化研究中心、四川大學(xué)、北京外國(guó)語(yǔ)大學(xué)、北京科技大學(xué)、北京工業(yè)大學(xué)、北京語(yǔ)言大學(xué)、北京化工大學(xué)、北京聯(lián)合大學(xué)、北京物資學(xué)院、北京印刷學(xué)院、西藏民族大學(xué)、河北金融學(xué)院、重慶財(cái)經(jīng)學(xué)院、蘇州城市學(xué)院、北京中關(guān)村軟件園、百度、海豚大數(shù)據(jù)科技等全國(guó)60多家高校、企業(yè)和機(jī)構(gòu)共同發(fā)起，于2024年1月12日在北京正式成立。清華大學(xué)經(jīng)濟(jì)管理學(xué)院教授姜旭平、北京大學(xué)信息管理系教授賴茂生、中國(guó)社會(huì)科學(xué)院信息化研究中心主任姜奇平、中國(guó)科學(xué)院大學(xué)經(jīng)濟(jì)與管理學(xué)院教授呂本富擔(dān)任高校數(shù)字經(jīng)濟(jì)專委會(huì)主任委員。高校數(shù)字經(jīng)濟(jì)專委會(huì)主要工作是促進(jìn)高校數(shù)字經(jīng)濟(jì)專業(yè)建設(shè)及學(xué)科發(fā)展，推動(dòng)產(chǎn)學(xué)研合作，為高校數(shù)字經(jīng)濟(jì)專業(yè)教育教學(xué)提供專家咨詢服務(wù)。

聯(lián)盟“資料圖書館”

微信咨詢

說明：轉(zhuǎn)載文章和圖片均來自公開網(wǎng)絡(luò)，推送文章除非無法確認(rèn)，都會(huì)注明作者和來源，如有侵權(quán)請(qǐng)聯(lián)系刪除。

往期精彩文章（單擊就可查看）：

. 辦

. 》