近日，清華大學精密儀器系類腦計算研究團隊論文“面向開放世界感知、具有互補通路的視覺芯片”（A Vision Chip with Complementary Pathways for Open-world Sensing）作為封面文章，登上5月30日的Nature（《自然》）雜志。這是該團隊繼異構融合類腦計算芯片“天機芯”后，第二次登上知名科學雜志《自然》封面，標志著我國在類腦計算和類腦感知兩個重要方向上均取得了基礎性突破。

隨著人工智能的飛速發展，無人駕駛和具身智能等無人系統正在現實社會中不斷推廣應用。在這些智能系統中，視覺感知作為獲取信息的核心途徑，發揮著至關重要的作用。然而，在復雜多變且不可預測的環境中，實現高效、精確且魯棒（指在異常和危險情況下系統生存的能力）的視覺感知依然是一個艱巨的挑戰。

為了克服這些挑戰，清華大學精密儀器系類腦計算研究團隊聚焦類腦視覺感知芯片技術，在世界范圍內首次提出了一種基于視覺原語的互補雙通路類腦視覺感知新范式，并基于這一新范式，進一步研制出了世界首款類腦互補視覺芯片“天眸芯”，實現了在多種極端場景下低延遲、高性能的實時感知推理，展現了其在智能無人系統領域的巨大應用潛力。

“天眸芯”如何實現這一技術突破？“類腦計算”這一研究范式能為科技突破帶來什么？新京報記者對話論文通訊作者清華大學精密儀器系教授施路平、趙蓉，以及共同第一作者精密儀器系博士楊哲宇、王韜毅、林逸晗。

創新性提出“互補雙通路類腦視覺感知范式”

“天眸芯”視覺感知芯片基于何種原理研發？在技術上實現了何種突破？

兩位教授介紹，傳統視覺感知芯片由于受到芯片信息傳輸能力和功耗等限制，在性能設計上只能有所取舍。比如分辨率越高，信息量越大，相應來說反應就會比較慢。相反，當要求芯片反應快、敏感度高時，就很難做到高度精細的分辨率。

而我們的大腦在處理信息的時候，則采用的是“雙通路機制”。大腦根據不同神經元組成信息通路來進行信息處理，譬如其中一路主要負責處理顏色、細節等高精度的信息，但該通路處理速度相對較慢；另一通路主要負責處理突發事情，能夠做出快速反應，但精度不高。雙通路配合互補，能夠在極端場景下完成信息處理并做出應對。

“天眸芯”就是借鑒了人類視覺系統的這一基本原理，提出了互補雙通路類腦視覺感知范式?！斑@個范式要實現也很不容易。”趙蓉解釋道，在感知端，也就是芯片上，團隊需要研究如何把開放世界的視覺信息（如光的速度、強度、顏色、方向等等）拆解出來，進行基于視覺原語的信息表示。并通過模仿人視覺系統的特征，將這些原語再次進行有機組合，形成兩條優勢互補、信息完備的視覺感知通路。

互補雙通路類腦視覺感知芯片“天眸芯”。清華大學供圖

“天眸芯”的問世對于視覺感知芯片領域的研究具有重要意義。在開放世界中，智能系統不僅要處理龐大的數據量，還需要應對各種極端事件，如駕駛中的突發危險、隧道口的劇烈光線變化和夜間強閃光干擾等。傳統視覺感知芯片由于受到“功耗墻”和“帶寬墻”的限制，在應對這些場景時往往面臨失真、失效或高延遲的問題，嚴重影響了系統的穩定性和安全性。

而在“天眸芯”上，人們可以實現在一個芯片上同時達到高分辨率、高速、高動態范圍?！疤祉尽痹跇O低的帶寬（降低90%）和功耗的代價下，實現了每秒10000幀的高速、10bit的高精度、130dB的高動態范圍的視覺信息采集。它不僅突破了傳統視覺感知范式的性能瓶頸，而且能夠高效應對各種極端場景，確保系統的穩定性和安全性。“這在傳統芯片上是很難實現的，但是我們通過類腦芯片的通路組合解決了這個問題。”趙蓉表示。

自動駕駛感知演示平臺。清華大學供圖

基于“天眸芯”，團隊還自主研發了高性能軟件和算法，并在開放環境車載平臺上進行了性能驗證。在多種極端場景下，該系統實現了低延遲、高性能的實時感知推理，展現了其在智能無人系統領域的巨大應用潛力。為自動駕駛、具身智能等重要應用提供強勁的技術支持。

“天眸芯”的成功研制無疑是智能感知芯片領域的一個重大突破。結合團隊在類腦計算芯片“天機芯”、類腦軟件工具鏈和類腦機器人等方面已應用落地的技術積累，“天眸芯”的加入將進一步完善類腦智能生態，有力地推動人工通用智能的發展。

把腦科學思維和計算科學思維有機結合

趙蓉介紹，“我們是國內最早進行全方位類腦計算研究的團隊，目標就是發展人工通用智能，已經形成了從基礎理論到芯片、軟件、系統研發的全鏈條能力?！祉尽瘡牡讓釉淼阶詈髮崿F，所有技術都是自主研發的，是完全創新的?！?/p>

2019年8月1日，施路平教授團隊在Nature上發表了封面文章，發布了全球首款異構融合類腦計算芯片“天機芯”。Nature總編斯基珀博士稱其為“人工智能領域的重要里程碑”。

“最重要的是，我們建立了‘類腦計算思維’。底層思維是最重要的，可以應用于更多的地方，幫助我們去做不同的研究?！笔┞菲秸f道。

在研究中，團隊把腦科學思維和計算科學思維進行了有機結合?！笆紫仁且芯棵靼?，大腦是如何在自然環境中進行視覺識別的。類腦計算的研究也擴展了腦科學研究的疆域，能夠運用腦科學領域的研究成果助力其他學科的發展?！笔┞菲酵瑫r也強調，“這是一項‘從0到1’的研究，過程非常困難。”

趙蓉回憶，由于沒有過往研究可以參考，研究過程非常艱難?！斑@時候，我們知道我們的目標和大方向是正確的，相信一定可以做出來?！?/p>