原標(biāo)題:讓“機器腦”類人腦,關(guān)鍵何在?
編者按
人腦在有限尺寸和極低能耗下,能夠完成復(fù)雜環(huán)境中的信息關(guān)聯(lián)記憶、快速識別和自主學(xué)習(xí)等認(rèn)知任務(wù)。隨著芯片換代速度放緩、算力供不應(yīng)求等挑戰(zhàn)出現(xiàn),面向未來,現(xiàn)有計算機的計算方式已難以為繼。如何推動信息處理技術(shù)進一步發(fā)展,打造像人腦一樣的“機器腦”?實現(xiàn)類腦計算是破局的方向。要想實現(xiàn)類腦計算,就需要尋找更多模擬人腦功能的神經(jīng)形態(tài)器件。
借鑒人腦,讓計算更高效、更具仿生性、更低能耗
電子計算機的發(fā)明將人類文明帶入了一場數(shù)字化科技革命。在短短幾十年中,計算機的算力從每秒幾百次運算到每秒百億億次運算,增長了1016倍,創(chuàng)造了幾千年人類文明史上最高的人造增長速度。計算機算力的提升得益于底層半導(dǎo)體器件(硅基晶體管)的集成密度提升。按照摩爾定律,單芯片上晶體管的數(shù)量每18至24個月翻一番。
在過去的半個多世紀(jì),集成電路產(chǎn)業(yè)一直在摩爾定律的引導(dǎo)下發(fā)展。然而擺在現(xiàn)實面前的是,隨著摩爾定律不斷逼近極限,單個硅基芯片能夠承載的晶體管日漸飽和。硅原子的大小約0.12納米,照此大小推算,當(dāng)芯片工藝達(dá)到1納米,就只有對幾個硅原子進行操縱的空間了。
事實上,在芯片工藝發(fā)展到10納米水平后,能明顯感受到換代速度放緩、成本攀升等問題。而另一方面,隨著人工智能大模型浪潮席卷全球,對計算機算力的需求激增到了每2到3個月就要翻一番的程度,遠(yuǎn)超摩爾定律下的增長速度。
面對芯片換代速度放緩、算力供不應(yīng)求等挑戰(zhàn),數(shù)字計算機的計算方式已經(jīng)難以為繼,如何推動信息處理技術(shù)進一步向前發(fā)展,成為學(xué)界與社會各行各業(yè)共同面臨的難題。面對這一巨大困局,能夠提供更高效、更具仿生性、更低能耗算力的類腦計算,成為破局的關(guān)鍵。
類腦計算是“國際半導(dǎo)體技術(shù)藍(lán)圖(ITRS/IRDS)”中的一個重要研究方向,旨在借鑒人腦的基本原理,實現(xiàn)人工通用智能(也稱為類腦通用智能)。在2021年啟動的“中國腦計劃”中,類腦計算是一個重要組成部分。
與傳統(tǒng)計算機不同的是,人腦在有限尺寸和極低能耗下,能夠完成復(fù)雜環(huán)境中的信息關(guān)聯(lián)記憶、快速識別和自主學(xué)習(xí)等認(rèn)知任務(wù)。這與人腦神經(jīng)網(wǎng)絡(luò)的基本組成和結(jié)構(gòu)密切相關(guān):人腦中有860億個神經(jīng)元,相當(dāng)于銀河系天體的數(shù)量,并通過150萬億個神經(jīng)突觸互聯(lián)構(gòu)成了空間復(fù)雜的神經(jīng)網(wǎng)絡(luò);同時人腦的神經(jīng)樹突等組織進一步使神經(jīng)計算功能復(fù)雜化。
人腦的這些神經(jīng)組織包含了多樣化的離子通道,具備非常豐富的動力學(xué)行為,特征時間尺度也跨越幾個數(shù)量級,這是人腦智能的物理基礎(chǔ)。相對應(yīng)的,計算機基本的組成單元是電子晶體管,其工作在準(zhǔn)靜態(tài)的0和1編碼狀態(tài)下,與人腦的豐富動力學(xué)相距甚遠(yuǎn)。
因此,類腦計算的實現(xiàn),其中一個關(guān)鍵就是發(fā)現(xiàn)神經(jīng)形態(tài)器件。它們可以模擬人腦中神經(jīng)元、神經(jīng)突觸、神經(jīng)樹突的功能,具有更貼近神經(jīng)組織行為的物理機制,從而可以實現(xiàn)傳統(tǒng)電子晶體管所不能實現(xiàn)的諸多類神經(jīng)功能。
基于神經(jīng)形態(tài)器件的類腦計算快速發(fā)展
神經(jīng)科學(xué)的研究發(fā)現(xiàn),神經(jīng)元之間的神經(jīng)突觸連接強度的可調(diào)性,是大腦學(xué)習(xí)和記憶功能的基礎(chǔ)之一。由過往經(jīng)歷引起的神經(jīng)突觸連接強度改變,可以對大腦的功能產(chǎn)生影響。
神經(jīng)突觸連接強度改變,也叫神經(jīng)突觸可塑性,可以增強或抑制神經(jīng)元的活動,而且其持續(xù)的時間可從幾毫秒到幾小時、幾天甚至更長時間,跨度很大。
如果能借鑒神經(jīng)突觸可塑性原理,用某種手段來模仿和實現(xiàn),構(gòu)建類似于神經(jīng)突觸的人工突觸,再進一步構(gòu)建出系統(tǒng),就可以更好地理解和模擬大腦的工作方式,進一步推動信息學(xué)和神經(jīng)科學(xué)的交叉發(fā)展,實現(xiàn)類腦計算。
早在1971年,科學(xué)家蔡少棠就曾啟發(fā)式地推理預(yù)言了一種新型器件——憶阻器。根據(jù)預(yù)言,憶阻器的電阻值取決于所施加的電壓/電流激勵歷史,因此具有類神經(jīng)記憶特性。
在這一預(yù)言過去37年后,惠普實驗室宣布憶阻現(xiàn)象在新型微納半導(dǎo)體器件中被觀測到。此后,憶阻器件和神經(jīng)形態(tài)器件幾乎成了兩個可以互換的概念,基于神經(jīng)形態(tài)器件的類腦計算也進入了快速發(fā)展的階段。
憶阻器作為一種有潛力的電路元件,除了生物相似性之外,在可微縮能力、存儲密度和功耗等方面也要優(yōu)于傳統(tǒng)的晶體管器件。
近年來,在材料技術(shù)和功能方面,神經(jīng)形態(tài)器件都取得重要進展。在材料技術(shù)方面,研究人員廣泛應(yīng)用各種材料——無機物、有機物、量子材料、鐵電材料、鐵磁材料、三維體材料和二維材料等,它們展現(xiàn)出各自獨特的神經(jīng)形態(tài)特性,為憶阻器的發(fā)展提供了多樣性和靈活性。將傳統(tǒng)晶體管和憶阻器進行混合的神經(jīng)形態(tài)集成電路研究也取得了顯著進展,加速了憶阻器的應(yīng)用推廣。在功能方面,憶阻器不僅能夠模擬神經(jīng)突觸的可塑性功能,還可以模擬神經(jīng)元的某些功能,這為實現(xiàn)全憶阻器的神經(jīng)形態(tài)電路創(chuàng)造了可能性。
利用晶體管“非理想”物理機制,模擬人腦記憶功能
然而,神經(jīng)形態(tài)器件發(fā)展到這個階段,面臨著新的挑戰(zhàn)。其中一個關(guān)鍵挑戰(zhàn)是仿生動力學(xué)功能不足,難以滿足類腦計算對豐富神經(jīng)形態(tài)動力學(xué)的要求。
正如前面所提到的,人腦的豐富動力學(xué)行為與神經(jīng)組織中多樣化的離子通道結(jié)構(gòu)和機理是密切相關(guān)的。但是目前主流的神經(jīng)形態(tài)器件通常是為模擬某一種特定的神經(jīng)行為來定制,采用特定的單一物理機制來實現(xiàn)。
如果需要實現(xiàn)豐富的仿生動力學(xué)功能,就需要發(fā)展全功能的動力學(xué)神經(jīng)形態(tài)器件。不過,通常來講,功能越全面就需要更大尺寸的硬件,這與當(dāng)前芯片的小型化相矛盾。要解決這個問題,就需要探索新型的器件原理和新的半導(dǎo)體材料。
前面提到,神經(jīng)突觸可塑性的一大特征是動力學(xué)時間尺度跨越幾個數(shù)量級,這是人類認(rèn)知和記憶功能的一個基礎(chǔ)。事實上,我們每個人都能感受得到這種動力學(xué)的存在——有時候一件事情讓人終生難忘;而有時候上一秒的事情,下一秒就忘了。這就是長期記憶和短期記憶兩種時間尺度不一樣的動力學(xué)行為,它們的共存幫助我們保留重要的信息,同時過濾掉不重要的信息,給大腦減負(fù)。但是現(xiàn)有的單器件人工突觸,只能對長期可塑性或短期可塑性進行選擇性的模擬,不能集成模擬。
基于這些神經(jīng)突觸原理,對人工突觸器件和生物突觸進行比較可以發(fā)現(xiàn),它們之間有一個巨大的區(qū)別——前者利用相同的物理機制模擬兩種功能,而后者分別利用來自突觸后膜和前膜不同的鈣離子通道機制來實現(xiàn)。
受此啟發(fā),清華大學(xué)類腦研究中心的研究團隊將目光移回到晶體管上。作為計算機芯片的基本元器件,晶體管器件中實際蘊含了兩種物理機制——“場效應(yīng)”機制和“憶阻”機制?!皥鲂?yīng)”機制讓晶體管在0和1狀態(tài)間切換,但沒有持續(xù)供電的話,狀態(tài)就會很快消失,從節(jié)能的角度來說不盡如人意?!皯涀琛睓C制會讓0、1狀態(tài)混淆,這在以往被視為不利影響,所以在制造計算機芯片時一定要防止“憶阻”機制的顯現(xiàn)。但“憶阻”機制還有一個特性——在斷電后依然能持久地存在。
這兩種對于傳統(tǒng)計算機芯片來說不夠完美,甚至不利的物理機制,不正是類腦計算中模擬突觸長、短期可塑性功能所需要的嗎?
至此,答案呼之欲出。通過對這兩種機制的“反向”利用,清華大學(xué)類腦計算研究中心團隊提出的動力學(xué)神經(jīng)形態(tài)晶體管技術(shù),使得長、短期記憶動力學(xué)功能可以在單個器件中集成地模擬,解決了類腦科學(xué)領(lǐng)域內(nèi)的一個關(guān)鍵技術(shù)難題。
尋找更多能模擬人腦神經(jīng)計算的半導(dǎo)體器件
神經(jīng)元是另一種基本神經(jīng)計算單元,其閾上的放電和閾下的振蕩參與了幾乎所有的認(rèn)知功能環(huán)節(jié),本質(zhì)上是細(xì)胞膜電位的上升和下降。從生物角度來看,神經(jīng)元膜電位的變化由兩種離子通道參與——鈉離子(Na+)通道和鉀離子(K+)通道。
它們的工作過程是這樣的——當(dāng)鈉離子通道打開時,膜外鈉離子(Na+)內(nèi)流進入細(xì)胞,從而導(dǎo)致膜電位升高,這被稱為去極化過程;在膜電位達(dá)到一定程度后,重復(fù)極化過程開始,鈉離子(Na+)通道關(guān)閉,鉀離子(K+)通道打開,允許鉀離子(K+)外流離開細(xì)胞,從而使膜電位降低。
神經(jīng)元的動力學(xué)更復(fù)雜,要對其進行模擬往往需要多個電子元件組合成電路。為了讓人工神經(jīng)元器件既能動力學(xué)功能豐富,硬件又足夠精簡化,需要尋找新的材料來實現(xiàn)。
最終,碲這種新型半導(dǎo)體材料脫穎而出。它具有低熔點、低熱導(dǎo)率和電化學(xué)活性等綜合物理性質(zhì),很難在其他材料中找到這種組合性質(zhì)。
這些性質(zhì)使得碲導(dǎo)電通道結(jié)構(gòu)能夠在電流的電場作用下生長出來,降低器件電阻,這可以與鈉離子(Na+)的內(nèi)流去極化過程對應(yīng);隨之而來的電流焦耳熱則會熔斷碲導(dǎo)電通道,使器件電阻恢復(fù),這與鉀離子(K+)的外流重極化過程對應(yīng)。
在此基礎(chǔ)上,清華大學(xué)類腦計算研究中心團隊研制的碲半導(dǎo)體單器件,實現(xiàn)了對神經(jīng)元閾上放電和閾下振蕩的全功能模擬。
與神經(jīng)元和神經(jīng)突觸相比較,神經(jīng)樹突作為典型的生物神經(jīng)網(wǎng)絡(luò)特征結(jié)構(gòu),曾被類比為簡單的導(dǎo)線。但越來越多的研究表明,神經(jīng)樹突具備重要的神經(jīng)計算功能,不僅執(zhí)行被動計算,甚至還能主動“放電”,這或許是人腦通用智能信息處理能力的關(guān)鍵來源之一,是賦能類腦計算的重要靈感來源。
神經(jīng)樹突的主動放電動力學(xué)行為也源于豐富的離子通道。其以鈣離子(Ca2+)為介導(dǎo),放電持續(xù)時間更長,產(chǎn)生的影響或更為顯著,并且其激活函數(shù)也可以呈現(xiàn)對于輸入刺激強度的非單調(diào)響應(yīng)。這使得單個樹突就能解決更具挑戰(zhàn)性的非線性分類問題。
為了模擬神經(jīng)樹突,清華大學(xué)類腦計算研究中心團隊采用了一種新型的晶體管結(jié)構(gòu),即基于pn異質(zhì)結(jié)半導(dǎo)體溝道的晶體管,取代了傳統(tǒng)的均質(zhì)或同質(zhì)半導(dǎo)體溝道,利用這種特殊晶體管結(jié)構(gòu)中非同尋常的“反雙極性”的轉(zhuǎn)移特性,模擬了鈣離子(Ca2+)介導(dǎo)的非單調(diào)激活和樹突放電,進一步豐富了晶體管的神經(jīng)形態(tài)功能。
時至今日,盡管在模擬人腦神經(jīng)計算方面已經(jīng)取得一些進展,但大腦作為人類智慧的集結(jié),是已知的宇宙當(dāng)中最復(fù)雜的產(chǎn)物,對大腦的研究也被稱作是自然科學(xué)的“終極疆域”。類腦計算作為模仿神經(jīng)生理學(xué)和生理心理學(xué)機制,以計算建模為手段并通過軟硬件協(xié)同實現(xiàn)的機器智能計算,距離實現(xiàn)人類打造像人腦一樣的“機器腦”這樣的夢想,還有充滿挑戰(zhàn)的路要走。
(作者:李黃龍,系清華大學(xué)精密儀器系、清華大學(xué)類腦計算研究中心長聘副教授)