學術動態
首頁 - 學術動態
2021-07-09 作者:物理學院 來源:科學技術處

南京大學繆峯合作團隊提出迄今最高並行度的神經形態計算方案

《科學》雜誌在今年4月份提出了125個最具挑戰性的前沿科學問題,其中信息科學領域的首個問題便是:計算機處理速度是否有上限?(Is there an upper limit to computer processing speed?)在數字計算機中,處理器速度的上限很大程度上由時鐘頻率決定,而時鐘頻率的增加實質上受邏輯狀態(“0”與“1”)翻轉速度的限制。進一步提高處理器的速度將導致嚴重的過熱問題,這也解釋了為什麼十多年來,處理器的時鐘頻率已經停止了增長,這也導致傳統計算機在有着大規模計算需求的物聯網、自動駕駛等應用場景中面臨巨大挑戰。一種應對的思路是利用並行計算技術,通過提高並行度來提升處理速度的上限。常規的多核、多芯片、多板卡並行計算系統均採用“空間換時間”的妥協方式來提高算力,如何利用新的計算硬件和計算方案來實現大規模並行計算,從而實現信息處理速度的不斷提升,是未來計算領域一個廣受關注的議題。近日,我校繆峯教授合作團隊利用連續時間的信息加載方式和頻分複用技術,首次提出並實驗驗證迄今最高並行度的神經形態計算方案。

利用憶阻器交叉陣列可實時連續地處理動態信息的特點,該團隊提出利用時間上連續的信號作為信息載體,引入頻率維度,提出了迄今最高並行度的神經形態計算方案。作為驗證,團隊利用兩個級聯的憶阻器交叉陣列,成功實現了對16張字母圖片的並行識別。該工作為回答“計算機處理速度是否有上限”的前沿科學問題提供了新的思路,併為利用大規模並行計算技術在神經形態計算領域實現應用提供了科學基礎。

研究團隊基於憶阻器交叉陣列可以在時間上連續處理信息的特性,提出了在頻域上採用頻分複用實現並行計算的方式。在該方式中,如果將單一頻率的連續信號輸入憶阻器陣列進行計算,輸出的信號會維持單一頻率;如果將多個單頻率信號疊加合成為一個多頻率信號,並輸入憶阻器陣列進行計算,輸出的信號會具有多個頻率。我們選取了一系列正弦波疊加後的信號作為憶阻器交叉陣列的輸入信號(圖1a),該信號的頻譜會出現多個離散的峯,每個峯均可被用來加載數據。

該計算方案具有兩種操作模式:並行讀取模式和並行計算模式。如圖1b所示,以一個M*N的憶阻器陣列為例,在並行讀取模式下,M行中的每行輸入不同頻率、相同幅值的單一頻率信號;而在計算模式下,憶阻器陣列M行中的每行輸入的信號存在k種頻率,每個頻率有着不同的幅值,憶阻器不同行不同頻率上輸入的數據構成了一個k*M大小的輸入矩陣。在兩種模式下,憶阻器的N列輸出電流的頻譜中都包含了k種頻率分量,共同構成了一個k*N大小的輸出矩陣。因此,在計算模式下,利用憶阻器陣列一步完成了輸入矩陣(k*M)與憶阻器權值矩陣(M*N)的點乘運算。該運算的並行度為M,並可隨着陣列規模的擴大而增加。

圖1 基於憶阻器交叉陣列的頻分複用計算。 a 利用憶阻器交叉陣列實現頻分複用計算,其中信息的載體是多種分立頻率信號合成的時間上連續的信號。b 利用頻分複用計算進行並行讀取和並行計算的圖解。在讀取模式下,憶阻器陣列的每行輸入不同頻率、相同幅值的單一頻率信號;而在計算模式下,憶阻器陣列每行輸入的信號有着多種頻率,每個頻率有着不同的幅值,憶阻器不同行不同頻率上輸入的數據構成一個輸入矩陣。在讀取和計算兩種模式下,憶阻器交叉陣列每一列的輸出電流的頻譜中包含了多種的頻率分量,共同構成了一個輸出矩陣。在計算模式下,一步即完成了輸入矩陣與憶阻器權值矩陣的點乘運算。

進一步,研究團隊將兩個分別工作在讀取和計算模式下的陣列進行級聯,實現了並行讀取、並行識別、與識別結果傳輸的功能演示(圖2)。在該演示中,第一個陣列儲存了代表16張“NANJING UNIV CHINA”的5*5像素的字母圖片,第二個陣列儲存了用於識別上述9類字母的神經網絡權重。當給第一個憶阻器陣列按列施加不同頻率、相同幅值的電壓信號時,在第一個陣列內完成了並行讀取的過程。通過電流-電壓轉換,第一個陣列的信息被直接加載到第二個陣列的輸入信號中。通過第二個憶阻器陣列的推理之後,完成了對16張圖片的同時分類。此外,頻分複用計算的輸出信號和無線頻分複用通信系統中的通訊信號相互兼容,還可以通過無線射頻模塊直接完成識別結果的無線傳輸。

 

圖2:基於頻分複用並行計算技術進行的多個圖片並行識別和識別結果的無線傳輸。 a 實現圖片並行讀取-識別-發送的示意圖。其中兩個憶阻器交叉陣列分別用於保存待處理圖片和執行推理任務。b 16 個待識別圖片按照特定的方式構成16*25數據矩陣。c 另一個憶阻器交叉陣列被訓練成神經網絡權重矩陣。d 16張圖片的並行識別結果。憶阻器陣列的識別結果通過射頻電路發射,並在無線終端實現接收。可以通過判斷接收到每個頻道信號的正負相位(紅、藍色方塊),獲取對初始待識別圖像的識別結果。

最後,值得一提的是,在該工作中,雖然團隊利用憶阻器陣列作為硬件展示,但是該頻分複用計算技術可以廣泛應用於相變存儲器、磁隧穿結存儲器、浮柵器件等其他神經形態計算硬件上。該工作為未來人工智能時代,填補海量數據計算需求所面臨的算力缺口提供了可行的技術途徑。

相關研究成果以《Scalable massively parallel computing using continuous-time data representation in nanoscale crossbar array》(利用連續時間數據表達在納米尺度交叉陣列上實現可擴展大規模並行計算)為題於 2021年7月8日發表在《自然-納米技術》(Nature Nanotechnology)期刊上。南京大學物理學院博士生王聰和副教授梁世軍為共同第一作者,繆峯教授為通訊作者,共同作者還包括東南大學和紫金山實驗室張在琛教授、張川教授團隊。該工作得到國家傑出青年科學基金、國家自然科學基金重點項目、中科院先導B等項目的資助,以及固體微結構物理國家重點實驗室、人工微結構科學與技術協同創新中心等支持。

相關文章鏈接:

//www.nature.com/articles/s41565-021-00943-y