【儀表網(wǎng) 研發(fā)快訊】6月20日，華中科技大學(xué)集成電路學(xué)院繆向水、李祎教授團隊與清華大學(xué)集成電路學(xué)院錢鶴、吳華強教授團隊于《科學(xué)進展》(Science Advances)合作發(fā)表了憶阻存算一體技術(shù)的最新研究成果“Memristive floating-point Fourier neural operator network for efficient scientific modeling”。該論文報道了國際上首個基于憶阻器的浮點精度神經(jīng)網(wǎng)絡(luò)求解系統(tǒng)，實現(xiàn)了高精度、高能效、低延時的智能科學(xué)計算。
 

　　科學(xué)計算建模是現(xiàn)代科學(xué)研究與工程設(shè)計中的重要基礎(chǔ)問題。隨著傳統(tǒng)數(shù)值求解器在復(fù)雜建模問題中(如非線性微分方程模型)的求解延時難以滿足需求，以傅里葉神經(jīng)算子(Fourier Neural Operator，F(xiàn)NO)為代表神經(jīng)網(wǎng)絡(luò)求解器開始受到廣泛關(guān)注。神經(jīng)網(wǎng)絡(luò)求解器的訓(xùn)練與部署依賴高能效、大算力的先進計算平臺。基于憶阻器的存算一體芯片與系統(tǒng)為突破馮·諾依曼瓶頸，實現(xiàn)神經(jīng)網(wǎng)絡(luò)的高效訓(xùn)推提供了一種有潛力的解決方案。然而，與分類、識別等端側(cè)神經(jīng)網(wǎng)絡(luò)應(yīng)用不同的是，F(xiàn)NO等神經(jīng)網(wǎng)絡(luò)求解器的訓(xùn)推通常需要單浮點計算(FP32)精度以滿足求解需求。憶阻陣列的模擬計算精度限制、器件實現(xiàn)高精度“寫-驗證”編程的時間與功耗開銷等因素進而成為制約實現(xiàn)浮點精度神經(jīng)網(wǎng)絡(luò)求解器訓(xùn)推的關(guān)鍵瓶頸。
 

　　針對上述問題，華中科技大學(xué)研究團隊在前期憶阻高精度科學(xué)計算系統(tǒng)研究基礎(chǔ)上，與清華大學(xué)團隊合作構(gòu)建了一套基于憶阻器的浮點精度神經(jīng)網(wǎng)絡(luò)求解系統(tǒng)，實現(xiàn)了FNO網(wǎng)絡(luò)的高精度訓(xùn)練與高效推理。合作團隊對算法、系統(tǒng)與電路進行全層次協(xié)同優(yōu)化設(shè)計：電路層面，提出了混合二值憶阻單元與多值憶阻單元的浮點矩陣乘法電路，通過調(diào)控浮點數(shù)據(jù)的片上映射構(gòu)成，滿足不同求解任務(wù)的能效與精度需求；系統(tǒng)層面，構(gòu)建了“通用數(shù)字處理單元-專用數(shù)字處理單元-憶阻存算一體單元”的超異構(gòu)計算系統(tǒng)，在訓(xùn)練階段啟用通用數(shù)字處理單元配合憶阻器芯片實現(xiàn)高精度訓(xùn)練，在推理階段則啟用專用數(shù)字處理單元實現(xiàn)高能效推理；算法層面，利用FNO網(wǎng)絡(luò)“動態(tài)權(quán)重+固定權(quán)重”的構(gòu)成特性，在訓(xùn)練中進行靈活部署，提高訓(xùn)練準(zhǔn)確率的同時，降低系統(tǒng)功耗開銷。
 

圖1. FNO網(wǎng)絡(luò)與憶阻存算一體硬件系統(tǒng)
 

　　合作研究團隊在180 nm憶阻器芯片測試系統(tǒng)(集成了8塊4 Kb憶阻器芯片)上完成了1-D和3-D FNO網(wǎng)絡(luò)的訓(xùn)練與部署實測(圖1)。針對基于1-D網(wǎng)絡(luò)的Burger’s方程求解任務(wù)，憶阻計算系統(tǒng)實現(xiàn)了99.6%的求解準(zhǔn)確率，相對FP32精度的數(shù)字計算系統(tǒng)，精度損失僅0.2%，推理能效提升約116倍。針對基于3-D FNO網(wǎng)絡(luò)的三維熱傳導(dǎo)問題求解任務(wù)，異構(gòu)訓(xùn)練方法相對全精度數(shù)字計算在節(jié)約22%的訓(xùn)練時間的同時，訓(xùn)練精度損失僅為7.3×10-4，相較全憶阻原位訓(xùn)練則可將訓(xùn)練延時與功耗開銷降低至1/4(圖2)。研究成果驗證了憶阻存算一體技術(shù)在高精度神經(jīng)網(wǎng)絡(luò)求解器中的應(yīng)用潛力，為推動發(fā)展面向AI-for-Science領(lǐng)域的非馮計算系統(tǒng)提供了重要基礎(chǔ)。
 

　　圖2. 基于憶阻智能計算系統(tǒng)的FNO訓(xùn)練，實現(xiàn)Burger’s方程及3D熱導(dǎo)問題的高精度高能效求解
 

　　華中科技大學(xué)集成電路學(xué)院李祎教授和清華大學(xué)集成電路學(xué)院高濱教授為論文的共同通訊作者。華中科學(xué)大學(xué)集成電路學(xué)院博士畢業(yè)生李健聰(現(xiàn)于香港科技大學(xué)從事博士后研究)、博士生田婧和清華大學(xué)集成電路學(xué)院博士后林鈺登為論文共同第一作者，香港智能晶片與系統(tǒng)研發(fā)中心陳佳博士、華中科技大學(xué)集成電路學(xué)院何毓輝教授等人參與了本工作。
 

　　該工作得到了科技創(chuàng)新2030“腦科學(xué)與類腦研究”重大研究計劃、科技部國家重點研發(fā)計劃、湖北省杰出青年基金、華中科技大學(xué)基礎(chǔ)研究支持計劃等項目的資助，以及華中科技大學(xué)國家集成電路產(chǎn)教融合平臺、北京未來芯片技術(shù)高精尖創(chuàng)新中心的支持。