【儀表網(wǎng) 研發(fā)快訊】南京大學(xué)吳培亨院士團(tuán)隊(duì)張蠟寶教授課題組聯(lián)合清華大學(xué)自動(dòng)化系季向陽(yáng)教授課題組，基于多維可調(diào)控的超導(dǎo)單光子探測(cè)器(SNSPD)，研制出高光子利用率的感算一體相機(jī)，平均每像素僅需0.12個(gè)光子，對(duì)三個(gè)字母圖案的分類準(zhǔn)確率即可達(dá)到90%以上。
 

　　在感知以及信息傳遞中，光是重要的媒介與載體。人們通過(guò)對(duì)光進(jìn)行操縱與探測(cè)可以實(shí)現(xiàn)對(duì)外部世界的探索。光電探測(cè)技術(shù)的迭代始終與人類認(rèn)知邊界的拓展深度交織。19世紀(jì)初，隨著夫瑯禾費(fèi)通過(guò)光譜儀發(fā)現(xiàn)太陽(yáng)暗線，微弱光信號(hào)的精準(zhǔn)探測(cè)成為破解宇宙物質(zhì)成分的關(guān)鍵。20世紀(jì)初愛(ài)因斯坦提出的光量子理論更是將光子探測(cè)的需求推向極致。從歷史規(guī)律看，每次光子探測(cè)效率的提升，都會(huì)引發(fā)相關(guān)學(xué)科的突破。進(jìn)入21世紀(jì)，暗物質(zhì)探測(cè)、量子信息和超分辨成像等領(lǐng)域的技術(shù)瓶頸亦使得高效率光子探測(cè)成為破局關(guān)鍵。同時(shí)隨著數(shù)據(jù)量的爆炸式增長(zhǎng)，傳統(tǒng)“探測(cè)-存儲(chǔ)-計(jì)算”分離的探測(cè)架構(gòu)面臨延遲高、能耗大等挑戰(zhàn)。
 

　　人眼通常可以基于極少的特征信息實(shí)現(xiàn)極低延遲的目標(biāo)識(shí)別。然而，目前各種類型的圖像傳感器都需要經(jīng)過(guò)探測(cè)、存儲(chǔ)、計(jì)算這三個(gè)分立的過(guò)程，其中信息的傳遞和讀取消耗了額外的能量，并限制了有效信息提取的效率。近期發(fā)展起來(lái)的感算一體圖像傳感器融合了感知和計(jì)算過(guò)程，可大大降低機(jī)器視覺(jué)任務(wù)的功耗和延遲。這類傳感器通常是由具有可調(diào)電學(xué)和光學(xué)特性的二維半導(dǎo)體實(shí)現(xiàn)的，在圖像分類、光譜分辨、運(yùn)動(dòng)感知和圖像預(yù)處理等方面取得了不錯(cuò)的成果。但受限于探測(cè)器性能和工作模式，暫時(shí)還無(wú)法達(dá)到單光子靈敏度，導(dǎo)致其在弱光環(huán)境下的應(yīng)用受到限制。因此，具備單光子靈敏度的感算一體芯片已成為光電探測(cè)、人工智能和量子探測(cè)等交叉領(lǐng)域的研究前沿。
 

　　憑借單光子靈敏度和極低暗計(jì)數(shù)，超導(dǎo)納米線單光子探測(cè)器(SNSPD)在可見(jiàn)光到紅外波段都得到了廣泛的應(yīng)用。然而隨著像元數(shù)目的增加，低溫下逐像元的信號(hào)讀出將面臨挑戰(zhàn)。目前的陣列SNSPD讀出方案，如行列復(fù)用、時(shí)分復(fù)用等，普遍存在讀出效率低、數(shù)據(jù)量大的問(wèn)題，難以勝任實(shí)時(shí)的成像與目標(biāo)識(shí)別任務(wù)。突破探測(cè)-存儲(chǔ)-計(jì)算的傳統(tǒng)路徑而使用感算一體的架構(gòu)，是基于陣列SNSPD實(shí)現(xiàn)高光子利用效率的單光子相機(jī)的可行路徑之一。
 

圖1感算一體超導(dǎo)單光子相機(jī)的系統(tǒng)示意圖
 

　　針對(duì)上述難題，研究人員通過(guò)深入挖掘陣列SNSPD的多維可調(diào)控特性，研制出一種高光子利用率的感算一體超導(dǎo)單光子相機(jī)，其系統(tǒng)示意圖和工作原理如圖1所示。其總體思路是，通過(guò)調(diào)節(jié)陣列SNSPD的偏置電流以實(shí)現(xiàn)光計(jì)數(shù)率、脈沖幅值、脈沖恢復(fù)時(shí)間及光譜響應(yīng)度的調(diào)控，從而實(shí)現(xiàn)了光信號(hào)采集與計(jì)算的深度融合。在圖像分類任務(wù)中，首先基于字母圖案的數(shù)據(jù)集對(duì)網(wǎng)絡(luò)權(quán)重進(jìn)行優(yōu)化，再通過(guò)調(diào)節(jié)各像素的偏置電流將網(wǎng)絡(luò)權(quán)重映射到陣列傳感器的計(jì)數(shù)率或脈沖波形中，最終多組偏置電流矩陣對(duì)應(yīng)的合成讀出信號(hào)即為圖像分類結(jié)果。
 

　　研究人員首先開(kāi)發(fā)了高性能的陣列SNSPD并且基于該傳感器開(kāi)發(fā)了兩種片上計(jì)算方案。如圖2(a-b)所示，該傳感器在405nm~1550nm波段都具備飽和的量子效率(量子效率接近100%)。在低偏置電流下，各像素的量子效率隨偏置電流的增加而非線性增加。當(dāng)入射光強(qiáng)不變時(shí)，提高偏置電流會(huì)使得光計(jì)數(shù)率增加。因此基于光計(jì)數(shù)率進(jìn)行計(jì)算，將計(jì)數(shù)率隨偏置電流的變化曲線進(jìn)行歸一化即可得到權(quán)重和偏置電流的關(guān)系，根據(jù)多組偏置電流矩陣對(duì)應(yīng)的總計(jì)數(shù)率即可判斷圖像類別。該方案的信號(hào)采集僅需單通道計(jì)數(shù)器即可完成，設(shè)備復(fù)雜度較低。隨著偏置電流繼續(xù)增加，量子效率不再隨偏置電流增加。在固定光強(qiáng)下增加偏置電流，光計(jì)數(shù)率會(huì)保持不變。如圖2(c)所示，此時(shí)響應(yīng)脈沖的形狀仍會(huì)隨著偏置電流變化，因此基于脈沖積分面積進(jìn)行計(jì)算，其工作原理與基于計(jì)數(shù)率的方案基本一致，根據(jù)合成讀出信號(hào)的脈沖積分面積即可判斷圖像類別。該方案工作在量子效率飽和區(qū)域并且僅需單個(gè)脈沖即可實(shí)現(xiàn)權(quán)重的加載，因此具備更高的光子利用率。
 

　　圖2陣列SNSPD的可調(diào)控光響應(yīng)特性。(a)405nm下光計(jì)數(shù)率隨偏置電流的變化曲線；(b)1550nm下光計(jì)數(shù)率隨偏置電流的變化曲線；(c)響應(yīng)脈沖幅值隨偏置電流的變化；(d)光計(jì)數(shù)率隨光強(qiáng)的變化曲線。

 

　　結(jié)合上述兩種計(jì)算方案，研究人員基于該相機(jī)實(shí)現(xiàn)了26字母圖案的分類。如圖3(a-c)所示，盡管DMD串?dāng)_和背景噪聲導(dǎo)致投影圖案的質(zhì)量較差，該技術(shù)對(duì)大部分字母的分類準(zhǔn)確率仍可達(dá)到95%以上。圖3(d-e)展示了針對(duì)“NJU”字母三分類進(jìn)一步分析的結(jié)果，在剔除外部光路導(dǎo)致的串?dāng)_后，平均每像素采集0.12個(gè)光子，字母三分類的準(zhǔn)確率即可達(dá)到90%以上。如圖3(f)所示，平均每像素采集0.12光子得到的字母圖案幾乎無(wú)法通過(guò)肉眼分辨，而感算一體超導(dǎo)單光子相機(jī)仍然可以基于局部的特征進(jìn)行準(zhǔn)確的分類。
 

　　圖3基于感算一體相機(jī)的圖像分類。(a)投影圖案；(b)直接采集的圖案；(c)26字母圖案分類的結(jié)果；(d)“NJU”字母三分類的準(zhǔn)確率隨平均光子數(shù)的變化曲線；(e)無(wú)串?dāng)_情況下，“NJU”字母三分類的準(zhǔn)確率隨平均光子數(shù)的變化曲線；(f)無(wú)串?dāng)_情況下，平均每像素采集0.12光子得到的字母圖案。

 

　　進(jìn)一步的，研究人員基于可調(diào)控的光計(jì)數(shù)率實(shí)現(xiàn)了片上圖像預(yù)處理功能，包括高斯濾波、邊緣增強(qiáng)和圖像銳化。如圖4(b-d)所示，實(shí)驗(yàn)結(jié)果和仿真結(jié)果高度一致，與圖4(a)中直接采集的圖像相比，邊緣增強(qiáng)和圖像銳化操作都避免了分塊采集導(dǎo)致的塊狀響應(yīng)。此外，SNSPD具備本征的光譜分辨能力，如圖4(e-f)所示，不同波長(zhǎng)入射光對(duì)應(yīng)的計(jì)數(shù)率曲線不同。如圖4(g)所示，通過(guò)優(yōu)化偏置電流矩陣，僅需單次采集即可實(shí)現(xiàn)入射光波長(zhǎng)的分辨。
 

　　圖4基于感算一體相機(jī)的圖像預(yù)處理和光譜分辨。(a)投影圖案(左)與直接采集的圖案(右)對(duì)比；(b)圖像高斯濾波的結(jié)果；(c)圖像邊緣增強(qiáng)的結(jié)果；(d)圖像銳化的結(jié)果。(e)和(f)傳感器陣列的光譜響應(yīng)特性；(g)用于光譜分辨的偏置電流矩陣和判別矩陣。

 

　　本文基于多維可調(diào)控的陣列SNSPD開(kāi)發(fā)了具備高光子利用率的感算一體相機(jī)。該相機(jī)具備片上圖像分類、圖像預(yù)處理和光譜分辨功能，為極弱光環(huán)境下的實(shí)時(shí)視覺(jué)任務(wù)提供了全新的解決方案，如暗弱空間目標(biāo)探測(cè)和活體細(xì)胞顯微成像等。未來(lái)結(jié)合超導(dǎo)邏輯電路與大規(guī)模陣列傳感器，有望實(shí)現(xiàn)更智能的高性能視覺(jué)系統(tǒng)。因此，本成果對(duì)于進(jìn)一步提升現(xiàn)有設(shè)備的探測(cè)能力，服務(wù)于智能感知、量子成像、生物成像以及深空探索等前沿應(yīng)用以及科學(xué)研究，具有重要的意義。目前該工作仍存在優(yōu)化空間，后續(xù)需要擴(kuò)充像素規(guī)模以提高分辨率，優(yōu)化外部光路來(lái)減少信號(hào)串?dāng)_。同時(shí)可以引入其它的片上計(jì)算單元來(lái)提高網(wǎng)絡(luò)復(fù)雜度，從而實(shí)現(xiàn)更高階的視覺(jué)任務(wù)。
 

　　相關(guān)成果近日以“Photon-efficientcamerawithin-sensorcomputing”為題發(fā)表于《NatureCommunications》。南京大學(xué)博士生管焰秋為本文第一作者；張蠟寶教授和季向陽(yáng)教授為本文共同通訊作者。以上工作還得到了超導(dǎo)電子學(xué)研究所康琳教授、陳健教授、王華兵教授和吳培亨院士的大力支持，陳奇副研究員、王昊助理教授、涂學(xué)湊教授級(jí)高工、趙清源教授、賈小氫教授等在器件制備和論文撰寫(xiě)等環(huán)節(jié)給予了幫助。該項(xiàng)目得到了國(guó)家自然科學(xué)基金、江蘇省自然科學(xué)基金等資助，實(shí)驗(yàn)工作得到了極端性能光電技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室、江蘇省電磁波先進(jìn)調(diào)控技術(shù)重點(diǎn)實(shí)驗(yàn)室和微制造與集成工藝中心等支持。