撰稿 | 黃威、張佳琦（鵬城實(shí)驗(yàn)室訪問(wèn)學(xué)生）

人工智能的蓬勃發(fā)展推動(dòng)了其在各個(gè)領(lǐng)域的廣泛應(yīng)用，在機(jī)器視覺(jué)、自動(dòng)駕駛、棋盤游戲和臨床診斷等各個(gè)領(lǐng)域取得了巨大的成功，但數(shù)據(jù)量的飛速增長(zhǎng)使智能實(shí)現(xiàn)面臨速度慢、能耗高的問(wèn)題。馮·諾依曼架構(gòu)的摩爾定律逐漸不再有效，集成電子電路算力也慢慢無(wú)法應(yīng)對(duì)未來(lái)數(shù)據(jù)量爆炸性的增長(zhǎng)，海量數(shù)據(jù)洪流的時(shí)代漸漸淘汰舊的芯片規(guī)則約束，正催生芯片架構(gòu)進(jìn)行一次巨大的革新。

光學(xué)計(jì)算利用光場(chǎng)仿真人工智能的實(shí)現(xiàn)過(guò)程，相較于電子計(jì)算，具有高速、高寬帶、低功耗的優(yōu)點(diǎn)，為解決這一瓶頸問(wèn)題提供了一種獨(dú)特的方式。比如通過(guò)光頻梳對(duì)不同波長(zhǎng)的數(shù)據(jù)或權(quán)重進(jìn)行編碼，單個(gè)時(shí)間步長(zhǎng)的操作可以自然而然地同時(shí)應(yīng)用于數(shù)千甚至數(shù)百萬(wàn)個(gè)不同信道。得益于現(xiàn)代圖形處理器（GPU）強(qiáng)大的運(yùn)算和并行計(jì)算能力以及廣泛開源的數(shù)據(jù)集，模擬人工智能的光學(xué)計(jì)算成為可能。

在即將到來(lái)的第五代移動(dòng)通信技術(shù)(5G)時(shí)代，大量的傳感器和互聯(lián)網(wǎng)連接設(shè)備每秒都會(huì)產(chǎn)生大量的數(shù)據(jù)，這些數(shù)據(jù)需要由人工智能以盡可能快的速度處理。神經(jīng)網(wǎng)絡(luò)是由成千上萬(wàn)個(gè)甚至數(shù)百萬(wàn)個(gè)相互連接的多層神經(jīng)元組成的典型的人工智能模型，可以學(xué)習(xí)具有多層次抽象特征的數(shù)據(jù)，結(jié)構(gòu)也在變得越來(lái)越復(fù)雜。

為了解決這一公認(rèn)的困難，近年來(lái)研究者在電子架構(gòu)創(chuàng)新方面進(jìn)行了各種努力，以加速低功耗下的人工智能推理和訓(xùn)練。近期，來(lái)自清華大學(xué)、香港科技大學(xué)和鵬城實(shí)驗(yàn)室的科研工作者回顧并總結(jié)了實(shí)現(xiàn)人工智能模擬的光學(xué)計(jì)算在不同人工智能模型中的最新突破，主要涵蓋了模擬前饋神經(jīng)網(wǎng)絡(luò)、蓄水池神經(jīng)網(wǎng)絡(luò)和脈沖神經(jīng)網(wǎng)絡(luò)相關(guān)的光計(jì)算，討論了當(dāng)前技術(shù)的可行性，并指出了不同領(lǐng)域的各種挑戰(zhàn)。

其綜述以 “Analog optical computing for artificial intelligence”為題發(fā)表于中國(guó)工程院的院刊 Engineering，該論文的共同第一作者是清華大學(xué)的吳嘉敏博士，林星博士和郭雨晨博士，共同通訊作者是清華大學(xué)戴瓊海院士和方璐教授以及鵬城實(shí)驗(yàn)室焦述銘博士，此外香港科技大學(xué)的劉軍偉老師也參與了論文的撰寫。

光模擬人工智能模型進(jìn)展

1. 前饋光神經(jīng)網(wǎng)絡(luò)(ONN)

前饋神經(jīng)網(wǎng)絡(luò)采用一種單向多層結(jié)構(gòu)，其中每一層包含若干個(gè)神經(jīng)元，在這種人工神經(jīng)網(wǎng)絡(luò)中，相鄰層的所有神經(jīng)元都通過(guò)不同的突觸權(quán)值相互連接，各神經(jīng)元可以接收前一層神經(jīng)元的信號(hào)，并傳送到下一層。其特點(diǎn)在于整個(gè)網(wǎng)絡(luò)中沒(méi)有反饋，信號(hào)從輸入層向輸出層單向傳播，可以用一個(gè)有向無(wú)環(huán)圖表示。

圖1.前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

目前，基于前饋神經(jīng)網(wǎng)絡(luò)進(jìn)行的光計(jì)算研究主要集中在以下四個(gè)方面進(jìn)行的：光學(xué)線性加權(quán)總和、光學(xué)線性卷積、光學(xué)非線性激活函數(shù)和光學(xué)系統(tǒng)上的在線網(wǎng)絡(luò)訓(xùn)練。

對(duì)于全連接神經(jīng)網(wǎng)絡(luò)的光學(xué)實(shí)現(xiàn)，需要在光學(xué)上執(zhí)行加權(quán)求和運(yùn)算或向量矩陣乘法運(yùn)算。到目前為止，已經(jīng)有幾種不同的光學(xué)加權(quán)求和的實(shí)現(xiàn)方式，具體來(lái)說(shuō)有以下幾種。

第一種，級(jí)聯(lián)馬赫·曾德爾干涉儀類光網(wǎng)絡(luò)。網(wǎng)絡(luò)中多個(gè)馬赫·曾德爾干涉儀相互級(jí)聯(lián)，構(gòu)成一個(gè)矢量矩陣乘法的光學(xué)計(jì)算裝置。馬赫·曾德爾干涉儀的基本概念可以追溯到1994年的早期工作，最初主要被用來(lái)作為光纖中的波分復(fù)用器。在最近的研究中，研究人員提出了一個(gè)包含56個(gè)硅光子集成電路的可編程納米光子處理器，每個(gè)子處理器相當(dāng)于一個(gè)馬赫·曾德爾干涉儀，每個(gè)干涉儀又包含兩個(gè)分束器和兩個(gè)可調(diào)的移相器，這樣的光學(xué)網(wǎng)絡(luò)可以等效數(shù)學(xué)中的奇異值分解的矩陣運(yùn)算。需要注意的是，一個(gè)馬赫·曾德爾干涉儀并不等同于人工神經(jīng)網(wǎng)絡(luò)中的一個(gè)神經(jīng)元，但一個(gè)級(jí)聯(lián)馬赫·曾德爾干涉儀網(wǎng)絡(luò)可以在同一網(wǎng)絡(luò)中的兩層神經(jīng)元之間執(zhí)行等效的線性向量-矩陣乘法運(yùn)算，如下圖所示。

圖2. 級(jí)聯(lián)馬赫·曾德爾干涉儀網(wǎng)絡(luò)圖

計(jì)算某一組向量矩陣相乘時(shí)，所構(gòu)造的級(jí)聯(lián)馬赫·曾德爾干涉儀網(wǎng)格架構(gòu)并不是唯一的，這樣就允許我們?yōu)橄嗤南蛄烤仃囉?jì)算設(shè)計(jì)兩個(gè)不同的級(jí)聯(lián)馬赫·曾德爾干涉儀網(wǎng)格，各自分別的特征可以是可調(diào)性更強(qiáng)或容錯(cuò)性更強(qiáng)。通過(guò)3D打印加工光波導(dǎo)，級(jí)聯(lián)馬赫·曾德爾干涉儀系統(tǒng)可以從二維擴(kuò)展到三維，以實(shí)現(xiàn)更高的計(jì)算能力。除此之外，復(fù)數(shù)計(jì)算操作也可以通過(guò)級(jí)聯(lián)馬赫·曾德爾干涉儀有效地實(shí)現(xiàn)。級(jí)聯(lián)馬赫·曾德爾已被嘗試用于多種人工智能任務(wù)，如語(yǔ)音識(shí)別、花卉數(shù)據(jù)分類和葡萄酒數(shù)據(jù)分類等。

第二種，深度光衍射神經(jīng)網(wǎng)絡(luò)（D2NN）。在D2NN網(wǎng)絡(luò)結(jié)構(gòu)中，多層級(jí)聯(lián)光衍射調(diào)制板垂直于光的傳播方向并以一定的空間間隔平行放置，輸入平面和輸出平面上的空間光強(qiáng)分布分別對(duì)應(yīng)于輸入向量和輸出向量，如下圖所示。

圖3.深度衍射神經(jīng)網(wǎng)絡(luò)圖

入射光場(chǎng)在自由空間中向前傳播，并由每個(gè)調(diào)制板依次調(diào)制。所有衍射光學(xué)元件的像素值（相位、振幅或復(fù)振幅）通過(guò)類似于深度學(xué)習(xí)中對(duì)應(yīng)的誤差反向傳播算法進(jìn)行優(yōu)化。優(yōu)化后的整個(gè)系統(tǒng)從輸入光場(chǎng)到輸出光場(chǎng)進(jìn)行線性變換，實(shí)現(xiàn)向量矩陣乘法。通常，一個(gè)多層級(jí)聯(lián)衍射調(diào)制板系統(tǒng)的信息處理能力與總的層數(shù)正向關(guān)聯(lián)。該系統(tǒng)可以作為光學(xué)線性分類器，并已被證明能夠?qū)NIST數(shù)據(jù)集中的數(shù)字圖像進(jìn)行光學(xué)分類，并在Fashion- MNIST數(shù)據(jù)集中對(duì)服裝圖像具有中等較高的分類精度。在后續(xù)的工作中，D2NN神經(jīng)網(wǎng)絡(luò)系統(tǒng)從不同的方面得到了改進(jìn)和提升。最初D2NN由太赫茲光源驅(qū)動(dòng)，后來(lái)尺寸更小的紅外和可見光光源系統(tǒng)也被使用。D2NN的實(shí)現(xiàn)也不局限于單色相干光照明，寬帶D2NN還可以實(shí)現(xiàn)用于光譜濾波和波長(zhǎng)解復(fù)用應(yīng)用。有的研究人員將D2NN與數(shù)字處理器或數(shù)字神經(jīng)網(wǎng)絡(luò)相結(jié)合以提高預(yù)測(cè)性能。仿照殘差深度學(xué)習(xí)網(wǎng)絡(luò)的殘差D2NN也被提出來(lái)，并用多個(gè)反射鏡簡(jiǎn)單地實(shí)現(xiàn)了輸入和輸出之間的直接快捷連接。有研究人員針對(duì)訓(xùn)練集圖片進(jìn)行幾何變換后訓(xùn)練D2NN系統(tǒng)，結(jié)果表明D2NN可對(duì)于圖像的平移、旋轉(zhuǎn)和縮放有一定魯棒性。大量的研究結(jié)果表明，一個(gè)D2NN系統(tǒng)可以處理多樣化的計(jì)算機(jī)視覺(jué)任務(wù)，除目標(biāo)分類之外，還有圖像分割、圖像顯著性檢測(cè)以及圖像超分辨。

除了傳統(tǒng)的機(jī)器學(xué)習(xí)任務(wù)外，還有研究人員將D2NN應(yīng)用于其他光計(jì)算和光信號(hào)處理任務(wù)，比如激光雷達(dá)的智能光束轉(zhuǎn)向、圖像加密、光邏輯門、脈沖整形和模分復(fù)用光纖通信中的模式識(shí)別/復(fù)用/解復(fù)用等等。

第三種，基于空間光調(diào)制器和透鏡的光學(xué)計(jì)算。與之前兩種基于相干光設(shè)計(jì)的架構(gòu)不同，這種基于空間光調(diào)制器和透鏡的架構(gòu)可以使用相干或非相干光照明。入射光在空間光調(diào)制器平面的強(qiáng)度分布相當(dāng)于輸入向量值，根據(jù)加權(quán)系數(shù)對(duì)空間光調(diào)制器的不同像素進(jìn)行編碼，光束依次通過(guò)空間光調(diào)制器和透鏡聚焦到焦點(diǎn)。將探測(cè)器放置于透鏡焦點(diǎn)上，然后收集空間光調(diào)制器平面上的總光強(qiáng)，其結(jié)果相當(dāng)于輸入向量和加權(quán)系數(shù)向量之間的內(nèi)積。該架構(gòu)如下圖4（a）所示，類似于光學(xué)成像中的單像素成像的概念。

圖4.實(shí)現(xiàn)復(fù)數(shù)矩陣乘法的方法圖

通過(guò)使用不同類型的透鏡，可以有多種方法來(lái)實(shí)現(xiàn)復(fù)數(shù)矩陣乘法，如使用一個(gè)傅立葉透鏡得到輸出光的總和，或使用柱面透鏡。柱面透鏡只在水平方向或垂直方向上對(duì)平行光和會(huì)聚光之間進(jìn)行轉(zhuǎn)換。輸入向量由沿水平方向像素化陣列的光強(qiáng)分布表示。兩個(gè)柱面透鏡在空間光調(diào)制器平面上執(zhí)行一維輸入陣列的復(fù)制和一維加權(quán)求和，如圖4 (b)所示，輸出結(jié)果最后通過(guò)焦平面上沿垂直陣列的光強(qiáng)分布來(lái)表示，這實(shí)現(xiàn)了多個(gè)線性加權(quán)求和操作的并行處理。此外，向量矩陣乘法可以通過(guò)簡(jiǎn)單地用單個(gè)傅里葉透鏡多次重復(fù)加權(quán)求和運(yùn)算來(lái)實(shí)現(xiàn)。

基于空間光調(diào)制器和透鏡的架構(gòu)，可以很容易與冷原子系統(tǒng)相結(jié)合以實(shí)現(xiàn)一個(gè)同時(shí)具有線性和非線性變換的全光學(xué)深度神經(jīng)網(wǎng)絡(luò)?；谠摷軜?gòu)，有研究人員構(gòu)建出一個(gè)具有174個(gè)光學(xué)神經(jīng)元的大規(guī)?？删幊倘馍疃壬窠?jīng)網(wǎng)絡(luò)。與其他體系結(jié)構(gòu)相比，這種實(shí)現(xiàn)方式對(duì)于不同的任務(wù)完全可重復(fù)編程，而無(wú)需改動(dòng)物理器件。

第四種，波分多路復(fù)用(WDM)實(shí)現(xiàn)線性加權(quán)總和。輸入向量中的每個(gè)元素都由一個(gè)具有特定頻率（或波長(zhǎng)）的光波強(qiáng)度表示，然后通過(guò)通常由微環(huán)諧振器(MRRs)構(gòu)造的光子權(quán)重陣列對(duì)其進(jìn)行不同的光譜濾波，從而對(duì)輸入信號(hào)進(jìn)行加權(quán)。最終如下圖所示，平衡光電二極管(BPD)通過(guò)采集不同波段中所有信號(hào)的總光功率實(shí)現(xiàn)加權(quán)線性求和。這種體系結(jié)構(gòu)被認(rèn)為可能與主流的硅光子器件平臺(tái)兼容。在最近的工作中，WDM架構(gòu)與基于光子芯片的微頻梳相結(jié)合，可以顯著提高數(shù)據(jù)處理速度和容量。非易失性相變材料也被集成到波導(dǎo)上以實(shí)現(xiàn)在芯片上局部存儲(chǔ)加權(quán)值。最近發(fā)表在Nature上論文展示基于這一框架的光向量卷積加速器每秒可以執(zhí)行超過(guò)10萬(wàn)億次的操作。

圖5.波分復(fù)用實(shí)現(xiàn)線性加權(quán)總和圖

另外，光的向量矩陣乘法運(yùn)算，也可以通過(guò)光在納米光子介質(zhì)的傳播實(shí)現(xiàn)，進(jìn)入介質(zhì)的輸入光強(qiáng)空間分布表示輸入圖像模式。光場(chǎng)通過(guò)介質(zhì)后的輸出強(qiáng)度空間分布表示計(jì)算結(jié)果（如圖像分類結(jié)果）。介質(zhì)由主體材料和不同折射系數(shù)的摻雜物組成，摻雜物對(duì)光的散射更強(qiáng)。通過(guò)適當(dāng)優(yōu)化摻雜物的位置和形狀，可以將介質(zhì)內(nèi)的光場(chǎng)散射，實(shí)現(xiàn)矢量與權(quán)重矩陣的乘法。

與全連接的神經(jīng)網(wǎng)絡(luò)相比，卷積神經(jīng)網(wǎng)絡(luò)(CNN)中的神經(jīng)元的連接更稀疏。此外，多個(gè)連接可以共享相同的權(quán)重值。CNN中相鄰兩層神經(jīng)元之間的向量矩陣乘法運(yùn)算本質(zhì)上是一種卷積運(yùn)算。在數(shù)學(xué)上，輸入圖像和核之間的卷積等價(jià)于輸入圖像的傅里葉濾波。在光學(xué)中，包含圖像信息的輸入光場(chǎng)的傅里葉變換和傅里葉反變換可以很容易地通過(guò)4f雙透鏡系統(tǒng)來(lái)實(shí)現(xiàn)。根據(jù)卷積核而設(shè)計(jì)的濾波掩膜可以放置在4f設(shè)置的傅里葉平面上。一些研究中也中進(jìn)一步實(shí)現(xiàn)了在傅里葉域內(nèi)進(jìn)行卷積的廣義光子張量操作處理器。卷積操作也可以通過(guò)其它方式實(shí)現(xiàn)，如級(jí)聯(lián)聲光調(diào)制器陣列、波分復(fù)用加光延遲線或色散誘導(dǎo)延遲等。

如果一個(gè)神經(jīng)網(wǎng)絡(luò)是完全線性的，沒(méi)有任何非線性激活函數(shù)，那么即使物理上存在多層線性變換，其有效的計(jì)算也只等價(jià)于單層，因?yàn)槎鄠€(gè)矩陣的乘法結(jié)果仍然是一個(gè)單一的矩陣。為了實(shí)現(xiàn)全光深度神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)非線性激活函數(shù)是必不可少的。但光學(xué)中的非線性過(guò)程不容易通過(guò)實(shí)驗(yàn)實(shí)現(xiàn)，這使得以可行方式實(shí)現(xiàn)非線性激活功能成為光學(xué)神經(jīng)網(wǎng)絡(luò)研究中最具挑戰(zhàn)性的問(wèn)題之一。

在許多光學(xué)神經(jīng)網(wǎng)絡(luò)研究中，只有線性操作是光學(xué)實(shí)現(xiàn)，非線性操作通常是模擬實(shí)現(xiàn)的。一般來(lái)說(shuō)，非線性激活函數(shù)可以由電子元件和光學(xué)元件組成的混合系統(tǒng)實(shí)現(xiàn)，但由于光學(xué)信號(hào)和電子信號(hào)之間的相互轉(zhuǎn)換，這種方法不可避免地降低光學(xué)計(jì)算的性能。理想的方案是使用純光學(xué)元件實(shí)現(xiàn)非線性激活函數(shù)，最近研究中，電磁誘導(dǎo)透明(EIT)的使用證明了光學(xué)實(shí)現(xiàn)非線性層的實(shí)際可行性。如下圖所示,EIT是指一束光在介質(zhì)中的穿透能力由另一束光所控制的非線性光學(xué)現(xiàn)象。理論上，EIT可以發(fā)生在任何具有三重態(tài)的真實(shí)材料系統(tǒng)中，其中不同狀態(tài)之間的躍遷概率振幅取決于它們的粒子分布。

圖6.電磁誘導(dǎo)透明原理示意圖

一個(gè)深度學(xué)習(xí)網(wǎng)絡(luò)通常首先需要大量的樣本進(jìn)行訓(xùn)練，以優(yōu)化所有的權(quán)重系數(shù)。經(jīng)過(guò)訓(xùn)練后，網(wǎng)絡(luò)可以對(duì)樣本有效地執(zhí)行一定的預(yù)測(cè)任務(wù)。在許多光學(xué)神經(jīng)網(wǎng)絡(luò)的相關(guān)研究中，訓(xùn)練在計(jì)算機(jī)上完全數(shù)字化離線進(jìn)行，只有光學(xué)神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)操作是通過(guò)光學(xué)實(shí)驗(yàn)進(jìn)行的。事實(shí)上，對(duì)光學(xué)神經(jīng)網(wǎng)絡(luò)在線訓(xùn)練在一定程度上也可以實(shí)現(xiàn)。

目前很多關(guān)于級(jí)聯(lián)馬赫·曾德爾干涉儀網(wǎng)格的在線訓(xùn)練研究已經(jīng)在進(jìn)行之中。誤差反向傳播是數(shù)字深度神經(jīng)網(wǎng)絡(luò)中應(yīng)用最廣泛的訓(xùn)練算法，在設(shè)計(jì)算法時(shí)，伴隨變量法經(jīng)常用于推導(dǎo)級(jí)聯(lián)馬赫·曾德爾干涉儀網(wǎng)格的反向傳播算法。在訓(xùn)練中，梯度可以通過(guò)級(jí)聯(lián)馬赫·曾德爾干涉儀網(wǎng)格不同節(jié)點(diǎn)上的光強(qiáng)度來(lái)測(cè)量。另外，可以使用前向傳播和沒(méi)有反向傳播的有限差分法對(duì)級(jí)聯(lián)馬赫·曾德爾干涉儀系統(tǒng)進(jìn)行片上在線訓(xùn)練。

很多研究者使用遺傳算法和粒子群優(yōu)化兩種進(jìn)化算法，對(duì)在線訓(xùn)練的級(jí)聯(lián)馬赫·曾德爾干涉儀網(wǎng)格參數(shù)進(jìn)行優(yōu)化。這些全局優(yōu)化算法是無(wú)梯度的，可以避免陷入局部最優(yōu)解的問(wèn)題。

而對(duì)于D2NN結(jié)構(gòu)，在線訓(xùn)練方法目前也被廣泛研究。深度神經(jīng)網(wǎng)絡(luò)的標(biāo)準(zhǔn)訓(xùn)練算法是基于誤差反向傳播，而通過(guò)光路可逆和相位共軛原理，通過(guò)測(cè)量前向和后向傳播的光場(chǎng)強(qiáng)度，也可以在線獲得梯度值。每一層靜態(tài)光衍射器件可以被替換為一個(gè)空間光調(diào)制器，用于動(dòng)態(tài)訓(xùn)練和參數(shù)更新。實(shí)際輸出光場(chǎng)與目標(biāo)光場(chǎng)之間的殘差可以由一個(gè)復(fù)振幅光場(chǎng)生成器產(chǎn)生，用于光場(chǎng)反向傳播。仿真結(jié)果表明，與離線計(jì)算機(jī)訓(xùn)練相比，在線訓(xùn)練方案可以明顯降低計(jì)算成本。

對(duì)于其他的光學(xué)神經(jīng)網(wǎng)絡(luò)架構(gòu)，如果有適當(dāng)?shù)膬?yōu)化算法、準(zhǔn)確的實(shí)驗(yàn)測(cè)量和動(dòng)態(tài)編碼的光學(xué)元件，也可以實(shí)現(xiàn)光學(xué)系統(tǒng)上的在線訓(xùn)練。

2. 光蓄水池計(jì)算(RC)

與前饋神經(jīng)網(wǎng)絡(luò)相比,遞歸神經(jīng)網(wǎng)絡(luò)因?yàn)閮?nèi)部反饋回路的存在,具有記憶和聯(lián)想的能力,可用于時(shí)序信息處理。蓄水池神經(jīng)網(wǎng)絡(luò)就是遞歸神經(jīng)網(wǎng)絡(luò)的一種,它由回聲狀態(tài)網(wǎng)絡(luò)和液體狀態(tài)機(jī)發(fā)展而來(lái)。由于其在處理時(shí)間序列數(shù)據(jù)方面的特殊優(yōu)勢(shì)，該架構(gòu)在執(zhí)行時(shí)序信號(hào)預(yù)測(cè)和語(yǔ)音識(shí)別等任務(wù)時(shí)顯示出了較好適應(yīng)性。蓄水池神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)通常由一個(gè)固定的非線性系統(tǒng)組成，如蓄水池節(jié)點(diǎn)，它允許輸入信號(hào)在高維空間中轉(zhuǎn)換為時(shí)空狀態(tài)。通過(guò)訓(xùn)練一個(gè)儲(chǔ)存態(tài)的讀取器來(lái)確定蓄水池動(dòng)態(tài)，從而獲得蓄水池的時(shí)間輸出數(shù)據(jù)。蓄水池神經(jīng)網(wǎng)絡(luò)的內(nèi)部結(jié)構(gòu)如下圖所示。

圖7.蓄水池神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

蓄水池神經(jīng)網(wǎng)絡(luò)由三層神經(jīng)元構(gòu)成,分別為輸入層、中間層和輸出層,中間層也被稱為蓄水池。蓄水池層是整個(gè)神經(jīng)網(wǎng)絡(luò)中最復(fù)雜也是最重要的部分,其內(nèi)部神經(jīng)元的互連有著“稀疏、隨機(jī)且固定”的特點(diǎn):稀疏是指蓄水池層內(nèi)的一個(gè)神經(jīng)元不需要與其他神經(jīng)元一一完全連接;隨機(jī)是指不需要特意為蓄水池內(nèi)部神經(jīng)元設(shè)計(jì)互連架構(gòu),實(shí)際上,蓄水池內(nèi)部的連接狀態(tài)可以是未知的;固定是指在蓄水池訓(xùn)練過(guò)程中,不需要改變其內(nèi)部神經(jīng)元的互連權(quán)值。蓄水池的這些特點(diǎn)充分模擬了人類大腦中生物神經(jīng)元的互連方式和動(dòng)態(tài)特性。目前，關(guān)于蓄水池神經(jīng)網(wǎng)絡(luò)的光計(jì)算的研究主要集中在兩個(gè)方向，一種是全光學(xué)類的蓄水池計(jì)算，另一種是光電類蓄水池的計(jì)算。所謂全光類蓄水池，就是在蓄水池神經(jīng)網(wǎng)絡(luò)中的蓄水池的實(shí)現(xiàn)是完全模擬光的傳播過(guò)程，光電類蓄水池的計(jì)算即表示結(jié)合光電的方法實(shí)現(xiàn)蓄水池模型。RC的全光和光電實(shí)現(xiàn)之間的差異取決于不同類型的蓄水池和輸入層。

超高速計(jì)算和低功耗是全光RC系統(tǒng)的主要優(yōu)點(diǎn)。常見的基于全光結(jié)構(gòu)RC可以分為兩種：空間分布的RC和基于延遲線的RC。

利用衍射光學(xué)元件是實(shí)現(xiàn)空間分布的光子RC的一種方法。2015年，Bruner和Fischer提出的垂直腔表面發(fā)射激光器(VCSELs)網(wǎng)絡(luò)就是典型的空間分布的RC，如下圖所示。該RC結(jié)構(gòu)中，VCSEL陣列晶格間距與成像透鏡焦距的組合可以在相鄰激光器的主射線之間形成一個(gè)角度，通過(guò)透鏡的焦距來(lái)調(diào)節(jié)，從而調(diào)節(jié)衍射光學(xué)元件實(shí)現(xiàn)激光的耦合和衍射復(fù)用。

圖8. 衍射光學(xué)元件實(shí)現(xiàn)蓄水神經(jīng)網(wǎng)絡(luò)圖

為了簡(jiǎn)化光子系統(tǒng)的復(fù)雜硬件，科研工作者們引入了一種新型的基于延遲線RC的光學(xué)系統(tǒng)，這種全光學(xué)神經(jīng)網(wǎng)絡(luò)通常需要結(jié)合半導(dǎo)體激光器、半導(dǎo)體光學(xué)放大器或者無(wú)源光腔來(lái)實(shí)現(xiàn)。他們將一個(gè)反饋結(jié)構(gòu)分成一系列虛擬節(jié)點(diǎn)和一個(gè)非線性節(jié)點(diǎn)形成一個(gè)循環(huán)。與具有高網(wǎng)絡(luò)自由度的空間分布式RC相比，這類蓄水池是固定的，因此一般在更傳統(tǒng)的光通信硬件中運(yùn)用較多。半導(dǎo)體光放大器具有豐富的內(nèi)部動(dòng)態(tài),且其增益容易飽和的特點(diǎn)可以為神經(jīng)網(wǎng)絡(luò)提供非線性層。

在研究全光類蓄水池神經(jīng)網(wǎng)絡(luò)的同時(shí)，科研工作者也在關(guān)注將光和電相結(jié)合，以設(shè)計(jì)可應(yīng)用于不同場(chǎng)合的光電蓄水池神經(jīng)網(wǎng)絡(luò)，綜述中將光電類蓄水池神經(jīng)網(wǎng)絡(luò)分為兩類：片上蓄水池神經(jīng)網(wǎng)絡(luò)和自由空間蓄水池空間網(wǎng)絡(luò)。目前，基于光電系統(tǒng)的蓄水池模型在語(yǔ)音識(shí)別、混沌時(shí)間預(yù)測(cè)和雷達(dá)信號(hào)預(yù)測(cè)等領(lǐng)域得到了廣泛的應(yīng)用。目前的光電蓄水池神經(jīng)網(wǎng)絡(luò)處理速度已經(jīng)實(shí)現(xiàn)了兆赫茲的速度，并在可預(yù)見的未來(lái)，具有達(dá)到千兆赫茲速度的潛力。

片上蓄水池，顧名思義，就是結(jié)合硬件芯片模擬蓄水池神經(jīng)網(wǎng)絡(luò)?；诠杌椎钠闲钏厣窠?jīng)網(wǎng)絡(luò)在2008年就被比利時(shí)根特大學(xué)的Vandoorne等人提出，整個(gè)網(wǎng)絡(luò)模型由波導(dǎo)、光學(xué)組合器和光分波器三部分組成。研究人員發(fā)現(xiàn)，通過(guò)標(biāo)準(zhǔn)的快速光電二極管可以在片上蓄水池神經(jīng)網(wǎng)絡(luò)中可以進(jìn)行檢測(cè)，并解決非線性問(wèn)題。然而，由于這類系統(tǒng)依賴于探測(cè)器中的光電轉(zhuǎn)換，因此它不能進(jìn)行全光學(xué)操作。

在設(shè)計(jì)片上蓄水池神經(jīng)網(wǎng)絡(luò)時(shí)，經(jīng)常會(huì)考慮使用無(wú)源組件，其優(yōu)點(diǎn)在于帶寬較寬，甚至可以同步地將多個(gè)波長(zhǎng)發(fā)送到系統(tǒng)中，從而實(shí)現(xiàn)頻率復(fù)用。但其缺點(diǎn)是隨著芯片擴(kuò)展到更多的節(jié)點(diǎn)，光損耗可能相當(dāng)大，很難實(shí)現(xiàn)所有節(jié)點(diǎn)的并行測(cè)量。在無(wú)源組件網(wǎng)絡(luò)中，輸入信號(hào)時(shí)鐘的頻率和內(nèi)存時(shí)間尺度依賴于分離節(jié)點(diǎn)之間的傳播延遲，這將要求高達(dá)數(shù)百個(gè)Gbit/s的高注入頻率。

基于硬件的蓄水池神經(jīng)網(wǎng)絡(luò)的輸入和輸出層通常是通過(guò)計(jì)算機(jī)離線仿真的，為了在未來(lái)可以開發(fā)更為復(fù)雜的蓄水池計(jì)算機(jī)，目前科研人員已經(jīng)開始嘗試通過(guò)硬件模擬實(shí)現(xiàn)三層蓄水池神經(jīng)網(wǎng)絡(luò)包括蓄水池部分。如下圖就是一個(gè)使用硬件模擬蓄水池計(jì)算機(jī)的案例，其輸入層可以通過(guò)具有兩種不同正弦頻率的掩模來(lái)實(shí)現(xiàn)。輸出層分別通過(guò)馬赫-澤德調(diào)制器(MZM)獲得光蓄水池中的信號(hào)和 RLC濾波器對(duì)平衡光電二極管的輸出信號(hào)進(jìn)行濾波，整個(gè)模擬系統(tǒng)的輸出通過(guò)蓄水池計(jì)算機(jī)的終端輸出。

圖9.硬件模擬三層蓄水池神經(jīng)網(wǎng)絡(luò)圖

實(shí)現(xiàn)光電類蓄水池神經(jīng)網(wǎng)絡(luò)也可以通過(guò)光的自由空間傳播實(shí)現(xiàn)，比如通過(guò)空間可擴(kuò)展的數(shù)字微鏡器件和空間光調(diào)制器實(shí)現(xiàn)蓄水池神經(jīng)網(wǎng)絡(luò)。2018年，Bueno等人證明了包含空間光調(diào)制器、衍射光學(xué)元件和相機(jī)的光學(xué)系統(tǒng)可以存儲(chǔ)多達(dá)2500個(gè)衍射耦合光子節(jié)點(diǎn)的網(wǎng)絡(luò)。Dong等人通過(guò)數(shù)字微鏡器二元編碼輸入光強(qiáng)信息并調(diào)控蓄水池。后來(lái)，他們應(yīng)用相同的方法，使用純相位空間光調(diào)制器獲得了一個(gè)大規(guī)模的光蓄水池網(wǎng)絡(luò)。利用空間相位分布，蓄水池網(wǎng)絡(luò)可以引入輸入和蓄水池信息。2020年，Rafayelyan等人的科研成果表明，強(qiáng)散射介質(zhì)在光網(wǎng)絡(luò)中起著關(guān)鍵作用，以保證眾多光子節(jié)點(diǎn)之間的隨機(jī)耦合權(quán)重以及網(wǎng)絡(luò)中的并行處理。多維大型混沌系統(tǒng)的預(yù)測(cè)任務(wù)已經(jīng)在其大型系統(tǒng)中得到了驗(yàn)證，其具有較高的預(yù)測(cè)精度和相對(duì)較高的速度以及較低的功耗。該網(wǎng)絡(luò)已經(jīng)證明了處理更大數(shù)據(jù)集的潛在可擴(kuò)展性能力。

隨著納米光子學(xué)和蓄水池神經(jīng)網(wǎng)絡(luò)的復(fù)合結(jié)構(gòu)的出現(xiàn)，一種新的光學(xué)信息處理框架正在引領(lǐng)這一領(lǐng)域，其相對(duì)于傳統(tǒng)方法具有低功耗和超快計(jì)算速度的優(yōu)點(diǎn)。超高速光學(xué)非線性和超低功耗光學(xué)器件也可能為光子蓄水池帶來(lái)光明的未來(lái)，提升蓄水池在速度和功率效率方面的性能。此外，具有多節(jié)點(diǎn)蓄水池的光子芯片的可擴(kuò)展性還需要在未來(lái)進(jìn)一步研究。

3. 脈沖神經(jīng)網(wǎng)絡(luò)

脈沖神經(jīng)網(wǎng)絡(luò)(SNNs)被認(rèn)為是生物學(xué)和神經(jīng)科學(xué)的交叉學(xué)科，其結(jié)構(gòu)包括前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和遞歸神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。與前饋神經(jīng)網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)相比，SNNs在神經(jīng)形態(tài)計(jì)算中得到了更廣泛的應(yīng)用。除了meta模型外，SNNs中的神經(jīng)元只有在其膜電位達(dá)到閾值時(shí)才會(huì)被激活。當(dāng)一個(gè)神經(jīng)元被激活時(shí)，一個(gè)信號(hào)被產(chǎn)生并傳遞來(lái)改變級(jí)聯(lián)神經(jīng)元的膜電位。在SNNs中，神經(jīng)元當(dāng)前的激活水平通常被建模為一個(gè)微分方程。激活水平在刺激峰值到達(dá)后上升，并持續(xù)一段時(shí)間，然后逐漸下降。

SNNs增強(qiáng)了處理時(shí)空數(shù)據(jù)的能力。一方面，SNNs中的神經(jīng)元只與附近的神經(jīng)元連接，并進(jìn)行單獨(dú)處理，以增強(qiáng)處理空間信息的能力。另一方面，由于訓(xùn)練依賴于脈沖間隔，因此可以從脈沖的時(shí)間信息中檢索到二進(jìn)制代碼中丟失的信息，從而提高了處理時(shí)間信息的能力。事實(shí)表明，脈沖神經(jīng)元是傳統(tǒng)人工神經(jīng)元更好的計(jì)算單元。然而，由于SNNs的訓(xùn)練和物理實(shí)施方面的困難，它們尚未得到廣泛應(yīng)用。

大多數(shù)關(guān)于SNNs的研究工作仍然集中在理論分析和簡(jiǎn)單結(jié)構(gòu)的驗(yàn)證上，包括SNNs的訓(xùn)練算法和光學(xué)硬件實(shí)現(xiàn)。

2016年，普林斯頓大學(xué)的Prucnal研究小組提出了一種基于可激活的石墨烯光纖激光器的脈沖處理系統(tǒng)。該系統(tǒng)包含一個(gè)摻鉺光纖（增益部分），一個(gè)石墨烯飽和吸收器（損耗部分），一個(gè)980nm吸收器作為泵浦源，以及一個(gè)1480nm激光器，攜帶脈沖激勵(lì)信號(hào)來(lái)刺激系統(tǒng)產(chǎn)生觸發(fā)脈沖神經(jīng)元反應(yīng)。2018年，該研究團(tuán)隊(duì)提出了一種基于分布式反饋(DFB)激光結(jié)構(gòu)的神經(jīng)形態(tài)光子集成電路。此外，研究小組還討論了構(gòu)建可編程和可級(jí)聯(lián)光子神經(jīng)網(wǎng)絡(luò)的可行方案，包括傳播-加權(quán)(B&W)網(wǎng)絡(luò)原型和相干光學(xué)架構(gòu)。其中，B&W網(wǎng)絡(luò)原型是一種能夠支持大規(guī)模光子脈沖神經(jīng)元并行互連的網(wǎng)絡(luò)架構(gòu)。SNNs的訓(xùn)練方法主要遵循監(jiān)督學(xué)習(xí)算法，包括：①SpikeProp算法,它利用梯度下降，通常用于多層前饋人工神經(jīng)網(wǎng)絡(luò)；②Tempotron 算法，利用脈沖序列輸出與預(yù)期序列之間的差值來(lái)改變網(wǎng)絡(luò)的權(quán)重；③基于突觸等質(zhì)體的算法，如赫邊學(xué)習(xí)算法;④遠(yuǎn)程監(jiān)督學(xué)習(xí)算法，如Resume算法；和⑤基于脈沖序列卷積的監(jiān)督學(xué)習(xí)算法，如SPAN算法和PSD算法。

2019年，F(xiàn)eldmann等人提出了另一種基于相變材料的脈沖神經(jīng)網(wǎng)絡(luò)方案，并采用該方案對(duì)光子神經(jīng)元進(jìn)行非線性變換。光控相變是一種工作狀態(tài)，晶體和非晶材料之間的工作狀態(tài)由輸入光功率控制。當(dāng)輸入的光功率低于閾值時(shí)，相變材料處于晶體狀態(tài)，并吸收大量的光強(qiáng)。當(dāng)輸入光功率高于閾值時(shí)，相變材料處于非晶態(tài)，大部分光功強(qiáng)可以通過(guò)閾值。因此，將材料集成到光傳輸介質(zhì)中可以根據(jù)輸入的光強(qiáng)來(lái)改變材料的光透導(dǎo)率。這樣，它就能夠作為光學(xué)神經(jīng)元的激活函數(shù)。

與TrueNorth、神經(jīng)網(wǎng)格和SpiNNaker等電子實(shí)現(xiàn)的SNN相比，光子實(shí)現(xiàn)的SNN利用光處理信息，有更高的帶寬和數(shù)據(jù)吞吐量以及更低的延遲。很多研究成果表明，使用硅/III-V混合平臺(tái)的光電SNN可達(dá)到20GHz的處理速率，比純電子SNN高出6個(gè)數(shù)量級(jí)以上。由于能量主要由激光源消耗，無(wú)源濾波器損耗的電流很低，硅/III-V混合平臺(tái)的能量效率為0.26pJ，大約比電子神經(jīng)網(wǎng)絡(luò)高3個(gè)數(shù)量級(jí)，比SpiNNaker高6個(gè)數(shù)量級(jí)以上。通過(guò)使用優(yōu)化的亞波長(zhǎng)結(jié)構(gòu)（如光子晶體）和波長(zhǎng)多路復(fù)用，可以進(jìn)一步提高神經(jīng)形態(tài)光子平臺(tái)的計(jì)算性能。

展望

雖然光計(jì)算在不同的AI模型中得到了廣泛的應(yīng)用，但也面臨著各種挑戰(zhàn)，實(shí)際應(yīng)用中尚未獲得明顯優(yōu)于傳統(tǒng)電子處理器的性能證明。例如：如何在響應(yīng)時(shí)間短、對(duì)探測(cè)光功耗要求低、數(shù)據(jù)并行的情況下獲得比較強(qiáng)的光學(xué)非線性特性？如何在不同架構(gòu)中優(yōu)化非線性表征？如何在低功耗的芯片上實(shí)現(xiàn)高速大規(guī)?？芍貥?gòu)計(jì)算？如何將不同的光學(xué)器件集成到單個(gè)芯片上，特別是與外部器件連接?如何為不同的任務(wù)設(shè)計(jì)具有自動(dòng)化設(shè)計(jì)軟件的光學(xué)神經(jīng)網(wǎng)絡(luò)？盡管未來(lái)仍有許多問(wèn)題有待解決，但目前的光學(xué)模擬計(jì)算技術(shù)在速度、數(shù)據(jù)并行和功耗方面已經(jīng)表現(xiàn)出了光技術(shù)的獨(dú)特潛力。

下一步，作者認(rèn)為需要進(jìn)一步努力克服光計(jì)算的關(guān)鍵缺陷，并在不同的實(shí)際應(yīng)用中展示光學(xué)計(jì)算相對(duì)于電子學(xué)計(jì)算的優(yōu)越性。如上所述，不同的架構(gòu)可能適合于專門的特定任務(wù)。光學(xué)計(jì)算中對(duì)自由空間中部分相干光場(chǎng)的傳播和調(diào)制模型的建立有助于計(jì)算機(jī)視覺(jué)中對(duì)數(shù)據(jù)的高速處理。由于自動(dòng)駕駛等自然場(chǎng)景中的大部分光線是非相干的，目前相干的衍射神經(jīng)網(wǎng)絡(luò)模型難以發(fā)揮作用。由于非線性特性在深度神經(jīng)網(wǎng)絡(luò)中起著至關(guān)重要的作用，因此，采用低功耗、低延遲的光學(xué)方式實(shí)現(xiàn)非線性激活函數(shù)可以顯著提升當(dāng)前神經(jīng)網(wǎng)絡(luò)的精度。存儲(chǔ)和訪問(wèn)是擴(kuò)展神經(jīng)形態(tài)處理器所需的基礎(chǔ)技術(shù)，構(gòu)建具有極快讀寫速度的光學(xué)隨機(jī)存儲(chǔ)器一直是一個(gè)挑戰(zhàn)，這為光計(jì)算和存儲(chǔ)的特殊材料的發(fā)展提供了巨大機(jī)遇。盡管使用了龐大的系統(tǒng)，但自由空間的光學(xué)計(jì)算可能會(huì)加速不需要便攜式系統(tǒng)的各種數(shù)據(jù)中心的云計(jì)算。我們期待更先進(jìn)的具有更高的迭代速度（高達(dá)MHz和千兆像素?cái)?shù)）的空間光調(diào)制器出現(xiàn)。高速和低功耗光電轉(zhuǎn)換在目前的過(guò)渡階段變得越來(lái)越重要，其在實(shí)際應(yīng)用中需要光子學(xué)和電子學(xué)的發(fā)展?，F(xiàn)狀表明，在不久的將來(lái)，光學(xué)計(jì)算會(huì)有越來(lái)越多的突破。

此綜述回顧了近些年光學(xué)計(jì)算在用于實(shí)現(xiàn)人工智能專用硬件方面的發(fā)展。主要介紹了幾個(gè)在不同架構(gòu)下具有代表性和獨(dú)特優(yōu)勢(shì)的光學(xué)模擬人工智能模型。盡管大多數(shù)模型仍處于概念驗(yàn)證的初級(jí)階段，但我們預(yù)期這些架構(gòu)在未來(lái)實(shí)際應(yīng)用中將在計(jì)算速度或功耗方面取得數(shù)量級(jí)的改進(jìn)。我們相信，隨著光子學(xué)、電子學(xué)、材料學(xué)、制造學(xué)、計(jì)算機(jī)科學(xué)和生物學(xué)等不同領(lǐng)域研究者的不斷努力，作為通向全光計(jì)算機(jī)的過(guò)渡階段，使用光電混合計(jì)算機(jī)來(lái)加速人工智能訓(xùn)練和推理將很快成為現(xiàn)實(shí)。

論文信息：

Please cite this article as: J. Wu, X. Lin, Y. Guo, J. Liu, L. Fang, S. Jiao, Q. Dai, Analog Optical Computing forArtificial Intelligence, Engineering (2021)

https://doi.org/10.1016/j.eng.2021.06.021

監(jiān)制 | 趙陽(yáng)

編輯 | 趙唯

歡迎課題組投稿——新聞稿

轉(zhuǎn)載/合作/課題組投稿，微信：447882024

帶您每天讀1篇文獻(xiàn)！加入>Light讀書會(huì)