近日,清華大學(xué)集成電路學(xué)院的研究團(tuán)隊(duì)在人工智能視覺(jué)系統(tǒng)領(lǐng)域取得了重大突破,成功研制了具有多模態(tài)的感存算一體化光電憶阻器陣列,并搭建了單片集成的感內(nèi)計(jì)算原型系統(tǒng)。該系統(tǒng)能夠高效處理多階視覺(jué)任務(wù),為自動(dòng)駕駛、具身智能等前沿領(lǐng)域的發(fā)展提供了強(qiáng)有力的技術(shù)支撐。 傳統(tǒng)視覺(jué)芯片架構(gòu)中,傳感、計(jì)算和存儲(chǔ)單元的分離導(dǎo)致了大量數(shù)據(jù)的轉(zhuǎn)換和傳輸,進(jìn)而帶來(lái)了延時(shí)和能耗問(wèn)題。為了解決這一難題,清華大學(xué)集成電路學(xué)院團(tuán)隊(duì)受生物視覺(jué)系統(tǒng)啟發(fā),研制了感內(nèi)計(jì)算(in-sensor computing)架構(gòu)。該架構(gòu)能夠在傳感端進(jìn)行原位信息處理,實(shí)現(xiàn)感存算一體化,顯著減少數(shù)據(jù)冗余傳輸,降低系統(tǒng)延時(shí)與能耗。 然而,視覺(jué)感內(nèi)計(jì)算研究尚處于起步階段,硬件層面和算法架構(gòu)層面均面臨諸多挑戰(zhàn)。針對(duì)這些挑戰(zhàn),清華大學(xué)集成電路學(xué)院團(tuán)隊(duì)創(chuàng)新性地研制了多模態(tài)感存算一體化光電憶阻器陣列。該系統(tǒng)片上集成了1kb(1024個(gè))1T-1OEM光電憶阻器陣列與硅CMOS外圍電路,基于TiOx/ZnO的新型光電憶阻器具有多種工作模式,包括電學(xué)憶阻器(EM)、動(dòng)態(tài)光電憶阻器(D-OEM)和非易失性光電憶阻器(NV-OEM)模式。這些模式可通過(guò)光電激勵(lì)引發(fā)的電荷密度分布變化來(lái)進(jìn)行有效調(diào)控,為處理多階視覺(jué)任務(wù)提供了堅(jiān)實(shí)基礎(chǔ)。 研究團(tuán)隊(duì)設(shè)計(jì)并制備了一種新型的雙層氧化物光電憶阻器,其結(jié)構(gòu)為Pd/TiOx/ZnO/TiN,在器件中引入TiOx界面層以增強(qiáng)阻變的穩(wěn)定性并提升光電響應(yīng)。通過(guò)光電激勵(lì),可以調(diào)控器件三種不同的工作模式:原始狀態(tài)為光電脈沖激勵(lì)下的動(dòng)態(tài)響應(yīng)模式、電壓脈沖激勵(lì)下的循環(huán)阻變模式以及在電學(xué)Forming后的非易失性光電響應(yīng)模式。為進(jìn)一步闡明光電憶阻器的多模態(tài)調(diào)控機(jī)制,團(tuán)隊(duì)采用了差分相位對(duì)比掃描透射電子顯微鏡(DPC-STEM)這一前沿成像技術(shù),精確觀測(cè)了光電調(diào)控過(guò)程中ZnO內(nèi)部電荷密度的分布變化。 ![]() ![]() ![]() ![]() 基于該光電憶阻器陣列,研究團(tuán)隊(duì)演示了多種場(chǎng)景的智能視覺(jué)信息處理任務(wù)。在圖像傳感預(yù)處理任務(wù)中,利用NV-OEM模式可以將圖像識(shí)別率從85.7%提升至97.6%;在高階認(rèn)知任務(wù)中,利用D-OEM與NV-OEM陣列協(xié)同工作演示多目標(biāo)定位跟蹤,在模擬環(huán)境噪聲的干擾下,通過(guò)多次訓(xùn)練依然可以實(shí)現(xiàn)96.1%的高準(zhǔn)確率;在此基礎(chǔ)上,首次構(gòu)建了基于全光電憶阻器的儲(chǔ)備池計(jì)算系統(tǒng),由18個(gè)D-OEM模式器件構(gòu)成儲(chǔ)備池層和1024×5個(gè)EM模式器件構(gòu)成讀出層,在人體運(yùn)動(dòng)識(shí)別任務(wù)中以極低能耗實(shí)現(xiàn)了91.2%的準(zhǔn)確率。 此次研究成果以“面向多場(chǎng)景感內(nèi)計(jì)算的全集成多模態(tài)光電憶阻器陣列”(Fully integrated multi-mode optoelectronic memristor array for diversified in-sensor computing)為題,于11月8日在線發(fā)表于《自然·納米技術(shù)》(Nature Nanotechnology)。 |