近日,清華大學集成電路學院的研究團隊在人工智能視覺系統領域取得了重大突破,成功研制了具有多模態的感存算一體化光電憶阻器陣列,并搭建了單片集成的感內計算原型系統。該系統能夠高效處理多階視覺任務,為自動駕駛、具身智能等前沿領域的發展提供了強有力的技術支撐。 傳統視覺芯片架構中,傳感、計算和存儲單元的分離導致了大量數據的轉換和傳輸,進而帶來了延時和能耗問題。為了解決這一難題,清華大學集成電路學院團隊受生物視覺系統啟發,研制了感內計算(in-sensor computing)架構。該架構能夠在傳感端進行原位信息處理,實現感存算一體化,顯著減少數據冗余傳輸,降低系統延時與能耗。 然而,視覺感內計算研究尚處于起步階段,硬件層面和算法架構層面均面臨諸多挑戰。針對這些挑戰,清華大學集成電路學院團隊創新性地研制了多模態感存算一體化光電憶阻器陣列。該系統片上集成了1kb(1024個)1T-1OEM光電憶阻器陣列與硅CMOS外圍電路,基于TiOx/ZnO的新型光電憶阻器具有多種工作模式,包括電學憶阻器(EM)、動態光電憶阻器(D-OEM)和非易失性光電憶阻器(NV-OEM)模式。這些模式可通過光電激勵引發的電荷密度分布變化來進行有效調控,為處理多階視覺任務提供了堅實基礎。 研究團隊設計并制備了一種新型的雙層氧化物光電憶阻器,其結構為Pd/TiOx/ZnO/TiN,在器件中引入TiOx界面層以增強阻變的穩定性并提升光電響應。通過光電激勵,可以調控器件三種不同的工作模式:原始狀態為光電脈沖激勵下的動態響應模式、電壓脈沖激勵下的循環阻變模式以及在電學Forming后的非易失性光電響應模式。為進一步闡明光電憶阻器的多模態調控機制,團隊采用了差分相位對比掃描透射電子顯微鏡(DPC-STEM)這一前沿成像技術,精確觀測了光電調控過程中ZnO內部電荷密度的分布變化。 基于該光電憶阻器陣列,研究團隊演示了多種場景的智能視覺信息處理任務。在圖像傳感預處理任務中,利用NV-OEM模式可以將圖像識別率從85.7%提升至97.6%;在高階認知任務中,利用D-OEM與NV-OEM陣列協同工作演示多目標定位跟蹤,在模擬環境噪聲的干擾下,通過多次訓練依然可以實現96.1%的高準確率;在此基礎上,首次構建了基于全光電憶阻器的儲備池計算系統,由18個D-OEM模式器件構成儲備池層和1024×5個EM模式器件構成讀出層,在人體運動識別任務中以極低能耗實現了91.2%的準確率。 此次研究成果以“面向多場景感內計算的全集成多模態光電憶阻器陣列”(Fully integrated multi-mode optoelectronic memristor array for diversified in-sensor computing)為題,于11月8日在線發表于《自然·納米技術》(Nature Nanotechnology)。 |