Kneron KL630 基于耐能智慧神經網路架構的超高彈性配置之AI 相機應用方案

發布時間：2023-6-6 13:56 發布者：方案知識庫

Kneron KL630系列芯片采用TSMC 28nm先進技術節點，是專為各種專業和消費IP攝像機設計的新一代SoC，包括安全攝像機、家庭攝像機、視頻門鈴攝像機、防抖攝像機、180°和360°全景攝像機，以及作為家用電器和機器人相機。KL630系列芯片支持快速開發高質量和多鏡頭相機應用程序，提供多達 4 通道視頻輸入、獨立的高級多 ISP 管道（包括多曝光高動態范圍融合）以及專門的視頻質量增強功能，適用于多個寬-角度鏡頭和傳感器，加上片上去扭曲、拼接和混合，所有這些都用于高質量的實時全景攝像機視頻處理。其中內鉗Kneron 第三代神經網路架構內核，因此即時反應并分辨特定物件，減低誤判率。整體方案特點:

可重構NPU

耐能是可重構NPU領域的領導者，在行業創新提出動態存儲DMA提升記憶體訪問效率，以及動態支持同一個神經網路的不同數據精度需求，使得NPU芯片有ASIC高性能而又不犧牲數據密集型算法的可編程性。憑借獨特創新的架構和優異的性能，耐能團隊獲得IEEE CAS 2021年Darlington最佳論文獎。耐能第4代可重構NPU可以支持同時運行CNN和Transformer網路，既可做機器視覺，也可運行語義分析，且運算能效優異，為終端用戶提供更高性能、低功耗以及低成本的解決方案，可適用于各種終端設備的AI應用。

與僅面向特定應用的普通AI模型不同，耐能的可重構人工神經網路（RANN）技術更加靈活，可滿足不同應用需求并適應各種計算體系架構。

影像辨識軟體同硬件產品具有的特點一致，耐能的AI模型與算法除了具有低延遲、高算力和強性能等特點外，還可平衡性能、模型大小和復雜性。

耐能輕量級圖像識別算法主要包括人臉識別、身體與手勢識別、物體與場景識別等。在開發的標準SDK的釋放，就包括了這些模型。

第五代 ISP可以記錄具有可感知細節、真實色調層次和更低噪聲的圖像和視頻。其特點如下:

“Color Consistent”技術動態補償，減少顏色不連續和強度
“HDR”技術在高對比度場景中提供更清晰的細節，呈現更豐富準確的色彩呈現，讓真實世界的視覺體驗更加逼真。
“Smart Edge Enhancement”技術改善了由于鏡頭和傳感器的輕微錯位而導致的局部圖像模糊（失焦）
“多鏡頭和傳感器 ISP”技術可補償由于生產差異而從多個鏡頭和傳感器源拼接和/或融合的視頻的顏色和亮度偏差

智能 HEVC 編碼器盡可能顯著減少無用或不重要的數據，并在不中斷網絡帶寬的情況下保持高質量的視頻。

具有動態 ROI、GOP、FPS 和降噪的最新發展，可智能檢測感興趣區域，尤其是動態場景中的運動量；以不同的強度應用降噪；并相應地調整圖片組和幀率，以在不丟失每個重要細節的情況下實現出色的比特率節省
與視頻監控應用中的 H.264 編碼器相比，智能 HEVC 編碼器可實現極低的比特率，從而節省高達 60% 的網絡帶寬和本地存儲成本
魚眼引擎去扭曲、拼接、混合

支持180°/360°多通道魚眼去扭曲引擎引入了一種創新方式，結合了高性能硬件加速魚眼去扭曲器，允許實時去扭曲過程以顯著節省 CPU 負載，并靈活支持各種魚眼的幾何校正/廣角鏡頭提供業界領先的全景視頻形成質量。

去扭曲

支持多達 4 路視頻輸入
基于像素/塊的轉換的算法優化

拼接和混合

基于特征的匹配
幾何模型拼接
補償不同傳感器的顏色偏差

示意圖如下

智能視頻分析

AI On-Device”是基于神經網絡的設計，實時分析實時視頻的視覺特征，根據經過訓練的人（尤其是人臉）、寵物、汽車和任何感興趣的對象進行分類，以進行目標檢測以及認出，以便允許最終客戶擁有更好的隱私保護、數據本地化和更低的數據訪問延遲，以響應在設備站點上運行的任務。

無縫定制與內部 ISP 和去扭曲引擎的集成，即使使用廣角/魚眼鏡頭也能實現高精度檢測和識別

音頻增強和智能

創造性地應用機器學習方法來增強語音和音頻信號處理。VATICS 音頻技術激發了新穎而優雅的解決方案，以解決該領域最具挑戰性和長期存在的技術難題，例如噪聲抑制、聲學回聲消除、自動增益控制、動態范圍控制等。優點包括，

具有競爭力的性能，占地面積更小。與市場上的解決方案相比，最多減少 30% 的計算資源
較低的硬件設計限制
基于機器學習的內部引擎減少了巨大的人工調整工作

高效能的應用工具PQ Tool 跟 Fisheye Correction Tool

PQ Tool，提供快速完整的影像調整工具

EZ調諧

有10個設置與17個區塊一致，以適應當前架構中的iso變化。我們可以通過鍵入或直接拉動卷軸來改變數值�？梢圆榭慈缦赂綀D

Fisheye Correction Tool

可以及時調整及時檢視

KL630系列芯片提供設計上的彈性，可以基于PCB版端的設計考量，有支援外掛記憶體與內建記憶體的選型，包括了多個系列，如下表所列:

KL630系列之AI相機 (安防、家用、其他應用)的選型表如下表:

Kneron 同步提供方塊示意圖與主要的AP 函數，讓客戶可以快速上手。

KL630系列之AI相機 (行車紀錄器)的選型表如下表:

Kneron 同步提供方塊示意圖與主要的AP 函數，讓客戶可以快速上手。

KL630系列之AI相機 (工業相機)的選型表如下表:

Kneron 同步提供方塊示意圖與主要的AP 函數，讓客戶可以快速上手。

KL630系列之AI相機 (與防抖相機)

在監控系統中，攝像機被安裝在高高的電線桿或車輛或移動設備上，可能會因風、運動或手的作用而晃動。

數位/電子圖像穩定（DIS/EIS）是一種高效的視頻流校正方法，可以減少視頻晃動和滾動快門效應。它依靠陀螺儀感測器產生用于EIS的角速度信號，而EIS校正導致圖像在當前幀中被裁剪和重新縮放。MotionProcess庫為ImgSigProcess（ISPE）計算一個翹曲矩陣，以執行視頻穩定和滾動快門校正，提高圖像品質。

主要原理是利用三軸角速度和加速速度。在一段時間內，陀螺儀感測器將總的角度加起來，并計算出它在一幀中應該修正多少角度位移。如下圖所示:

請注意，水準/垂直位移不會導致陀螺儀感測器被操作。陀螺儀應該與鏡頭保持距離，越多越好。

Kneron 的方案還可以根據影像的位置進行不同的配置調整。如下圖所示，考慮影像跟調整的位置，包括調整的RATIO、魚眼校正都可以一并被應用:

資料來源: Kneron 原廠
Kneron 官網: Kneron - 人工智能無處不在

►場景應用圖

►展示板照片

►方案方塊圖

►核心技術優勢

1. 可重構NPU

2. 影像辨識軟體

3. 第五代 ISP可以記錄具有可感知細節、真實色調層次和更低噪聲的圖像和視頻

4. 智能 HEVC 編碼器盡可能顯著減少無用或不重要的數據，并在不中斷網絡帶寬的情況下保持高質量的視頻

5. 魚眼引擎去扭曲、拼接、混合

6. 智能視頻分析

7. 音頻增強和智能

8. 高效能的應用工具PQ Tool 跟 Fisheye Correction Tool

►方案規格

KL630系列之AI相機KLR5S3 Series (Car DVR)KLI5S3 Series (Industrial Cam)

有任何疑問可以點擊原文進行提問哦~

本文地址：http://m.qingdxww.cn/thread-824844-1-1.html 【打印本頁】

本站部分文章為轉載或網友發布，目的在于傳遞和分享信息，并不代表本網贊同其觀點和對其真實性負責；文章版權歸原作者及原出處所有，如涉及作品內容、版權和其它問題，我們將根據著作權人的要求，第一時間更正或刪除。