基于RK3588的NPU案例分享！6T是真的強！

Tronlong--

RK3588NPU簡介

作為瑞芯微新一代旗艦工業(yè)處理器，RK3588 NPU性能可謂十分強大，6TOPS設計能夠?qū)崿F(xiàn)高效的神經(jīng)網(wǎng)絡推理計算。這使得RK3588在圖像識別、語音識別、自然語言處理等人工智能領域有著極高的性能表現(xiàn)。

此外，RK3588的NPU還支持多種學習框架，包括TensorFlow 、PyTorch、Caffe、MXNet等在人工智能開發(fā)中流行的深度學習框架，能夠為開發(fā)者提供豐富的工具和庫，使他們能夠方便地進行模型訓練和推理，可輕松應對各種大數(shù)據(jù)運算場景。

RK3588 NPU典型工業(yè)應用

圖1

目標識別跟蹤：在視頻監(jiān)控和無人駕駛領域，RK3588可提供6TOPS高性能NPU算力，可實時處理高清視頻流、目標檢測、識別和跟蹤。其強大的計算能力可滿足復雜場景下的實時處理需求，提高監(jiān)控系統(tǒng)的準確性和反應速度。

AGV機器人：RK3588的NPU可提供強大的視覺處理能力，可幫助AGV機器人實現(xiàn)高效的路徑規(guī)劃和避障，提高運輸效率和安全性。

醫(yī)療內(nèi)窺鏡：RK3588的NPU可提供圖像識別和分析的能力，幫助醫(yī)生快速準確地診斷疾病。其深度學習推理能力可輔助醫(yī)生進行圖像識別和病灶檢測，提高診斷的準確性和效率。

高速收費終端：RK3588的NPU可提供車牌識別和計費的處理能力，實現(xiàn)高速路上的無人化收費，提高交通效率和安全性。

車載環(huán)視系統(tǒng)：RK3588的NPU可處理多個攝像頭采集的圖像數(shù)據(jù)，實現(xiàn)車輛周圍環(huán)境的360度監(jiān)控，幫助車輛進行障礙物檢測、碰撞預警和自動泊車等功能。

RK3588 NPU開發(fā)流程

第一步：模型訓練

首先需要收集并準備訓練數(shù)據(jù)，選擇適合的深度學習框架（如TensorFlow、PyTorch、Keras等）進行模型訓練或使用官方提供的模型。

第二步：模型轉(zhuǎn)換

完成模型訓練后，使用RKNN-Toolkit2將預訓練模型轉(zhuǎn)換為RK3588 NPU可使用的RKNN模型。這通常涉及到將模型中的計算圖進行適當?shù)男薷暮蛢?yōu)化，以適應NPU的硬件架構和指令集。

第三步：應用開發(fā)

基于RKNN API開發(fā)應用程序。開發(fā)階段需要根據(jù)具體需求，將轉(zhuǎn)換后的模型集成到應用程序中。

圖2 NPU開發(fā)流程框圖

RK3588 NPU開發(fā)案例分享

案例說明

本案例基于RKNN API實現(xiàn)對圖片中目標對象的識別，并將識別結果以加水印的方式添加至圖像，并保存成圖片文件。案例循環(huán)測試10次，統(tǒng)計出推理的平均處理耗時。測試基于創(chuàng)龍科技RK3588工業(yè)評估板TL3588-EVM進行。

備注：本案例基于瑞芯微官方例程實現(xiàn)，進行了目錄的重構及編譯的簡化,功能邏輯未進行修改。官方例程位于LinuxSDK源碼"external/rknpu2/examples/rknn_yolov5_demo/"目錄下。

程序處理流程框圖如下：

案例測試

請通過網(wǎng)線將評估板千兆網(wǎng)口ETH0連接至路由器。

圖5

請將案例bin目錄下的所有文件拷貝至評估板文件系統(tǒng)任意目錄下。

圖6

在可執(zhí)行文件所在目錄，執(zhí)行如下命令，對圖片目標對象進行模型推理。

備注：模型運行的時間會有抖動。

Target#./yolov5_object_detect yolov5s-640-640_rm_transpose_rk3588.rknn bus.jpg

圖7

從輸出信息可知，本案例程序識別出測試圖片包含4個person和1個bus對象，運行1次模型耗時為23.905000ms；循環(huán)運行10次模型平均耗時為21.356800ms。

案例程序?qū)�測試圖片的目標對象標記成功后將輸出名稱為out.jpg的標記圖片至當前目錄，請將out.jpg文件拷貝至Windows下，并使用PC端相關軟件對比查看bus.jpg與out.jpg，測試結果如下所示。

圖8

圖9 bus.jpg

圖10 out.jpg

圖11