|
方案亮點(diǎn) 極致算力：瑞芯微RK3588國產(chǎn)平臺(tái)，6TOPS高性能NPU，支持復(fù)雜神經(jīng)網(wǎng)絡(luò)推理； 實(shí)時(shí)檢測(cè)：YOLOv5s模型，輕松實(shí)現(xiàn)640x640分辨率，49fps檢測(cè)速度； 多場(chǎng)景適配：工業(yè)/醫(yī)療/安防等應(yīng)用領(lǐng)域。 技術(shù)原理解析 YOLO簡(jiǎn)介 YOLO（You Only Look Once）是一種基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法。YOLO把目標(biāo)檢測(cè)轉(zhuǎn)變?yōu)橐粋�(gè)回歸問題，通過一次遍歷即可同時(shí)預(yù)測(cè)圖像中物體的位置和類別。相較與傳統(tǒng)的目標(biāo)檢測(cè)方法，YOLO的主要特點(diǎn)是速度快且準(zhǔn)確度較高，能夠在實(shí)時(shí)場(chǎng)景下實(shí)現(xiàn)快速的目標(biāo)檢測(cè)，適用于目標(biāo)識(shí)別跟蹤、自動(dòng)駕駛、工業(yè)質(zhì)檢等需要實(shí)時(shí)處理的場(chǎng)景。 圖1 YOLOv5優(yōu)勢(shì)YOLOv5代碼開源，可在多種操作系統(tǒng)和硬件平臺(tái)上運(yùn)行，并且支持深度學(xué)習(xí)框架，這使得其更易于使用和部署。 （1）高檢測(cè)速度：由于YOLOv5采用了單階段的目標(biāo)檢測(cè)架構(gòu)，它能夠在保證一定檢測(cè)精度的前提下，實(shí)現(xiàn)非常高的檢測(cè)速度。 （2）高精度檢測(cè)：通過不斷優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練方法，YOLOv5在模型的感知能力和對(duì)小尺寸目標(biāo)的檢測(cè)準(zhǔn)確性上有了很大的提升。它能夠準(zhǔn)確地定位目標(biāo)的邊界框，并正確地識(shí)別目標(biāo)的類別。 （3）多目標(biāo)檢測(cè)能力：YOLOv5可以同時(shí)檢測(cè)圖像中的多個(gè)目標(biāo)，并且能夠處理不同大小、不同形狀和不同類別的目標(biāo)。 實(shí)測(cè)性能數(shù)據(jù) 圖2 RK3588 NPU典型工業(yè)應(yīng)用場(chǎng)景 圖3 RK3588 NPU開發(fā)案例開發(fā)環(huán)境 本文主要介紹基于RK3588J的NPU開發(fā)案例，適用以下開發(fā)環(huán)境： Windows開發(fā)環(huán)境：Windows 7 64bit、Windows 10 64bit Linux開發(fā)環(huán)境：VMware16.2.5、Ubuntu22.04.5 64bit U-Boot：U-Boot-2017.09 Kernel：Linux-5.10.209 LinuxSDK：LinuxSDK-[版本號(hào)]（基于rk3588_linux_release_v1.5.0） 硬件平臺(tái)：創(chuàng)龍科技RK3588J工業(yè)評(píng)估板（TL3588-EVM） 案例說明 本案例通過V4L2采集MIPI攝像頭圖像，利用RGA硬件協(xié)處理器進(jìn)行裁剪和縮放，經(jīng)YOLOv5模型識(shí)別目標(biāo)坐標(biāo)和標(biāo)簽，最后通過Qt將識(shí)別結(jié)果疊加到圖像上，并輸出至HDMI顯示。 圖4 案例測(cè)試請(qǐng)使用FFC軟排線將MIPI攝像頭模塊連接至評(píng)估板CAMERA2接口，將評(píng)估板HDMI OUT接口連接至HDMI顯示屏。 圖5 參考產(chǎn)品資料，完成替換內(nèi)核鏡像、IQ參數(shù)文件等環(huán)境搭建后，執(zhí)行如下命令，將采集并識(shí)別后的圖像顯示到顯示屏上。 Target#./v4l2_yolov5_detect -M rockchip -i /dev/video-camera0 -S 1920x1080 -f NV12 -F BG24 -b 4 -o 208:71:1920x1080 -m ./model/yolov5s-640-640_rk3588.rkn 圖6 顯示屏上顯示1920x1080@30fps畫面。將攝像頭朝向模型中已有可識(shí)別的物體，可看到圖像上被識(shí)別物體位置出現(xiàn)標(biāo)記框，如下圖所示。 圖7 本程序能夠支持識(shí)別的目標(biāo)數(shù)據(jù)集類型說明位于案例目錄“binmodel”目錄下的coco_80 _labels_list.txt文件，用戶可根據(jù)相關(guān)目標(biāo)類型進(jìn)行測(cè)試驗(yàn)證。 圖8 獲取更多RK3588相關(guān)的開發(fā)手冊(cè)和案例代碼 ，可前往創(chuàng)龍科技官網(wǎng)或微信公眾號(hào)。 |
