|
機器學(xué)習(xí)和 tinyML 可以為嵌入式系統(tǒng)工程師解決許多應(yīng)用問題。有一個很難從頭開始編碼的獨特問題，那就是圖像中物體的檢測和識別。恰好，物體的檢測和識別是 tinyML 的一個完美應(yīng)用。然而，啟動 tinyML 和機器視覺 (MV) 項目可能會很復(fù)雜。在接下來的幾篇文章中，我們將探討如何使用 OpenMV 攝像頭啟動 MV。 介紹 OpenMV Cam H7 假設(shè)你對使用微控制器的低功率應(yīng)用 MV 感興趣。在這種情況下，你要么定制設(shè)計攝像頭模塊，要么找一個市面上有售的攝像頭模塊。從頭創(chuàng)建模塊會很有趣，但費錢、耗時。一個有趣的市售解決方案是 OpenMV Cam。 OpenMV Cam 是一款類似 Arduino 的小型開發(fā)板，包括開發(fā)者實現(xiàn) MV 入門所需的一切。首先，必須明白硬件是有不同版本的。最新版本是 OpenMV Cam H7（圖 1）。Cam H7 基于 STMicroelectronics STM32H743VI 的微控制器，采用 Arm Cortex-M7 架構(gòu)，時鐘速度為 480 MHz。該零件還具有 1 MB SRAM 和 2 MB 閃存。在使用 MV 和學(xué)習(xí)應(yīng)用工作時，有大量的內(nèi)存可用總是一件好事。Cam H7 使用 MT9M114 攝像頭模塊，可以每秒 40 幀 (fps) 的速度捕捉 640 x 320 8 位灰度圖像，或以 40 - 80 fps 的速度捕捉 320 x 240 QVGA 圖像。可以根據(jù)應(yīng)用需求改變攝像頭模塊。 
圖 1：OpenMV Cam H7 模塊擁有開始 MV 設(shè)計所需的一切。（圖片來源：OpenMV） OpenMV 的開發(fā)環(huán)境 OpenMV 集成開發(fā)環(huán)境 (IDE) 如圖 2 所示，是開發(fā)者與 Cam H7 的互動途徑。有了 IDE，開發(fā)者能夠?qū)⒃谀K上運行的 Python 腳本進行編輯。Cam H7 使用 MicroPython，這是一個專門用于在基于微控制器的系統(tǒng)上運行的 C Python 端口。開發(fā)人員可以連接 Cam H7，將腳本加載到設(shè)備上并運行應(yīng)用。集成開發(fā)環(huán)境也可用于獲取 Cam H7 幀緩沖器圖像的實時反饋。
圖 2：OpenMV 的開發(fā)環(huán)境包括開發(fā)者對 Cam H7 進行編程并與之互動所需的一切，如文本編輯器、終端和圖像捕捉顯示窗口。（圖片來源：OpenMV） 對于那些希望使用該模塊實現(xiàn)機器視覺并最終進行機器學(xué)習(xí)的開發(fā)者，不需要看得很遠。OpenMV 集成開發(fā)環(huán)境包含的示例腳本涵蓋從將系統(tǒng)置于低功耗模式，到物體和人臉檢測等示例腳本。還有將模塊與諸如 Wi-Fi、慣性測量裝置 (IMU) 等外部開發(fā)板連接的示例，以及其他選項。 檢測圖像中的一個圓 OpenMV IDE 包括一個 HelloWorld 腳本，允許開發(fā)人員連接攝像頭并拍攝圖片，為幀緩沖器提供信息。在這篇文章中，用具體的示例講解更能激發(fā)我們的興趣。在本示例中，可以檢測圖像中的一些東西，比如圓。 如果你打開 OpenMV IDE，點擊 File->Examples->Feature-Detection->find_circles.py（見圖 3），就會出現(xiàn)用于檢測圓的腳本。測試這個腳本超級簡單；首先，我們需要準備一張紙或一張便條，畫一個圓（請不要評價我的繪畫能力，會驚掉你的下巴！）。接下來，在 IDE 左下方，你會發(fā)現(xiàn)一個連接按鈕。點擊該按鈕，連接 Cam H7。然后，點擊連接按鈕下房的綠色播放按鈕。最后，將 Cam H7 對準你畫的圓圈，并在 OpenMV IDE 中監(jiān)視幀緩沖區(qū)。
圖 3：在 OpenMV IDE 中導(dǎo)航至 find_circles.py 示例腳本。（圖片來源：Beningo Embedded Group） 你將看到，在幀緩沖器中會周期性地畫出一個紅色的圓，與你畫的圓重疊，如圖 4 所示。請注意，盡管我的繪畫能力有待提高，但 Cam H7 仍然能夠檢測到所拍攝的圖像中有一個類似圓的圖形。在這個系列博客文章中，這是我們第一次檢測圓圈，但不是最后一次！讓我們看一下示例腳本，了解其工作原理。
圖 4：find_circles.py 示例腳本將在幀緩沖區(qū)添加一個紅色的圓，并在檢測到圓時突出顯示。（圖片來源：Beningo Embedded Group） 分析 find_circles.py 示例 OpenMV IDE 提供的圓檢測腳本直截明了。首先，該腳本導(dǎo)入所需的 Python 庫，并初始化攝像頭傳感器和時鐘，如列表 1 所示。 副本 import sensor, image, time sensor.reset() sensor.set_pixformat(sensor.RGB565) # grayscale is faster sensor.set_framesize(sensor.QQVGA) sensor.skip_frames(time = 2000) clock = time.clock() 列表 1：攝像頭傳感器的初始化示例代碼。（代碼來源：OpenMV） 接下來，一個無限循環(huán)會持續(xù)運行該應(yīng)用，就像在任何標準嵌入式應(yīng)用中一樣。然后，也是最后，就是促使檢測進行的魔法。我們花點時間來研究列表 2。 副本 while(True): clock.tick() img = sensor.snapshot().lens_corr(1.8) for c in img.find_circles(threshold = 2000, x_margin = 10, y_margin = 10, r_margin = 10, r_min = 2, r_max = 100, r_step = 2): img.draw_circle(c.x(), c.y(), c.r(), color = (255, 0, 0)) print(c) print("FPS %f" % clock.fps()) 列表 2：讀取攝像頭傳感器并搜索圖像中的圓代碼示例。（代碼來源：OpenMV） 列表 2 中的代碼從截取圖像開始。然后，使用 OpenMV 庫中一種名為 find_circles 的方法搜索圖像中的圓。你可以閱讀實際源代碼例子中的注釋，了解參數(shù)細節(jié)，但我們最感興趣的是 r_min、r_max 和 r_step 參數(shù)。r_min 參數(shù)指定可以檢測的圓的最小半徑。r_max 參數(shù)設(shè)定圓的最大半徑值。在此例子中，程序?qū)⒖吹?2 到 100 像素之間的圓。 檢測到圓時，draw_circle 方法以及圓的 x、y 和半徑值被用來在檢測到的圓上畫一個圓。你會注意到，顏色是用 R、G 和 B 符號指定的，在此例中，所畫的圓為紅色。 總結(jié) 開發(fā)者可以使用機器視覺和 TinyML，并應(yīng)用于幾乎無限的用例。在這篇博客中，我們只是介紹了 OpenMV Cam H7 和 OpenMV IDE，讓你開始運行，檢測圓。不過，檢測圓并不需要 tinyML，只需要一些庫函數(shù)。在下一篇博客中，我們將探索內(nèi)置的機器學(xué)習(xí)示例，然后再引入一個更復(fù)雜的示例，然后以此為例訓(xùn)練、部署我們的檢測項目。 |
