|
機器人技術整合了控制論、機械電子、計算機、仿生學和材料科學等技術，正在以前所未有的速度走向社會生活的各個領域，如：服務機器人、仿生機器人、水下機器人、飛行機器人等。目前，在世界各國研制的機器人中，行走、手臂運動等技術已經取得了非常大的成功，而作為重要感知機能之一的視覺功能，一直是學者們競相研究的熱點。特別是目前重點發展的服務機器人、危險環境作業機器人、助老助殘機器人等。機器人的運動環境和自身姿態的變化以及機體振動等問題對機器人視覺系統提出了更高要求，顛簸環境中機器人運動視覺問題已是亟待解決的問題。視覺專家從圖像處理和運動控制的角度對這些視覺技術進行了長期卓有成效的研究，在一定程度上解決了視覺中的基本問題。但機器人視覺系統在實際較惡劣環境中應用時，往往不能平滑穩定地跟蹤目標，會出現跟蹤視頻圖像的跳動、跟蹤目標的丟失以及圖像模糊等現象。面對存在的問題，專家們一直在探討本質上的解決方法。實際上，人眼就具有這樣的視覺功能。眼球的生理神經回路能產生如前庭動眼反射、視動反射、平穩追蹤、急動等眼球運動[1]，可以解決上述問題。因此，若能從人眼神經回路的生理本質出發，研制出具有類似人眼機能的仿生眼球系統，機器人的視覺技術將會得到突破性進展。而在仿生眼研究中，類似于人眼視網膜反饋目標在視野中的位置偏差、速度偏差的嵌入式機載視頻圖像處理系統的成功研究至關重要[2]。 近年來，國內外開展了大量對視頻圖像處理系統的研究，主要是針對一定范圍內的靜、動態場景進行監控或跟蹤，并應用于智能車輛檢測、視頻監控、人臉識別、目標跟蹤等方面。如文獻[3]成功設計了一個基于視覺的低空跟蹤系統；文獻[4]成功設計一個基于視頻圖像處理的車輛流量實時檢測系統。調查研究表明，國內外嵌入式機載視頻圖像處理系統的核心處理器多采用DSP、FPGA或者ARM來處理海量的圖像數據。其主要采用的結構有單片高性能DSP、 FPGA+DSP結構及ARM+FPGA+DSP結構等。文獻[5]設計了一種單DSP的視頻圖像處理系統。文獻[6]設計了一種FPGA+DSP結構的視頻圖像處理系統。文獻[7]設計了一種基于DSP+FPGA+ARM體系結構的嵌入式實時圖像處理系統。這些系統代表了目前嵌入式視頻圖像處理系統的基本類型和主要成果。隨著數字信號處理器的高速發展，針對視頻和圖像解決方案而設計的高性能數字多媒體處理器TMS320DM642在實時視頻處理領域得到了廣泛應用。因此，根據仿生眼對圖像處理性能的實際要求，可以采用基于單片高性能DSP結構的系統。 本文設計的仿生眼嵌入式機載視頻圖像處理系統采用TI公司的TMS320DM642高性能數字多媒體處理器作為核心處理器，系統實現了實時采集圖像、實時處理圖像、實時輸出目標信息、實時顯示等功能，具有針對性強、電路簡單、集成度高、可靠性好等優點。此外，本系統實現了對經典Prewitt算法及其改進算法的驗證。結果表明，該系統能夠滿足實時圖像處理系統運算量大、數據傳輸率高以及實時性的要求。 1 系統整體結構與硬件設計 1.1 系統整體框架結構 系統以TM320DM642為核心，由4個部分組成：視頻采集、圖像處理、視頻輸出、串口通信。系統流程如圖1所示。首先CCD攝像頭采集的視頻圖像，經過視頻解碼芯片轉化為便于DSP處理的視頻碼流；然后在DSP中設計合適的視頻圖像處理算法，分割、識別出運動目標，并計算出目標的位置參數；最后將位置參數通過串口發送給眼動控制模塊。同時利用視頻編碼芯片編碼DSP輸出的視頻碼流，送到顯示器實時顯示，便于人機交互。 
1.2 系統硬件設計 系統硬件設計分為6個模塊：視頻采集模塊、圖像處理模塊、視頻輸出模塊、串口通信模塊、電源時鐘模塊、存儲模塊。其結構圖如圖2所示。
1.2.1 TMS320DM642圖像處理模塊 TMS320DM642是整個嵌入式系統的核心，它是TI公司推出的一款專用于數字媒體應用的高性能32 bit定點DSP，具有豐富的外設接口和高速的處理能力，是目前實時視頻處理領域性價比較高的芯片[8]。DM642最高主頻達600 MHz，并行處理指令最高可達每個指令周期處理8條32 bit指令，最大指令處理速度為4 800 MIPS。DM642的高性能主要體現在采用了二級緩存結構和64 bit的EDMA控制器，使其在沒有CPU參與的情況下，進行數據搬移，大大提高了程序的運行效率[9]。因此，為提高系統實時性[10]，采用EDMA 傳輸是必要之舉。此外，DM642具有豐富的外圍接口，其3個可配置的視頻口可以與視頻編解碼芯片進行無縫連接；片內64 bit的EMIF接口可以與SDRAM、FLASH 等存儲器無縫連接；利用I2C還可以方便地控制外圍器件等。 該模塊的主要功能是將輸入的BT.656格式的視頻信號進行中值濾波、圖像分割等預處理，然后通過目標識別算法計算目標位置參數，最后將結果通過串口模塊實時地送給眼動控制模塊，眼動控制模塊再結合仿生控制率對眼球進行實時控制。由于系統采用EDMA傳輸，大大保證了圖像傳輸的實時性。CPU的開銷主要用于圖像處理的識別算法上。 1.2.2 視頻圖像采集模塊 視頻圖像采集模塊由CCD攝像頭XL-3130CP4和視頻解碼芯片TVP5150組成，用于實現視頻數據的A/D轉換。DM642具有3個視頻口，每個視頻口包括A、B 2個通道，每個通道均可配置為輸入或輸出口。本系統將VP0A配置成視頻輸入，VP1A配置成視頻輸出。CCD采集的視頻信號采用PAL制式，即：分辨率為720×576，幀頻為25幀/s。通過TVP5150視頻解碼器將其轉換成數字色差信號(YUV4：2：2)，輸出格式為ITU-R BT.656，輸入到VP0A口。DM642支持BT.656格式的視頻數據流的輸入格式，能與TVP5150的視頻數據流無縫連接。視頻編解碼器與 DSP的連接框圖如圖3所示。
TVP5150的配置是通過標準的I2C總線完成的。I2C標準總線由串行數據輸入/輸出線(SDA)和時鐘輸入/輸出線(SCL)組成。TVP5150作為從設備，TMS320DM642作為I2C總線的主設備。主設備初始化TVP5150配置的寫操作步驟如下： (1)DSP產生一個起始條件；(2)DSP發出一個TVP5150的地址(0xBA或0Xb8)，并表明寫操作，等待TVP5150響應；(3)接收到 TVP5150的響應后，DSP發出要配置寄存器地址，等待TVP5150響應；(4)接收TVP5150的響應后，發送要配置的數據，等待 TVP5150響應；(5)接收到TVP5150響應后，發送停止位，結束一次配置。 1.2.3 視頻圖像輸出模塊 視頻輸出模塊由視頻編碼器SAA7121和顯示器組成。SAA7121支持PAL/NTSC格式的視頻編碼，輸入支持BT.656格式的數字視頻，輸出為一路復合視頻(CVBS)和一路超級視頻(S-Video)。SAA7121的配置也是通過標準的I2C總線完成的，并且只能作為從設備。顯示器用于實時顯示視頻圖像信息，便于人機交互。 1.2.4 串口通信模塊 串口通信部分包括TL16C752B和MAX3160。采用TL16C752B作為通用異步收發器(UART)，采用MAX3160將UART接口配置成RS232接口電平標準，用于為眼動控制器傳遞參數。該模塊是視覺識別系統與眼動控制模塊的接口，所傳遞的參數是目標偏離圖像中心的位置信息，眼動控制系統根據這個參數實時調整眼球運動，確保目標位于圖像中心。因此，該參數是整個眼球運動系統的前提。 1.2.5 外部存儲模塊 外部存儲模塊包括SDRAM和FLASH 2種。TMS320-DM642通過外部存儲器接口EMIFA訪問片外存儲器。EMIFA是一個64 bit的接口，可以實現與多種同步和異步存儲器的無縫連接。系統中，DM642的CE0子空間被作為64 bit的SDRAM接口，SDRAM選用HY57V283220T芯片，用于緩存待處理的圖像數據；CE1子空間被配置為8 bit的FLASH接口，FLASH選用Am29LV033C芯片，用于存儲DSP的固化程序和系統配置數據。 1.2.6 電源和時鐘模塊 本系統需要3種不同的供電電壓，分別是+3.3 V(外部存儲器、DSP的外部I/O、視頻格式轉換電路、通用異步收發器、時鐘芯片)、+1.4 V(DSP的內核)、+1.8 V(視頻格式轉換電路)。采用TPS54310和TPS76718這2款電源芯片。本電源系統中，TPS54310輸入電壓為5 V，一路調節成3.3 V，另一路調節為1.4 V。TPS54310輸出3.3 V電壓經TPS76718固定輸出1.8 V。 本系統共需要4種時鐘頻率：50 MHz送DSP鎖相環電路(PLL)，倍頻到200 MHz作為DSP芯片的工作時鐘；133 MHz送EMIFA接口，同步擴展外部SDRAM存儲器；30.72 MHz送TL16C752B芯片，為通用異步串行接口通信提供時鐘；14.318 18 MHz送TVP5150A芯片，作為視頻格式轉換電路的工作時鐘。 2 系統軟件功能設計 系統的軟件功能設計包括：(1)系統引導；(2)初始化。主要包括DM642的初始化、EDMA數據傳輸、編解碼芯片的初始化等。DM642的初始化包括片內外設的選擇、EMIF初始化、I2C接口的初始化、視頻口初始化；(3)實現視頻數據的采集、數據搬移、圖像處理、參數輸出、實時顯示等功能。系統軟件實現框圖如圖4所示。
系統上電后，由DSP先從FLASH中加載程序，完成系統初始化及相關寄存器和外圍器件的配置。由CCD攝像頭采集的視頻圖像傳送到TVP5150解碼器，將視頻模擬信號經過A/D轉換成BT.656視頻數據流，接著送入DM642視頻口；然后視頻口解碼該視頻數據流，得到YUV(4:2:2)格式的圖像，并通過EDMA傳輸到SDRAM中存儲。CPU通過訪問SDRAM中的圖像數據，根據圖像處理算法對圖像數據進行實時處理和計算。一方面將計算結果通過串口發送出去，另一方面將視頻數據送到SAA7121編碼器，實現D/A轉換并實時顯示。 3 圖像處理算法的應用 3.1 經典Prewitt邊緣檢測算法 經典的Prewitt算子是利用像素點上下、左右鄰點灰度差在邊緣處達到極值檢測邊緣，去掉部分偽邊緣，對噪聲具有平滑作用。其原理是在圖像空間利用2 個方向模板與圖像進行鄰域卷積完成。這2個方向模板中一個是垂直梯度方向，檢測水平邊緣；另一個是水平梯度方向，檢測垂直邊緣，如圖5所示。
Prewitt算法步驟：(1)分別將2個方向模板沿圖像從一個像素移到另一個像素，并將像素的中心與圖像中的某個像素位置重合；(2)將模板內的系數與其圖像上相對應的像素值相乘，并將所有相乘的值相加；(3)將兩個卷積的最大值賦給圖像中對應模板中心位置的像素，作為該像素新的灰度值；(4)選取合適的閾值，若新像素灰度值大于等于所設閾值，則判斷該像素點為圖像邊緣點。 3.2 改進的Prewitt邊緣檢測算法 經典的Prewitt邊緣檢測算法只檢測水平和垂直2個方向的邊緣，通常圖像的邊緣還有其他的方向。為了能夠在不影響實時性的前提下將邊緣提取得更精確，本文將Prewitt算子擴張到8個方向的邊緣樣板算子。這些樣板算子由理想的邊緣子圖像構成，依次用邊緣樣板去檢測圖像，與被檢測區域最為相似的樣板給出最大值，用這個最大值作為輸出值，并將此輸出值與所設的閾值進行比較，大于閾值即為邊緣點，這樣就可以更精確地檢測出邊緣。8個方向的 Prewitt邊緣檢測算子模板如圖6所示。8算子樣板對應的邊緣方向如圖7所示。
3.3 軟件實現步驟 本文使用CCS2.2開發環境進行軟件開發，采用C語言編程。CCS具有實時、多任務、可視化的軟件開發特點。使用CCS提供的工具，可以方便地對 DSP軟件進行設計、編碼、編譯、調試、跟蹤和實時性分析。系統程序的具體實現步驟為： (1)初始化并配置資源庫，包括片內外設的選取，DSP的片上支持庫提供了一系列的C語言程序接口，可以設置或者控制外設； (2)實現對EMIFA的初始化，CE0子空間被配置為64 bit的SDRAM空間，具體定位：0x80000000H-0x81FFF- FFFH。CE1子空間被配置為8 bit Flash空間，具體定位：0x90000000H-0x9007FFFFH。 (3)對I2C總線進行初始化； (4)TVP5150和SAA7121的初始化,選擇I2C總線，并設置為相應的數據通路； (5)初始化視頻口Video Port1，設為視頻輸入； (6)利用bt656_capture_start()函數采集一幀圖像，并將其存入顯示緩沖區； (7)完成一幀圖像的采集，使用DAT_copy()函數將圖像數據送SDRAM暫存； (8)對存儲區數據進行算法處理； (9)對處理的數據使用DAT_copy()函數，送顯存進行顯示。 3.4 實驗結果 采用系統在線編程技術，對系統的性能進行測試。為了減少運算量，算法只對圖像的中心部分進行2種算法處理。CCD采集的PAL制式的圖像，對圖像中心的 80×100的區域進行計算。其結果表明：改進的算法比傳統的算法能提取更多的邊緣細節，對目標識別更有利。在實時性上，傳統算法處理時間為0.02 s，而改進算法的處理時間為0.1 s。因此，該算法具有準實時性，基本能夠達到仿生眼球對圖像識別的要求。 系統CPU的開銷主要耗費在算法處理上，因此，未來的工作可以針對算法進行不斷改進，以提高系統的實時性。 本文成功設計了一個以TMS320DM642為核心的嵌入式視覺圖像處理系統，并創新地將其作為仿生眼球的視覺部分嵌入到眼球結構中。系統具有處理速度快、接口簡單、集成度高、電路穩定、體積小等優點。在此系統上實現了對經典的2模板Prewitt算法與改進的8模板算法的邊緣檢測。結果表明，改進的算法具有精確度高、檢測效果好等優點，為視覺識別提供了算法基礎。 參考文獻 [1] 鄒海榮，龔振邦，謝少榮.仿生型機器人眼球運動控制系統建模[J].機器人，2007，29(4)：289-294. [2] 鄒海榮，龔振邦，羅均.仿生眼的研究現狀與發展趨勢[J]. 機器人，2005，27(5)：469-474. [3] 丁衛，龔振邦，謝少榮，等.基于視覺的低空跟蹤系統[J]. 光學精密工程，2007，15(6)：957-965. [4] 李筱琳，馮燕，何亦征.基于DSP的圖像旋轉算法數據調度策略[J].電子技術應用，2008(1)：36-39. [5] 劉丹，孫麗云，胡偉.基于DM642的視頻處理系統設計[J]. DSP開發和應用，2007，23(6)：157-159. [6] 朱明，魯劍鋒.基于DSP+FPGA結構圖像處理系統設計與實現[J].計算機測量與控制，2004，12(9)：866-869. [7] 孫詠.基于ARM和DSP的嵌入式實時圖像處理系統設計與研究[D].浙江：浙江大學，2005. [8] TI TMS320DM642 video/imaging fixed-point digital signal processor data manual[Z].Texas Instruments Incorporated，2003. [9] 李方慧，王飛，何佩琨.TMS320C6000系列DSPs原理與應用[M].北京：電子工業出版社，2003. [10] 許廷發，秦慶旺，倪國強.基于DM642融合系統的A Trous小波實時圖像融合算法[J].光學精密工程，2008，16(10). 作者：鄭麗麗 謝少榮 羅 均 山 峰 來源：電子技術應用 |
