|
引言 在研究遠(yuǎn)程數(shù)字圖像處理與傳輸?shù)倪^程中，需要在遠(yuǎn)端現(xiàn)場進(jìn)行圖像處理，本文提出一個(gè)集圖像采集、處理與顯示于一體的嵌入式數(shù)字圖像處理系統(tǒng)，通過圖像獲取設(shè)備獲取目標(biāo)圖像并進(jìn)行相關(guān)的算法處理，通過模塊化編程，將原始圖像和圖像處理結(jié)果獨(dú)立顯示出來，修改圖像處理模塊可以對不同的數(shù)字圖像處理算法進(jìn)行驗(yàn)證和分析。利用本文所建立的系統(tǒng)可以大大提高遠(yuǎn)端數(shù)字圖像處理的效率，并可利用該系統(tǒng)的網(wǎng)絡(luò)功能實(shí)現(xiàn)遠(yuǎn)程傳輸，本文僅就系統(tǒng)的圖像獲取與處理功能作簡要分析。 1 系統(tǒng)組成 硬件組成以S3C2410為核心，S3C2410內(nèi)部集成了一個(gè)USB主控制器，所以無須外接USB控制芯片就可以做為USB主機(jī)．USB Host控制器與視頻采集攝像頭相連，通過在USB接口上外接的帶USB口的攝像頭，實(shí)現(xiàn)圖像采集。處理后的圖像可以顯示在一個(gè)320X240分辨率的液晶屏幕上，F(xiàn)lash用作存儲(chǔ)器保存系統(tǒng)軟件和圖像采集、處理的結(jié)果。圖1給出了系統(tǒng)的硬件組成框圖，圖2給出了系統(tǒng)的軟件層次結(jié)構(gòu)圖。 
圖1 硬件組成構(gòu)圖
圖2 軟件層次結(jié)構(gòu)閣 軟件組成可以分為引導(dǎo)程序、操作系統(tǒng)和圖像采集與處理三部分。 引導(dǎo)程序的作用是初始化硬件設(shè)備、建立內(nèi)存空間的映射圖，從而將系統(tǒng)的軟硬件環(huán)境帶到一個(gè)合適的狀態(tài)，以便為最終調(diào)用操作系統(tǒng)內(nèi)核或用戶應(yīng)用稃序準(zhǔn)備好正確的環(huán)境。在本應(yīng)用中采用的是ViVi作為引導(dǎo)程序來引導(dǎo)操作系統(tǒng)。 本系統(tǒng)選擇的是ARM-Linux作為操作系統(tǒng)，針對本系統(tǒng)的具體應(yīng)用，需要配置操作系統(tǒng)內(nèi)核支持Video For Linux和USB OV511 Camera，同時(shí)去掉一些不需要的模塊以減小操作系統(tǒng)內(nèi)核的體積。操作系統(tǒng)內(nèi)核是通過引導(dǎo)程序ViVi來下載到Flash存儲(chǔ)器上的，而引導(dǎo)程序ViVi則是通過Jtag下載到Flash存儲(chǔ)器中的。 圖像的采集、處理、顯示的程序是運(yùn)行在ARM-Linux操作系統(tǒng)之上的，其中圖像采集與圖像顯示模塊與操作系統(tǒng)平臺(tái)緊密相關(guān)，而圖像處理算法部分與平臺(tái)無關(guān)。 2 圖像采集 在本設(shè)計(jì)中通過USB攝像頭來采集圖像，在Linux內(nèi)核中視頻部分的接口是Video For Linux(V4L)，V4L標(biāo)準(zhǔn)定義了一套接口，內(nèi)核、驅(qū)動(dòng)、應(yīng)用程序遵循這個(gè)接口標(biāo)準(zhǔn)就可以使視頻設(shè)備正常工作。目前V4L涵蓋了視、音頻流捕捉與處理方面的內(nèi)容，USB攝像頭也屬于V4L支持的范疇。 在ARM-Linux中，攝像頭設(shè)備映射為/dev/v41/vide00，所以只需對這個(gè)設(shè)備按照V4L標(biāo)準(zhǔn)規(guī)定的流程進(jìn)行操作就可以了。以下是關(guān)鍵步驟的程序代碼。 第一步：打開采集設(shè)備 Fd_video=open(”/dev/v41/video0”，0_RDWR)； 第二步：查詢設(shè)備屬性 rc=ioctl(Fd_video，VIDIOCGCAP，&vC)；通過設(shè)備驅(qū)動(dòng)程序提供的ioctl接口來查詢設(shè)備的相關(guān)屬性，具體屬性用struct tvideo_capture類型的結(jié)構(gòu)體變量vc來存儲(chǔ)。video_capture是Linux下對視頻設(shè)備描述的結(jié)構(gòu)體變量類型之一。 第三步：查詢、設(shè)置將要采集的圖像的格式，包括大小、顏色位數(shù)、圖像數(shù)據(jù)表示格式等信息。在Linux中，這些信息保存在一個(gè)struct video_picture類型的變量中。在本設(shè)計(jì)中用全局變量vp來保存查淘的信息。 ret=iocfl(Fd_video，VIDIOCGPICT,&vp)；//圖像相關(guān)信息保存在vP變量中 可以通過以VIDIOCSPICT為參數(shù)的ioctl調(diào)用來設(shè)置圖像的類型，如在本系統(tǒng)中支持如下幾種類型的圖像：24位RGB888格式的彩色圖像、16位RGB565格式的彩色圖像、256級灰度的灰度圖像。設(shè)置方法是先對vp的成員變量vp．palette進(jìn)行賦值，如VIDEO_PALETTE_RGB24、VIDEO_PALETFE_RGB565或者VIDEO_PALETYE_GREY等之一，然后調(diào)用ioetl(video，VIDIOCSPICT，&vp)來設(shè)置。同樣也可以設(shè)置分辨率等其它參數(shù)，方法與設(shè)置數(shù)據(jù)格式大同小異，不再贅述。 第四步：建立內(nèi)存映射，把視頻設(shè)備的數(shù)據(jù)緩沖區(qū)地址映射到用戶進(jìn)程地址空間，這樣做比直接調(diào)用read()函數(shù)讀取數(shù)據(jù)的速度要快的多。在本設(shè)計(jì)中定義了一個(gè)unsigned char * 型的指針變量memoryMap來保存數(shù)據(jù)緩沖區(qū)的映射地址。 memoryMap = (unsigned char *) mmap (0，memoryBuffer．size，PROT_READ | PROT_WRITE，MAP_SHARED，F(xiàn)d_video, 0 )；//建立數(shù)據(jù)緩沖區(qū)的映射 第五步：讀取數(shù)據(jù)。到這一步就可以采集圖像數(shù)據(jù)了，可以在采集到一幅圖像的數(shù)據(jù)后觸發(fā)下一個(gè)幅圖像開始采集的信號(hào)，然后在這段時(shí)間里進(jìn)行圖像處理的運(yùn)算，這樣可以最大限度的利用圖像采集設(shè)備，從而提高系統(tǒng)的效率。攝像頭的驅(qū)動(dòng)提供了這種雙緩沖機(jī)制，通過向攝像頭發(fā)送VIDIOCMCAPTURE控制命令，就會(huì)觸發(fā)采集圖像數(shù)據(jù)到指定的緩沖區(qū)中，這一步是不會(huì)阻塞當(dāng)前進(jìn)程的，程序會(huì)執(zhí)行下一條指令而不是等到數(shù)據(jù)采集完畢。通過向攝像頭發(fā)送VIDIOCSYNC控制命令，當(dāng)前進(jìn)程就會(huì)阻塞直到指定的緩沖區(qū)數(shù)據(jù)填滿。處理的流程如下所示： VIDIOCMCA玎uRE buffer 0 //觸發(fā)buffer0開始采集 While(1) { VIDIOCMCAPTURE buffer 1 //觸發(fā)buffer1開始采集 VIDIOCSYNC buffer 0 //同步buffer0中的數(shù)據(jù) ... //process buffer 0 //處理得到的buffer0中數(shù)據(jù) ... VIDIOCMCAPTURE buffer 0 //觸發(fā)buffer0開始采集 VIDIOCSYNC buffer 1 //同步buffer1中的數(shù)據(jù) ... //process buffer 1 //處理得到的bufferl中數(shù)據(jù) ... } 3 圖像處理 圖像處理是一門復(fù)雜的技術(shù)，它涉及到圖像預(yù)處理、圖像分析、圖像理解等多個(gè)方面。它和其它多個(gè)學(xué)科有著密切的聯(lián)系，尤其是近年來模式識(shí)別理論和技術(shù)、人工智能理論、分形理論以及小波分析技術(shù)等相關(guān)理論和技術(shù)的發(fā)展，為圖像處理技術(shù)的研究提供了堅(jiān)實(shí)的理論基礎(chǔ)和新的分析手段。針對于不同應(yīng)用背景采用的處理流程和算法各不相同，但是都必須首先獲得圖像的數(shù)據(jù)，然后在根據(jù)需要選擇處理流程和相關(guān)算法。在這里本文并不詳細(xì)介紹圖像處理的流程和算法，只給出在本系統(tǒng)平臺(tái)上實(shí)現(xiàn)的圖像處理算法的效果圖。圖3是通過攝像頭采集到的彩色圖像，圖4是經(jīng)過灰度轉(zhuǎn)化、二值化、邊緣檢測、細(xì)化和連通域榆測后的效果圖。
圖3 攝像頭采集到的圖像
圖4 處理效果顯示 4 圖像顯示 本設(shè)計(jì)采用的是一個(gè)240X320分辨率的16位液晶屏幕，可以通過操作S3C2410內(nèi)部的相關(guān)寄存器來直接控制顯示，由于采用了ARM-Linux作為操作系統(tǒng)，可以直接操作Linux下的Framebuffer設(shè)備來完成圖像的顯示，幀緩沖(Framebuffer)是Linux為顯示設(shè)備提供的一個(gè)接口，把顯存抽象后的一種設(shè)備，他允許上層應(yīng)用程序在圖形模式下直接對顯示緩沖區(qū)進(jìn)行讀寫操作。這種操作是抽象的、統(tǒng)一的。用戶不必關(guān)心物理顯存的位置、換頁機(jī)制等等具體細(xì)節(jié)。這些都是由Framebuffer設(shè)備驅(qū)動(dòng)來完成的。 在應(yīng)用程序中首先要打開Framebuffer設(shè)備，在Linux系統(tǒng)中Framebuffer設(shè)備一般映射為/dev/fb，可以有多個(gè)設(shè)備。然后調(diào)用ioctl提供的接口獲取設(shè)備信息，主要是獲得當(dāng)前Framebuffer設(shè)備的分辨率、色深、每一行數(shù)據(jù)占的字節(jié)數(shù)。關(guān)鍵的一步是將屏幕緩沖區(qū)映射到用戶空間，F(xiàn)ramebuffer設(shè)備可以看成是顯存的映像，但是Linux所有的設(shè)備驅(qū)動(dòng)均在內(nèi)核態(tài)工作，所以無法在當(dāng)前進(jìn)程空間中直接訪問，通過映射機(jī)制可以直接把顯存的起始地址映射到當(dāng)前進(jìn)程的地址空間，從而可以快速方便的實(shí)現(xiàn)顯示，建立映射的方法如下： pfb=mmap (0，F(xiàn)BDraw_finfo．smem_len，PROT_READ | PROT_WRITE，MAP_SHARED，fd，0)； //以read、write和share方式映射 屏幕上坐標(biāo)為(x，y)的點(diǎn)在顯存中的位置是： pro+x * (fb_vinfo．bits_per_pixel>>3)+Y * fb_finfo．line_length, 對這個(gè)位置賦響應(yīng)的顏色值就可以在屏幕上顯示出來。需要注意的是當(dāng)色深(fb_vinfo．bits_per_pixel)不同時(shí)，顏色值的格式也不一樣。 把經(jīng)過圖像處理后的圖像數(shù)據(jù)或者采集到的原始圖像數(shù)據(jù)轉(zhuǎn)化成Framebuffer設(shè)備的顏色數(shù)據(jù)格式(RGB565、RGB888等)后，將數(shù)據(jù)復(fù)制到從地址pfb開始的內(nèi)存中，就可以實(shí)現(xiàn)圖像的顯示。 5 結(jié)束語 本文設(shè)計(jì)了以ARM核處理器S3C2410為計(jì)算與控制核心，以ARM-Linux為操作系統(tǒng)的圖像采集、處理、顯示的一個(gè)平臺(tái)，用于圖像處理中算法驗(yàn)證，調(diào)試與實(shí)際使用表明，該系統(tǒng)具有良好的使用效果和較高的丁作效率，現(xiàn)已用于戰(zhàn)場偵察系統(tǒng)的演示。同時(shí)本系統(tǒng)具有功耗小、體積小、網(wǎng)絡(luò)功能強(qiáng)等特點(diǎn)，可以方便的擴(kuò)展到偵察、安防、視頻采集等領(lǐng)域。 本文創(chuàng)新點(diǎn)：利用ARM平臺(tái)，結(jié)合嵌入式操作系統(tǒng)進(jìn)行圖像采集和處理，在較小的系統(tǒng)內(nèi)實(shí)現(xiàn)了主要的圖像系統(tǒng)功能，取得較好的效果，并具有良好的應(yīng)用前景。 項(xiàng)目經(jīng)濟(jì)效益（50萬元） 作者：賈晶晶，劉明杰，孫凱 來源：《微計(jì)算機(jī)信息》(嵌入式與SOC)2009年第3-2期 |
