|
傳統的監控系統需要安保人員實時監控畫面或事后回放視頻記錄進行人工分析，不但成本高，而且效率低。目前很多視頻監控系統也只是做到了網絡化，而且由于受網絡帶寬的限制，造成數據的延遲或丟失，也給監控系統帶來很大的風險。針對以上問題，本文設計并實現了一種基于BF561的智能視頻監控儀，可以與現有的監控系統實現無縫連接，實現目標的自動監控與跟蹤，有效地提高了監控效率。 1 系統硬件框架結構 由于在實時視頻處理系統中，底層算法的數據量大，運算結構相對比較簡單，對速度有很高的要求。而高層處理算法控制結構復雜，數據量較底層算法少，故本文采用FPGA+DSP的結構, 其系統的硬件框架如圖1所示。本設計采用ADI公司的嵌入式多媒體處理器BF561(BlackFin561)作為算法處理和控制核心，采用EP3C25F324C8對圖像進行預處理和圖像的背景提取等算法。BF561擁有2個600 MHz的DSP內核,每個內核提供兩套乘法器和ALU，有專門的視頻處理硬件單元和視頻處理指令,具有豐富的DMA通道和大容量高速的SRAM。BF561采用MSA結構，可作為RISC處理器使用，也可以作為DSP使用。 1.1視頻采集和輸出模塊 本文采用解碼芯片SAA7111將攝像頭輸出的PAL制信號轉換為數字信號。SAA7111是飛利浦公司推出的9位視頻解碼器，提供6路模擬輸入和2個增強型的模數轉換器。通過配置SAA7111將PAL制式的模擬基帶信號轉化為ITU-R BT656的4:2:2格式的YUV信號，并將其送入FPGA中進行預處理。經過預處理后的圖像數據再由FPGA重新打包成BT656格式的數據送入到BF561的PPI口。具體連接圖如圖2所示。圖中，VPD[0..7]是數據輸出管腳與FPGA相連，時鐘同步信號BF561采用MDMA的方式將原始圖像信號存入SDRAM中，供視頻跟蹤算法使用。視頻輸出模塊采用飛利浦公司視頻編碼芯片SAA7105將輸出信號轉化為PAL制式的CVBS信號。標準的YUV數據從FPGA的引腳輸出，送到SAA7105的數據管腳上，場、水平和垂直同步信號分別接到FPGA的控制引腳上。SAA7105的參數配置都是通過FPGA產生I2C總線來實現的。 1.2 存儲模塊 BF561的片上存儲器分為兩個部分:每個內核各使用100 KB的專用、高速L1存儲器和128 KB的大容量共享L2存儲器。本系統通過EBIU接口外擴了SDRAM和Flash兩種存儲器。選取2片MT48L32M16A2來構成SDRAM存儲器，μClinux操作系統的映像、圖像處理數據和圖像處理中間結果可存儲在SDRAM中。系統擴展了64 MB的Flash,選用S29GL064M90T芯片存放操作系統的Bootloader和內核程序。 1.3 外圍接口模塊 外圍接口模塊包括串口接口、以太網接口和部分通用接口等。本文主要用到串口接口和以太網接口。串口接口的功能是控制云臺運動，使運動目標隨時在視場范圍內，本文選用MAX488芯片實現BF561內的UART接口的電平轉換；網絡接口的功能是通過系統的嵌入式Web服務器，實現智能監控儀的遠程配置、傳遞監控參數等，采用DM9000即可滿足系統需要。 1.4 DSP雙核以及FPGA之間的通信 在本系統中，涉及到BF561兩個核之間的通信以及BF561與FPGA之間的通信。FPGA給DSP提供圖像數據和經過背景提取之后的二值化圖像數據，DSP將繪制的波門數據傳輸到FPGA，FPGA將波門疊加到原始圖像后送給SAA7105H顯示。常見的雙核通信主要采用中斷、輪詢兩種通信方式。中斷是利用2個核的中斷機制來實現FPGA與DSP之間的通信；輪詢是通過在雙核的共享寄存器里設置一些信號量，供雙核通信與訪問。考慮到本系統的應用條件，本文采用輪詢的通信方式，將信號量定義存放在L2空間。DSP的異步存儲器的地址空間映射到FPGA,通過FPGA操作數據線和地址線，即可完成FPGA與DSP之間的數據交互。 2 軟件算法實現 在本設計中，A核運行μClinux操作系統，B核運行視頻監控算法。μClinux操作系統主要實現以太網芯片DM9000的驅動、Flash的驅動、嵌入式Web服務器BOA的實現和B核的驅動程序。 2.1 算法 本文實現的智能視頻分析儀主要用在視頻監控中，智能視頻監控的核心內容之一是對特定目標進行自動跟蹤。目標跟蹤分為運動目標檢測、行為識別和目標跟蹤3個主要步驟。 運動目標檢測是從圖像序列中將變化區域從背景圖像中提取出來，本文采用目前最常用的運動檢測算法即背景消除法。此部分算法主要在FPGA中實現，采用基于改進的自適應混合高斯模型的背景建模方法來得到背景圖像。為了節省存儲空間和提高運算速度，在背景建模時，將YUV信號轉化為圖像的灰度值。通過高斯建模得到背景圖像B及原始圖像A后,為了克服樹枝擾動、陽光反射等干擾，采用如下策略進行處理： 然后采用數學形態學的方法對二值化圖像C進行處理，得到運動目標的連通域，從而進一步得出運動目標的質心、大小、位置等信息，建立目標鏈。 行為識別：遍歷目標鏈的每個目標，判斷連續各幀之間運動目標的質心位移方向和距離，得出目標的運動軌跡。根據設置好的規則和運動軌跡，判斷目標是否滿足觸發報警的條件。 目標跟蹤：在許多監控場景，要求攝像頭隨著運動目標移動，防止目標運動超出攝像頭的視場范圍內，從而要求云臺隨著目標的運動而運動。在本設計中，這種情況下只能由多目標跟蹤轉為單目標跟蹤。目前用于圖像跟蹤的方法比較多，相關跟蹤是一種常用的、有效的和快速的目標跟蹤方法。本文采用改進的多模板匹配法對目標進行跟蹤，使用多子模板匹配和二值化信息不斷修正模板的方法有效地解決了由于模板滑動帶來的模板更新問題；采用歸一化互相關系數度量模板的相似度；為了克服遮擋問題和提高跟蹤的準確性和實時性，采用Kalman濾波器估計目標的運動狀態，有效地縮小了目標的搜索范圍。目標在單位時間內(本文的間隔時間是3幀)其運動狀態變化較小，可以認為在單位時間間隔內目標是做勻速運動的,可以建立卡爾曼濾波器模型。觀測向量為模板匹配運算后目標的位置，狀態向量為目標實際位置和當前的水平垂直速度，為了提高運算速度，分別對水平方向位置和垂直方向位置進行卡爾曼預測。 2.2 軟件流程 BF561的視頻監控處理流程如圖3所示。首先BF561收到FPGA傳來的1幀圖像，接著BF561讀取本幀圖像的二值化信息，通過腐蝕膨脹函數和取連通域函數target_mark()，得到當前幀運動目標的大小、重心和位置等信息，然后通過target_update()函數更新目標鏈，采用基于區域的算法，判斷連續的各幀之間運動物體的質心位移方向和距離，判斷目標的狀態，判斷是新目標、原有目標、目標發生合并、目標發生遮擋和目標丟失等。完成目標鏈的更新后,進入規則檢測函數rule_check(),根據目標的軌跡信息判斷目標鏈中的目標是否滿足報警條件，若滿足報警條件，給出各種報警信號，若不滿足，則返回，等待下一次循環。通過對物體運動軌跡的記錄，可以實現入侵檢測，人、車數量統計，遺留物體檢測，攝像頭非法遮擋和移位報警等功能。若要實時跟蹤目標，則進入target_track()函數，采用卡爾曼濾波器對目標位置進行預測和改進的多子模板匹配算法得到目標的實際位置，控制云臺運動保證目標的連續跟蹤。實驗結果如圖4所示，表明本設計能準確、實時地跟蹤目標。 本設計實現了智能視頻監控儀。其獨立的硬件設計結構和豐富的接口，使本平臺不僅可用于智能化當前監控系統，也可獨立構建新的網絡化、智能化的監控系統。 |
