|
1 DVR的發展現狀及MPEG-4在嵌入式DVR中的優勢 1. 1 DVR的發展 DVR的發展大體上經過了兩個階段:以PC為平臺的DVR和嵌入式DVR。傳統的以PC為平臺的DVR采用的是存儲在硬磁盤中的Windows操作系統,這種開放式的系統有著用戶友好的圖形用戶接口GUI等優點,但它也有如Windows固有的不穩定性及支持CPU受到限制等缺點。嵌入式DVR采用能嵌入ROM/Flash存儲器中的實時操作系統RTOS,布控區域廣泛、可組成非常復雜的監控網絡、性能穩定可靠,從而很好地彌補了這種缺陷。 在嵌入式DVR中,視頻壓縮技術是其關鍵的核心技術,現在DVR采用的壓縮技術的主流是MPEG-1。MPEG-1 的核心是離散余弦變換及雙向運動補償算法,主要思想是通過減少圖像間時間及空間的冗余性和相關性信息來減少數據量。MPEG-1在800kbps～2Mbps的傳輸速率下圖像能達到較好的清晰效果。但是采用MPEG-1的嵌入式DVR也有很多不利的地方: ①硬盤耗費量大; ②由于數據量大,不適合網絡傳輸; ③不夠靈活,適應性差,不能根據網絡情況自適應地調節傳輸率。而MPEG-4的出現克服了以上種種缺陷,是現代嵌入式DVR的發展趨勢。 1. 2 MPEG-4在嵌入式DVR中的優勢 MPEG-4在壓縮方法上遠遠優于MPEG-1,MPEG-4基于場景描述和面向帶設計的要領使MPEG-4在視頻監控錄像領域中在以下幾個方面具有巨大的優勢: (1)節約存儲空間。 (2)較高的錄像清晰度,盡管MPEG-4是瞄準在低帶寬上的音/視頻解決方案,但是它獨特的壓縮方式同樣也適合CIF或更高清晰度(768 ×576、640 ×480)的視頻壓縮。這樣它就有效突破了MPEG-1最大清晰度CIF(352 ×288)限制,獲得更好的視頻壓縮質量。 (3)錄像幀率可調。 (4)比MPEG-1更利于網絡傳輸。MPEG-4優越的視頻壓縮方式,也決定了其在低帶寬網上具有優秀的表現。 2 MPEG-4核心思想和關鍵技術在DVR中的應用 MPEG-4代表了基于模型/對象的第二代壓縮編碼技術,它充分利用了人眼視覺特性,抓住了圖像信息的本質,從輪廓、紋理思路出發,支持基于視覺內容的交互功能,適應了多媒體信息的應用由播放型轉向基于內容的訪問、檢索及操作的發展趨勢,尤其適合應用在嵌入式DVR中。 2.1 MPEG-4核心思想———基于對象編碼 AV對象(Audio Visual Object)是MPEG-4提出的重要概念,它是在一個場景中能夠訪問和操縱的實體,具體到一幅圖像中,對象是能表征有含義的實體的一組區域(Region) ,對象的劃分可以其獨特的紋理、運動、形狀、模型和高層語義為依據。MPEG-4的編碼就是基于AV對象的, AV對象是視聽內容的表示單元,其基本單位是原始AV對象。原始AV對象可以是自然或者合成的聲音、圖像。它具有時域和空域的靈活性,可以根據對象重要性,進行比特的科學分配,從而使圖像的主觀質量得到保證。因此,MPEG-4具有高效編碼、高效存儲和傳輸以及可交互操作的特性,AV對象編碼就是MPEG-4的核心思想。在DVR的應用中,這種基于AV對象的編碼的高效壓縮必然能節省大量的存儲資源,也可以靈活地根據現場帶寬和誤碼率的客觀條件進行擴展,充分利用帶寬。從下面的MPEG-4采用的核心技術的分析中將會更加清楚地看到這種基于AV對象編碼所帶來的好處。 2. 2 MPEG-4的關鍵技術 (1) 視頻對象的提取技術。MPEG-4實現基于內容的編碼首先就要把視頻、圖像分割成一個個靜止的對象或運動的對象,然后針對不同對象采用相應的編碼方法,以實現高效壓縮。目前視頻對象分割的一般步驟是: ①對原始視頻/圖像數據通過低通濾波、中值濾波、形態濾波等來進行簡化,以利于分割;②對視頻/圖像數據進行諸如顏色、紋理、運動、幀差、位移幀差和語義等特征提取; ③基于某種均勻性指標來確定分割決策;④進行相關的后處理,濾除噪聲并準確提取邊界。 運用于嵌入式DVR中的MPEG-4,視頻對象的提取相對比其他運用來說,簡單了許多,在嵌入式DVR的視頻/圖像中不會有太多太復雜的視頻內容。基本上可分為一個靜止的對象:背景和若干個運動的對象。 (2) VOP (Video Object Plane)編碼技術。VOP是視頻對象(VO)在某一時刻的采樣,它也是MPEG-4視頻編碼的核心概念之一。MPEG-4在編碼過程中針對不同VO采用不同的編碼策略,即對前景VO的壓縮編碼盡可能保留細節和平滑;對背景VO則采用高壓縮率的編碼策略,甚至不予傳輸而在解碼端由其他背景拼接而成。這種基于對象的視頻編碼不僅克服了第一代視頻編碼中高壓縮率編碼所產生的方塊效應,而且使用戶可與場景交互,從而既提高了壓縮比,又實現了基于內容的交互,為視頻編碼提供了廣闊的發展空間。而且MPEG-4支持任意形狀圖像與視頻的編解碼。對于任意形狀視頻對象,MPEG-4則采用VLBV (Very Low Bit rate Video,極低比特率視頻)核進行編碼。 在嵌入式DVR應用的場合中有一個很大的特點:背景對象是靜止不動或者是極少運動的。因此對背景對象可以根據實際情況,或采取高壓縮率編碼,或只在較少的幀中出現,這樣可以極大地降低對存儲和傳輸的壓力。上面這種方法就是MPEG-4中的Sprite編碼思想, Sprite稱為鑲嵌圖或背景全景圖。一個Sprite是由一個視頻對象在視頻序列中所有出現部分經拼接而成的一幅圖像。通過Sprite編碼,先將背景Sprite送到解碼端并生成背景圖,其后就只需要傳輸少量的參數即可,可以減少整個視頻傳輸過程中的數據量,實現高壓縮比。而且對于Sprite圖像為了減少延遲,還可以使用MPEG-4的分級傳輸功能,進行分層逐塊傳輸。 (3) 可擴展編碼技術。擴展性編碼也是可分級性編碼,視頻的可分級性( Scalability)是指碼率的可調整性,即視頻數據只壓縮一次,卻能根據實際情況以不同的幀率、空間分辨率或視頻質量進行解碼,從而可支持多種不同的應用要求。擴展性編碼分為空域擴展和時域擴展編碼。MPEG-4通過視頻對象層(VOL)數據結構來實現分級編碼,在擴展性編碼中視頻序列分為兩層:基本層和增強層。基本層提供了視頻序列的基本信息,增強層提供了視頻序列更高的分辨率和細節。在嵌入式DVR中,采用MPEG-4的基于對象的分層傳輸思想,使用空域和時域的擴展編碼調節空間分辨率和幀率。這樣,一方面可以方便地實現碼率控制,可以很好地使網絡帶寬發生變化;另一方面,也可以實現用戶與DVR的交互性能,用戶可以方便地選擇分辨率和幀率,以得到滿意的視頻效果。 (4) 運動估計與運動補償技術。MPEG-4采用I幀、P幀和B幀三種幀格式來表征不同的運動補償類型。I幀使用幀內壓縮,只利用空間相關性,不使用運動補償,所以不依賴于其他幀,是解碼的基準幀。I幀圖像周期性出現在圖像序列中。P幀和B幀圖像采用幀間編碼方式,同時利用了空間和時間上的相關性。P幀采用前向時間預測,可以提高壓縮效率和圖像質量,B幀采用雙向時間預測,更大地提高壓縮倍數,但是B幀不能作為其他圖像編碼的參考幀,不能進行隨機存取。因此,在嵌入式DVR的應用中,當用戶可用帶寬比較低的情況下,可以只轉發I幀和盡可能少的P幀,可以降低傳輸的碼率,還可以得到可以接受的視頻質量。 3 基于MPEG-4的嵌入式DVR中的實現 3. 1 硬件實現 基于MPEG-4的嵌入式DVR硬件實現如圖1所示,采用如下的方案: (1) DSP選用TI公司推出的TMS320C6416,工作頻率達750MHz,運算速度可達到4000MIPS。 (2) ARM 板采用ARM 嵌入式系統擴展板( CY-ARM4510B) 。 (3) PCI接口板(CY-PCI2.2) 。 圖1 硬件框圖 3. 2 軟件實現 軟件部分用ANSI C編寫,用GNU Make-3.74或更高版本的GCC編譯器進行編譯。MPEG-4編解碼部分是在MPEG-4提供的框架下根據嵌入式DVR應用的實際情況進行了一些簡化和優化后實現的。主要從下面三個方面對代碼進行優化: (1)盡量降低代碼量,提高數據結構的有效性。因此需要去除對DVR應用中基本不用的結構及處理部分。 (2)并且盡量是執行控制趨于合理,減少不必要的存儲分配和釋放,盡量減少對外部存儲器的訪問。 (3)改進ME/MC ( FastMotion Estimation and Motion Compensation)來提高編碼效率。 程序分為三個部分:編解碼公用的部分、編碼部分和解碼部分。根據上面提到的優化思想,我們對程序進行了優化。經過優化后,VOP的結構體進行了很大的改變,保留了基本的語法元素項,對Sp rite進行了一些簡化,定義如下: struct vop { /* VOP的語法元素* / Int p rediction_type; /* VOP類型* / Intmod_time_base; /* VOP絕對基本時間* / Float time_inc; /* VOP相對mod_time_base時間* / Int vop_coded; Int rounding_type; Int width; /* VOP寬度* / Int height; /* VOP高度* / . /* 運動估計元素* / . /* 部分從VOL中傳過來的sp rite coding元素* / Int sp rite_hdim; Int sp rite_vdim; Int sp rite_left_edge; Int sp rite_top_edge; Int warp ing_accuracy; /3 變形精度(2, 4, 8, 16) 3 / Int sp rite_usage; /3 0:不用; 1:靜態; 3 / Int no_of_sp rite_points; /3 0:固定, 1:平移, 2:旋轉、縮放, 3:仿射, 4:透視畫法3 / TrajPoint 3 ref_point_coord; /3 position of reference points sp rite 3 / TrajPoint 3 traj_point_coord; /3 position of reference points aftermotion compensation 3 / TrajPoint 3 difftraj_point_coord; /3 ( dui, dvj) trajectory coordinates, to be transmitted 3 / Int brightness_change_in_sp rite; Float brightness_change_factor; Int low_latency_sp rite_enable; /3 0:基本sp rite, 1:節省的sp rite 3 / struct vop 3 rec_sp rite; /3 當前解碼sp rite指針3 / Sp rite_motion 3 warp_param; /3 全局運動向量3 / ....... } 在VOP中, sprite _ usage為1則圖像中只處理靜態的Sprite; sprite_hdim、sprite_vdim與靜態的Sprite的像素相對應,它隨Macroblocks數的變化而作相應的變化,對于一個環境穩定的DVR 的應用,它們可以有一個確定的值; n Number of Sprite Points當為o時zero運動.......同時在image, sprite_motion, vol, video _object, motion等結構體和編解碼的函數中也進行了相應的類似的一些優化,以適應DVR的特點,提高編碼的效率。 (2) 軟件支持空域可擴展和空域可擴展,設置參數可支持五種類型: 0為時域擴展類型0; 1為空域擴展; 2為時域空域擴展; 3為時域擴展類型1; 4為時域擴展類型2對于空域擴展。 Enhanece P B B B . . . Base I P P P . . . 對于時域擴展, base層的幀率變為5fps和enhance層的幀率也為5fps。支持三種類型: Case0 I-VOP在base層中周期出現和P-VOP在base層和enhance層中,而B-VOP不出現 Enhance layer P P P P P . . . Base layer I P P P P . . . Case1 I-VOP和P-VOP在base層中編解碼, enhance層中只有B-VOP Enhance layer B B B B B B . . . Base layer I P P P . . . Case3 base層中包含I-VOP, P-VOP和B-VOP, enhance層中只有B-VOP Enhance layer P B B B B B . . . Base layer IB P B P B P . . . 4 結束語 MPEG-4基于內容的壓縮,是信息處理的高級階段,更加向人自身的信息處理方式靠近。本文著重分析了將MPEG-4編碼方法應用于嵌入式DVR的種種優點,論述了這種DVR實現方法。實踐表明,這種應用是對DVR是一次有效的優化,能夠在多個方面提高DVR的性能,MPEG-4編碼必將是下一代DVR的發展趨勢。 |
