|
引言 隨著視頻壓縮技術(shù)的日益成熟，嵌入式視頻監(jiān)控成為當(dāng)今視頻監(jiān)控的主流。目前新的視頻編碼標(biāo)準(zhǔn)H.264的成熟和嵌入式技術(shù)的廣泛應(yīng)用，推動了視頻監(jiān)控系統(tǒng)向多領(lǐng)域延伸。本文介紹了一種基于H.264的嵌入式技視頻監(jiān)控結(jié)構(gòu)和系統(tǒng)工作原理。客戶端實現(xiàn)時，針對H.264標(biāo)準(zhǔn)解碼中存在的問題，采用SIMD(Single Instruction，Multiple Data)技術(shù)，實現(xiàn)了宏塊內(nèi)插過程的優(yōu)化。最后在實際環(huán)境中進行了測試，整個系統(tǒng)的運行比較穩(wěn)定。 1 嵌入式視頻監(jiān)控系統(tǒng)設(shè)計 1．1系統(tǒng)的體系結(jié)構(gòu) 本文提出的基于H.264的嵌入式視頻監(jiān)控系統(tǒng)由以下4部分組成，如圖1所示 
圖1監(jiān)控系統(tǒng)的結(jié)構(gòu) (1)視頻監(jiān)控前端(DVS)：完成現(xiàn)場視頻數(shù)據(jù)的采集，利用H.264壓縮技術(shù)完成兩種不同分辨率和幀率視頻流的編碼。通常情況下，將低碼率的視頻流通過互聯(lián)網(wǎng)或GPRS、CDMA網(wǎng)絡(luò)傳輸?shù)街行墓芾矸⻊?wù)器。(2)客戶端(Client)：接收從中心管理服務(wù)器轉(zhuǎn)發(fā)過來的數(shù)據(jù)，進行實時瀏覽或向中心管理服務(wù)器請求歷史數(shù)據(jù)或通過中心管理服務(wù)器配置和控制云臺。(3)中心管理服務(wù)器(CMS)：管理DVS、Client和媒體服務(wù)器，記錄三者的相關(guān)信息(ID號、IP地址、端口號Port、圖像分辨率、壓縮格式等參數(shù))；向DVS請求視頻流；向Client發(fā)送視頻流；向媒體服務(wù)器發(fā)送視頻流或檢索視頻流。(4)媒體服務(wù)器(MS)：存儲不同類型的視頻流；向CMS提供歷史文件。 1．2系統(tǒng)的工作原理
圖2系統(tǒng)的工作原理 圖2所示CMS是視頻監(jiān)控系統(tǒng)的核心。當(dāng)DVS接入Internet后，會將本地攝像機的ID、IP和端口號向CMS注冊，以便CMS的管理。CMS會把DVS提供的信息寫入本地監(jiān)控前端數(shù)據(jù)表(DVS Table)。這樣，Client可以通過DVS的ID號進行遠程訪問。同樣MS和Client也用同樣的方式向CMS注冊，CMS會把相關(guān)系信息寫入客戶端表(Client Table)。然后，遠端用戶通過Client輸入要訪問DVS的ID號并發(fā)向CMS，CMS會跟據(jù)DVS的ID號查詢DVS Table，得到DVS的lP地址和端口Port，向DVS發(fā)送連接請求，當(dāng)會話建立成功后，DVS開啟編碼器開始采集編碼，通常情況下它會把低分辨率的視頻流發(fā)向CMS，再由CMS轉(zhuǎn)發(fā)向不同的客戶端。最后，客戶端對接到的視頻流進行解碼顯示，從而完成監(jiān)控任務(wù)。 DVS在采集編碼時，會把數(shù)據(jù)流編成兩種具有不同分辨率和幀率的獨立視頻流，如Dl和CIF或HDI或CIF等，為了節(jié)省有效帶寬．它把其中一種低分辨率的視頻流發(fā)往CMS，另一種高分辨率的視頻流存于本地磁盤。而CMS接收到視頻流后會根據(jù)當(dāng)前的網(wǎng)絡(luò)狀況和客戶端處理能力調(diào)整視頻流的格式進行轉(zhuǎn)發(fā)，最后把接收到不同格式的視頻流存儲于不同的MS。只有當(dāng)網(wǎng)絡(luò)負(fù)載比較輕的情況下。CMS會向DVS請求高分辨率的視頻流。可見，CMS不僅充當(dāng)了管理員的角色，而且也充了變換編碼的角色。 另外，當(dāng)Client需要回放遠端視頻流時，會向CMS發(fā)出歷史數(shù)據(jù)請求。其中包括DVS的ID號、圖像格式和時間等信息。CMS根據(jù)請求檢索Media Table，查到符合要求的數(shù)據(jù)時，會向MS請求，收到Client要求的媒體流后，進行轉(zhuǎn)發(fā)。 2 H.264解碼優(yōu)化 H.264是圍際上最新的視頻編碼標(biāo)準(zhǔn)，它不僅采納了現(xiàn)有視頻標(biāo)準(zhǔn)的優(yōu)點，而且推出一些新的技術(shù)如多模式、多參考幀、運動估計、自適應(yīng)二進制算數(shù)編碼等新技術(shù)，大大提高了視頻編碼的效率。但是H.264性能上的改進也帶來了復(fù)雜度的明顯提升。其中運動補償是H.264算法解碼最耗時的部分，所以客戶端實現(xiàn)中除了采用通用的方法(像素內(nèi)插、調(diào)整數(shù)據(jù)結(jié)構(gòu)、刪除冗余代碼)優(yōu)化H.264解碼器外，還利用了SIMD技術(shù)，重點對運動補償中的宏塊進行優(yōu)化。 在H.264解碼器中，用一個6抽頭濾波器可以實現(xiàn)1/4像素內(nèi)插，并且固定的濾波器系數(shù)可以預(yù)先存儲，內(nèi)插過程在濾波器系數(shù)和圖像數(shù)據(jù)問產(chǎn)生結(jié)果，所以用一個SSE(Streaming SIMD Extensions)指令PMADDWD(Packed Muhiplv and Add)很容易實現(xiàn)這一過程，如圖3所示為指令PMADDWD工作過程：
圖3 PMADDWD指令 圖3中所示有兩個128位SSE寄存器操作數(shù)，操作數(shù)中每個數(shù)據(jù)單元是16位整數(shù)。指令先對它們對應(yīng)的兩個16位整數(shù)相乘．相乘直接相加，最后把結(jié)果存入一個SSE寄存器中，其中每個數(shù)據(jù)單元是32位整數(shù)。那么，用一條PMADDWD指令在兩個128位SSE寄存器里就可以完乘法和加法計算，然后在結(jié)果寄存里對這4個32位數(shù)據(jù)相加得到最終結(jié)果。但是，當(dāng)計算一個新的像素值時，每次都需裝入不同圖像的數(shù)據(jù)。那么對于一維中的一個塊來說，向量數(shù)據(jù)必需裝入64次。所以為了避免重復(fù)裝入相同的數(shù)據(jù)，我們采用了水平內(nèi)插法。實現(xiàn)過程如圖4所示：
圖4 子像素內(nèi)插實現(xiàn)過程 水平內(nèi)插，先把6+8—1=13個相關(guān)像素裝入一個長度為128比特的寄存器中。然后把它們拆分。并分別移入兩個長度為16比特的SSE寄存器中(RI和R2)。由于濾波器系數(shù)(1，-5，20，20，-5，1)必須水平移動，所以我們必須裝入4種具有不同平移的濾波器系數(shù)，然后在R1上對這4個濾波器系數(shù)執(zhí)行PMADDWD指令，得到前4個內(nèi)插像素值。需要注意的是，在計算第4個內(nèi)插象素值時，由于第5個濾波器系數(shù)c5=1不能裝入第4個系數(shù)寄存器，因此需要單獨地在x(i+6)上進行一次額外的運算才能得出第4個內(nèi)插像素值。同理，可以在R2上計算出另外4個內(nèi)插像素值。這種方法避免了反復(fù)加載不對稱數(shù)據(jù)帶來的損失，減少了數(shù)據(jù)裝入的負(fù)載，所以H.264算法解碼速度得到提高。 當(dāng)然對于垂直內(nèi)插，可以通過簡單拆分、移位和加法完成這一過程。如濾波器系數(shù)可以用簡單的移位和加法實現(xiàn)。因此6行數(shù)據(jù)可以先裝入6個128位的寄存器中，接下來通過移位和加法計算出最后的結(jié)果。由于SSE寄存器可以裝載8個16位數(shù)據(jù)，所以可以在一行上計算出8個內(nèi)插像素值。在這一模中，計算塊大小的內(nèi)插像素值比塊節(jié)省計算時間，提高了解碼速度，可看最后實驗結(jié)果。 3 客戶端的實現(xiàn) (1)CH264Dec模塊，是H.264壓縮碼流的解碼類。負(fù)責(zé)H.264壓縮碼流的解碼，供顯示模塊調(diào)用。該模塊的實現(xiàn)不僅采用上小節(jié)提出的優(yōu)化方法，還采用了研究者已經(jīng)提出的其它優(yōu)化方法。 (2)CDirectDraw模塊，是圖像顯示類。采用微軟DirectX中的DirectDraw技術(shù)，主要完成客戶端主界面的初如化和調(diào)用CH264Dec模塊器模塊完成圖像顯示工作。 (3)CFileSave模塊，是文件存儲類。對文件進行初始化(文件名、大小、存儲時間、存儲路徑等)，完成存儲。 (4) CCIielltSocket模塊，是網(wǎng)絡(luò)傳輸類。初始化套接字、連接CMS、從網(wǎng)絡(luò)接收數(shù)據(jù)、向CMS發(fā)送數(shù)據(jù)請求和云臺控制請求等。 (5) CPlayBaek模塊，是圖像顯示類。回放窗口的初始化及歷史文件的播放顯示，調(diào)用解碼器類。 4 實驗結(jié)果 為了驗證本文中采用SIMD技術(shù)對JMl2.4參考軟件中解碼部分優(yōu)化的有效性，我們給出的測試結(jié)果如表l所示。主要測試解碼模塊中亮度運動補償?shù)慕獯a速度。解碼平臺使用普通的PC機。奔騰四代2.4GHz CPU，512M的內(nèi)存，Windows XP操作系統(tǒng)。測試序列中只有I幀和P幀。 表1解碼優(yōu)化的測試結(jié)果
測試結(jié)果如表1所示，我們采用SIMD技術(shù)對參考軟件進行優(yōu)化后的解碼速度比優(yōu)化前快1-3倍左右。但對于高位率視頻流(小步長的視頻流)，僅采用SIMD技術(shù)很難達到比較快的優(yōu)化速度，這是因為熵解碼過程對解碼速度影響較大。對此，我們采用不同的優(yōu)化算法對影響解碼速度的所有模塊進行優(yōu)化，在實際環(huán)境中進行測試，實驗結(jié)果如圖5所示。結(jié)果表明解碼速度會受編碼時的目標(biāo)碼率和GOP值的影響。在目標(biāo)碼率相同的情況下，GOP值越小，解碼速度越慢，反之則越快，但影響不太明顯；在GOP相同的情況下，目標(biāo)碼率越小，解碼速度越快。反之則越慢，而且影響比較明顯。所以本系統(tǒng)在實際應(yīng)用中，我們采用100Kbit/8的目標(biāo)碼率進行編碼，以實現(xiàn)解碼端平均25fps左右的解碼速度，這樣可以正常完成I監(jiān)控系任務(wù)。
圖5系統(tǒng)的測試結(jié)果 5 結(jié)論 本文介紹了一種基于H.264的嵌入式視頻I監(jiān)控系統(tǒng)結(jié)構(gòu)和系統(tǒng)工作原理，接著分析了PMADDWD工作過程和H.264解碼中宏塊的內(nèi)插過程，然后根據(jù)PMADDWD指令特點，提出了一種針對H.264解碼中宏塊的內(nèi)插過程優(yōu)化方法。最后給出的實驗結(jié)果證明它的有效性。另外，本文實現(xiàn)了監(jiān)控客戶端，并應(yīng)用有實際環(huán)境中運行良好。 本文作者創(chuàng)新點：根據(jù)多媒體擴展架構(gòu)指令集中PMADDWD指令特點，針對H.264解碼中宏塊的內(nèi)插過程，提出了一種優(yōu)化方法，實驗證明，優(yōu)化后亮度運動補償部分的解碼比優(yōu)化前快1-3倍。 項目經(jīng)濟效益：18萬元。 作者：張朝偉，周兵 來源：《微計算機信息》(嵌入式與SOC)2009年第3-2期 |
