|
互聯(lián)網(wǎng)的帶寬越來越大，基于互聯(lián)網(wǎng)的信息特別是聲音圖像實時數(shù)據(jù)的傳輸已經(jīng)成為可能。視頻和音頻數(shù)據(jù)的傳輸正好充分利用了互聯(lián)網(wǎng)帶寬，并達(dá)到了實時交流以及進(jìn)行遠(yuǎn)程開會的可能。視頻會議系統(tǒng)相比傳統(tǒng)的電話會議更充分利用了互聯(lián)網(wǎng)資源，從而降低了運營成本。 視頻編碼器是視頻會議系統(tǒng)的主要構(gòu)成部分。目前視頻壓縮標(biāo)準(zhǔn)有H.261、H.263、MPEG4和H.264等。新一代視頻編碼標(biāo)準(zhǔn)H.264與以往標(biāo)準(zhǔn)相比具有壓縮率高，網(wǎng)絡(luò)親和性好，視頻質(zhì)量優(yōu)越等優(yōu)點。H.264引入了許多當(dāng)前視頻編碼中的新技術(shù)，使得在相同的重建圖像質(zhì)量下，編碼效率比H.263和MPEG-4高50％左右。因此，視頻編碼器設(shè)計中采用了H.264編碼標(biāo)準(zhǔn)，編碼器主要通過美國AD公司的BF561 DSP芯片實現(xiàn)。目前，視頻處理方案也已經(jīng)由前幾年的ASIC方案轉(zhuǎn)向DSP平臺。在DSP平臺上進(jìn)行視頻產(chǎn)品開發(fā)有以下幾方面的優(yōu)勢：第一，用戶開發(fā)自由度更大，支持多種個性化開發(fā)，可以適應(yīng)市場不斷提出的新要求，在第一時間提升產(chǎn)品性能，增強(qiáng)產(chǎn)品的競爭能力；第二，DSP處理能力強(qiáng)，可以在一個DSP上同時實現(xiàn)多路音、視頻信號的壓縮處理；第三，開發(fā)周期短，能實現(xiàn)快速技術(shù)更新和產(chǎn)品換代，各種新出現(xiàn)的快速及優(yōu)化算法可靈活進(jìn)行升級。 1 BF561介紹 BF561采用了對稱雙核的架構(gòu)，在一顆BF561芯片內(nèi)部集成了2個BF533 DSP內(nèi)核，2個內(nèi)核主頻都可以高達(dá)600 MHz，支持并行處理。BF561處理器的特性保證了其強(qiáng)大的數(shù)字信號處理能力，并且支持低電壓低電流供電，能夠滿足多功能的數(shù)字消費類產(chǎn)品對于性能、功耗方面的要求。 1.1 DMA介紹 Blackfin處理器用直接存儲器訪問(DMA)在存儲器之間或存儲器與外設(shè)之間傳送數(shù)據(jù)。DMA控制器可在存儲器和片上外設(shè)(外設(shè)DMA)之間進(jìn)行數(shù)據(jù)傳送，以及在L1／L2／L3存儲器間進(jìn)行數(shù)據(jù)傳送(存儲器DMA或MDMA)。DMA控制器是Blackfin處理器架構(gòu)中的重要組件，完全獨立于內(nèi)核，不會進(jìn)行周期挪用，完全無需占用處理器內(nèi)核周期。在理想的應(yīng)用配置中，內(nèi)核只需要設(shè)置DMA控制器，并在數(shù)據(jù)調(diào)用過程中響應(yīng)中斷。 BF561有3個獨立的DMA控制器DMA1，DMA2和IMDMA。DMA1和DMA2控制器各有12個外設(shè)DMA通道和4個存儲器DMA通道。IMDMA控制器有4個存儲器DMA通道。 1.2 基于描述符的DMA 基于描述符的DMA傳送需要存儲于存儲器中的參數(shù)來初始化一個DMA隊列。描述符包括所有需對DMA控制寄存器正常編程的參數(shù)。描述符允許把多個DMA隊列鏈接在一起。在基于描述符的DMA操作中，可以對一個DMA通道編程，以便在當(dāng)前傳送隊列完成后，自動設(shè)置和啟動其他DMA傳送過程。在管理一個系統(tǒng)的DMA傳送過程時，基于描述符的模型能提供最大的靈活性。 描述符列表模型分為描述符列表“小”模式和描述符列表“大”模式。在描述符列表“小”模式中，描述段包括一個16位字段，用以指向下一描述符入口地址的低16位，地址的高16位通過寄存器編程得到且保持不變，限制描述符在存儲器的一個特定64 KB大小的頁中。當(dāng)描述符需要跨頁時，可用能提供32位入口地址的描述符列表“大”模式。 2 H．264視頻編碼器構(gòu)成 H．264編碼器由視頻采集、數(shù)據(jù)格式轉(zhuǎn)換、H.264編碼3部分組成。視頻采集部分負(fù)責(zé)捕獲圖像，并且將捕獲到的圖像通過PPI接口填充到指定的視頻幀緩沖區(qū)中。數(shù)據(jù)格式轉(zhuǎn)換部分完成將輸入的4：2：2格式的圖像轉(zhuǎn)換成H-264編碼器能夠編碼的4：2：0格式的數(shù)據(jù)。H.264編碼部分負(fù)責(zé)對4：2：0格式圖像編碼。 在本視頻編碼器設(shè)計中，BF561 A核用于運行操作系統(tǒng)和協(xié)議棧，而H.264算法在B核實現(xiàn)。 2.1 視頻采集 視頻采集是由攝像頭OV7660完成，OV7660是美國OmniVision公司開發(fā)的一款CMOS彩色圖像傳感器芯片，支持VGA，QVGA，GIF等多種分辨率。視頻輸出格式有Raw RGB，GRB 4：2：2和YUV/YCb-Cr(4：2：2)。在本設(shè)計中，選擇CIF YVYU(4：2：2)格式，需要設(shè)置其相應(yīng)寄存器COMl＝0X00，CLKRC＝OX80，COM7＝0X30，TSLB＝0X05。攝像頭配置完后，打開PPIO將視頻數(shù)據(jù)填充到Blackfin處理器的視頻幀緩沖區(qū)中。采用基于描述符的PPI DMA可以很容易的實現(xiàn)乒乓緩沖，從而確保不會覆蓋尚未處理完畢的輸入數(shù)據(jù)。 乒乓緩沖的原理如圖1所示。 設(shè)置兩個CIF 4：2：2幀大小的輸入緩沖區(qū)，首先輸入數(shù)據(jù)通過PPI接口填充到4：2：2視頻幀1中，當(dāng)?shù)谝粠瑪?shù)據(jù)填充滿時，處理器對這幀數(shù)據(jù)進(jìn)行MDMA搬移和壓縮編碼等操作，與此同時，PPI繼續(xù)填充第二個視頻幀。當(dāng)?shù)诙䝼�視頻幀填充滿時，處理器處理第二個視頻幀同時填充第一個視頻幀。利用乒乓緩沖，數(shù)據(jù)將源源不斷地填充到兩個視頻幀中。 2.2 數(shù)據(jù)格式轉(zhuǎn)換 視頻采集到的圖像是交織的4：2：2格式的YUV視頻數(shù)據(jù)，而H.264視頻編碼算法對4：2：O格式的視頻數(shù)據(jù)進(jìn)行壓縮。4：2：O格式數(shù)據(jù)的亮度值緩沖區(qū)和色度值緩沖區(qū)是分離的，利用MDMA搬移，可以實現(xiàn)亮度緩沖區(qū)和色度緩沖區(qū)的分離。 CIF YVYU(4：2：2)格式數(shù)據(jù)如表1所示，CIF 4：2：O格式數(shù)據(jù)如表2所示。4：2：2格式圖像一個宏像素中有4個Y分量，2個U分量和2個V分量。4：2：0格式圖像一個宏像素中有4個Y分量，1個U分量和1個V分量。Y，U和V的存儲區(qū)是分開的，Y在前，然后是U，最后是V。 把4：2：2格式轉(zhuǎn)換成4：2：O格式，要保留所有的Y，并取第0，2，4，……行的U和第1，3，5……行的V。采用基于描述符列表“大”模式的MDMA，需要三對描述符source_y，dest_y，SOurce_u,dest_u，SOUrce_v,dest_v，形成源和目的兩個描述符鏈表，進(jìn)行Y，U和V的從交織的4：2：2格式的源數(shù)據(jù)區(qū)到Y(jié)，U和V分離的目的數(shù)據(jù)區(qū)的搬移。 當(dāng)一幀CIF 4：2：2格式數(shù)據(jù)通過PPI填充到一個Blackfin處理器的視頻幀緩沖區(qū)中，產(chǎn)生中斷，在中斷處理子程序中啟動MDMA，分離亮度值和色度值，然后交給H．264編碼器進(jìn)行編碼。 2．3 H．264編碼 等待產(chǎn)生一幀4：2：O格式數(shù)據(jù)后，對這一幀數(shù)據(jù)執(zhí)行H．264編碼，之后繼續(xù)等待4：2：0格式數(shù)據(jù)的產(chǎn)生，直至編碼結(jié)束。 3 實驗結(jié)果與分析 實驗中，H.264編碼器對攝像頭采集到的圖像編碼，并將壓縮碼流以文件的形式保存在本地存儲器中。編碼結(jié)束后，用H．264的解碼器對壓縮碼流解碼，用YUVviewerPlus.exe播放解碼后的視頻文件。 實驗中，編碼器可達(dá)到每秒鐘編碼15幀圖像的速度。解碼后的圖像清晰度與在VisualDsp++5.0中用Image Viewer查看的相比，圖像質(zhì)量基本相同，圖像很清晰。OV7660采集圖像的速度是每秒鐘30幀，H.264編碼器沒有達(dá)到實時編碼。 實驗中，基于BF561的H.264編碼器沒有達(dá)到實時編碼的原因是沒有對H.264開源代碼優(yōu)化。由于CIF格式圖像數(shù)據(jù)比較大，需要存儲在外部存儲器中，處理器訪問外部存儲器時間比較長；DCT和運動估計算法函數(shù)比較耗時，用C語言實現(xiàn)；程序中有一些輔助函數(shù)和打印信息等，從而影響了編碼器的速度口。 4 結(jié) 語 基于BF561的H．264編碼器沒有達(dá)到實時編碼。未來的工作重點是利用VisualDSP++開發(fā)環(huán)境的C編譯器，進(jìn)行代碼優(yōu)化；充分利用內(nèi)部存儲空間資源和盡可能通過DMA、高速緩存等減少存儲分配帶來的片內(nèi)外數(shù)據(jù)調(diào)度對系統(tǒng)性能的影響；對一些系統(tǒng)調(diào)用比較頻繁、耗時較多的模塊，如DCT和運動估計等，充分利用BF561的指令集，用匯編語言實現(xiàn)；去掉源程序中不必要的輔助函數(shù)和打印信息，以實現(xiàn)基于BF561的H．264編碼器實時編碼。 隨著消費類電子產(chǎn)品進(jìn)一步進(jìn)入普通家庭，應(yīng)用H.264標(biāo)準(zhǔn)的視頻會議、可視電話以及無人監(jiān)控系統(tǒng)等也將會得到越來越廣泛的應(yīng)用。 |
