|
H.264是由國際電信聯(lián)盟(ITU)和國際標準化組織(ISO)共同制定的新一代視頻編碼標準，該標準采用一系列先進的編碼技術(shù)，在編碼效率、網(wǎng)絡(luò)適應(yīng)性等諸多方面都超越了以往的視頻標準。H.264有兩種熵編碼方案：一種是從可變長編碼方案發(fā)展而來的基于上下文的自適應(yīng)可變長編碼CAVLC；另一種是從算術(shù)編碼發(fā)展而來的基于上下文的自適應(yīng)二進制算術(shù)編碼CABAC。與CAVLC相比，CABAC可以節(jié)省約7％的碼流，但增加了10％的計算時間。在解高清碼流時，用軟件來做CABAC這樣復雜的熵解碼，無法完成實時解碼的任務(wù)，因此，設(shè)計硬件加速器是非常必要的。 CABAC解碼算法 在H.264解碼器的輸入碼流中，數(shù)據(jù)的基本單位是句法元素(Syntax Element)，碼流是由一個個句法元素依次銜接而成的。每個句法元素由若干比特組成，表示某個特定的物理意義。在H.264定義的碼流中，句法元素被組織成有層次的結(jié)構(gòu)，分別描述序列(Sequence)、圖像(Picture)、片(Slice)、宏塊(Macroblock)、子宏塊(subblock)五個層次的信息，CABAC主要負責對片層以下的句法元素進行解碼。 CABAC解碼的總體過程可以分為三個步驟：初始化、二進制算術(shù)解碼歸一化、反二進制。 初始化 該過程在每一個片開始時執(zhí)行，包括上下文模型變量(ContextVariable)的初始化和解碼引擎(Decoding Engine)的初始化。 二進制算術(shù)解碼和歸一化 二進制算術(shù)解碼是CABAC解碼的核心部分，該過程實現(xiàn)1bit數(shù)據(jù)的解碼，對每個句法元素進行解碼都需要調(diào)用該過程。H.264中二進制算術(shù)解碼有三種模式：規(guī)則解碼(Decode Decision)、旁路解碼(Decode Bypass)和結(jié)束解碼(Decode Terminate)。對不同句法元素進行解碼時，分別調(diào)用這三種模式的一種或多種。 反二進制化 CABAC定義了四種二進制化方法：一元碼(Unary)、截斷一元碼(Truncated Unary)、K階指數(shù)哥倫布碼(kth order Exp-Golomb)和定長碼(Fixed-Length)。一個句法元素可以對應(yīng)一種或兩種上述二進制化方法，但特殊的是，句法元素mb_type和sub_mb_type的反二進制化獨立于上述四種方法，它們通過查表來實現(xiàn)。 CABAC硬件加速器的架構(gòu)設(shè)計 H.264解碼器的軟／硬件劃分 H.264解碼過程采用軟／硬件聯(lián)合的解碼方案，整個解碼器由32位CPU、DSP結(jié)構(gòu)的運算單元和硬件加速器組成。CABAC熵解碼部分，主要是一些判斷和分支操作，數(shù)據(jù)接口、吞吐量不大，這些任務(wù)由軟件和硬件加速器共同完成。本文設(shè)計的CABAC解碼模塊就是一個CABAC硬件加速器。 CABAC硬件加速器的總體構(gòu)架 CABAC硬件加速器的總體架構(gòu)如圖1所示。其總體架構(gòu)分為兩層：頂層是CABAC_TOP；底層有7個模塊，包括CABAC_Center_Control_Unit、Context、Neighbor_MB_Information，Context_Init、AC_next_state_LPS、AC_next_state_MPS和RangeLPS。 CABAC_Center_Control_Unit模塊負責上下文模型變量的初始化，解句法元素，更新Context，并將解出的殘差數(shù)據(jù)傳給IQ&IDCT模塊；Context模塊是雙口RAM，存放459個上下文模型變量，可同時對一個地址的上下文模型變量進行讀操作并對另外一個地址的上下文模型變量進行寫操作；Neighbor_MB_Information模塊是SRAM，存放宏塊信息，CABAC解碼器在解析當前宏塊中的句法元素時，需要參考上面和左面宏塊的信息，因此，需要在該SRAM內(nèi)保存圖像中當前宏塊的上一行宏塊和該行之前宏塊的信息，每解完一個宏塊更新該SRAM；Context_Init模塊是一塊片內(nèi)ROM，用于初始化變量； 3 個查找表模塊AC_next_state_LPS、AC_next_state_MPS和RangeLPS由組合邏輯實現(xiàn)，用于二進制算術(shù)解碼過程中的查表運算。 CABAC的硬件化分析 本設(shè)計的目標是使整個H.264解碼器的芯片能夠?qū)Ω咔鍒D像(1920×1088)進行實時解碼。假設(shè)芯片工作在166MHz的頻率下，圖像播放速率是25fps，則平均解一個宏塊的時間是823個時鐘周期。考慮到H.264熵解碼部分的運算總體上是串行解碼，并行性較差，因此CABAC硬件加速器需要在3個時鐘周期內(nèi)完成1bit數(shù)據(jù)的解碼。假設(shè)視頻圖像的壓縮比為20：1，YUV為4：2：0取樣，因為取樣值是8bit，則每個像素為8bit×1.5=12bit。CABAC的解碼率約為1：1.2，所以CABAC要解的碼流是(1920×1088×12bit／20)×1.2，約1.43Mb。芯片工作頻率是166MHz，每3個時鐘解出1 bit，則解碼數(shù)據(jù)率約為55.3Mbps，本設(shè)計在解碼時CABAC占用了90％，約為49.8Mbps。因此解碼速度為49.8／1.43，約34.7fps，即ls可以解34.7幀，則解1幀(1920×1088)大約需要28.8ms。 為了達到該目標，CABAC硬件加速器的設(shè)計必須對核心的二進制算術(shù)解碼進行優(yōu)化。根據(jù)歸一化算法的特點，即循環(huán)的次數(shù)可由輸入的codIRange、codIOffset和查表得到的codIRangeLPS事先判斷出來，因此可以合并二進制化和歸一化這兩個步驟，使其在1個時鐘周期內(nèi)完成。由于篇幅有限，下面僅以三種模式中的規(guī)則解碼為例，說明二進制算術(shù)解碼和歸一化的硬件化，旁路解碼和結(jié)束解碼可參考H.264協(xié)議。 規(guī)則解碼的二進制算術(shù)解碼和歸一化過程主要包括比較、減法、查表、移位操作。在H.264中，為了減少計算的復雜度，CABAC首先建立一個64×4的二維表格rangeTabLPS[64]，存放預先計算好的乘法結(jié)果。表格的入口參數(shù)是pStateIdx和qCodRangeIdx，其中qCodIRangeIdx由變量codIRange量化而來， 量化方法是(codIRange＞＞6)&3。其Verilog HDL實現(xiàn)如下： 建立了概率模型和乘法模型后，在遞進計算過程中CABAC必須保存一下變量：當前區(qū)間的下限codIOffSet、當前區(qū)間的大小codIRange、當前MPS(大概率符號)字符valMPS、LPS(小概率符號)的概率編號p S t a t e I d X。transIdxLPS[pStateIdX]和transIdxMPS[pStateIdx]是兩個深度為64項的表格，其中pStateIdx的取值為0～63。接下來是歸一化判斷，當codIRange小于0x0l00時，需進行歸一化。這樣就能在1個時鐘周期內(nèi)完成二進制化和歸一化兩個步驟，其Verilog HDL實現(xiàn)如下： CABAC的加速策略 狀態(tài)機的設(shè)計 二進制算術(shù)解碼的狀態(tài)機是本設(shè)計的核心，該部分效率的高低將直接影響到CABAC硬件加速器的解碼速度。在CABAC模塊沒有被啟動時，狀態(tài)機將一直停留在初始狀態(tài)，當一個新片開始時，初始化解碼引擎；當收到CPU發(fā)出的解碼請求時，首先進入預解碼狀態(tài)，讀取上下文模型變量，然后在下一個時鐘進入二進制算術(shù)解碼狀態(tài)，完成1bit數(shù)據(jù)的解碼。在CABAC解碼過程中，系統(tǒng)會根據(jù)句法元素的種類和當前數(shù)據(jù)的位置選擇解碼模式。 流水線的設(shè)計 CABAC對1bit數(shù)據(jù)進行解碼的過程可分為兩個步驟：讀取上下文模型變量、解碼并更新上下文模型變量。本設(shè)計采用兩級流水線結(jié)構(gòu)，在對當前數(shù)據(jù)進行解碼的同時，可讀取下個數(shù)據(jù)的上下文模型變量，因此加快了解碼速度。 碼流讀取的雙緩沖設(shè)計 在進行解碼的時候，為了提高傳輸效率，采用雙緩沖的形式。在總線給其中一個緩沖傳輸數(shù)據(jù)的時候，解碼器可從另外一個緩沖里讀取數(shù)據(jù)進行解碼，從而使傳輸和解碼同時進行，有效提高了傳輸效率。 設(shè)計結(jié)果與性能仿真 在設(shè)計完成后，利用JVT提供的標準測試碼流進行測試，通過了仿真驗證。結(jié)果顯示，本設(shè)計平均每2個時鐘周期可完成1bit數(shù)據(jù)的解碼。 在SMIC O.18μm CMOS工藝標準單元庫的基礎(chǔ)上進行DC(DesignCompile)綜合，硬件加速器的面積為0.38mm2(不包括片外SRAM所占用的面積)，工作頻率可達166MHz，達到了預期要求。 為了顯示硬件加速器的優(yōu)勢，選擇參考軟件JM7.4的函數(shù)biari_decode_symbol完成二進制算術(shù)解碼和歸一化。Visual C++6.0編譯器的編譯結(jié)果顯示該函數(shù)使用了109個匯編指令，因此用軟件完成1bit數(shù)據(jù)的解碼至少需要100個時鐘周期。而利用本設(shè)計完成同樣的步驟時，最多只需3個時鐘周期，很好地達到了加速器的作用。 結(jié)語 由于采用了一系列的優(yōu)化方案，同時，在設(shè)計時考慮了解碼速度及解碼系統(tǒng)中各個模塊之間的協(xié)調(diào)，本文實現(xiàn)了熵解碼CABAC的快速解碼，能完成高清碼流的實時解碼任務(wù)，在視頻解碼芯片中有很好的應(yīng)用價值。 |
