|
圖像工程在國防、教育、金融、醫療、印刷、智能交通、工業自動化、消費類電子等許多領域獲得了廣泛應用，發展十分迅速。眾所周知，圖像傳感器作為圖像系統的重要部件，基本分為兩類：CCD sensor或CMOSsensor。兩者都是利用感光二極管(photodiode)進行光電轉換，將圖像轉換為數字數據，而其主要差異是數據傳送的方式不同。 sensor3彩色數字相機需要3個單色sensor獲得彩色圖像的R，G，B分量，成本較高。單CCD獲得彩色圖像的方法是在CCD表面覆蓋1個只含紅、綠、藍3色的馬賽克濾鏡，對其輸出信號通過一定的處理算法實現。這個設計理念最初由拜爾提出，所以這種濾鏡也被稱作拜爾模板(bayer pattern)。 LatticeECP FPGA將高效的FPGA結構和高速的專用功能集于一身。LatticeECP-DSP(EConomy plusDSP)是其中的第1個產品系列，它在芯片上集成了專用的高性能DSP塊。LatticeECP-DSP器件最適合用在具有成本優勢的DSP功能應用系統中，比如由軟件定義的無線電、無線通信、軍事、圖像和視頻處理系統等。 1 Bayer插值方法 Bayer Pattern的排列格式如圖1所示。 盡管通過帶有Bayer濾鏡的單sensor相機采集的原始圖像帶有R，G，B三基色分量，但是不能不加任何算法處理，僅簡單地將3種分量分離。這樣不僅圖像分辨率很差，而且各像素點的三基色分量比例與被攝目標相比，失真也很嚴重。在圖2中，圖2(a)為原始彩色圖像；圖2(b)為僅取紅色分量，以灰度模式顯示的圖像；圖2(c)為僅取綠色分量，以灰度模式顯示的圖像；圖2(d)為僅取藍色分量，以灰度模式顯示的圖像。將圖2(b)～(d)圖像簡單疊加后，即可得到原始圖像圖2(a)。可是CCD或CMOS sensor采集的原始Bayer圖像是不符合這種分離原則的，必須經過一定的圖像算法實現。 在圖像處理領域廣泛應用的Bayer插值方法有多種，M．C．Poilpre對JPEG圖像的處理；H．S．Malvar，等的線性插值法；Remi Jean的像素雙插值法以及T．Guseo的低分辨率圖像處理。具有代表性的有3種：雙線性插值法、Ron Kimmel方法和OptimalRecovery方法。這三種方法各有優劣。 1.1 雙線性插值法 如圖3所示，每個像素位置原本僅有一種彩色分量，缺少的2種彩色分量由3×3鄰域內具有相同顏色分量的像素平均值獲得。圖3中B7和G3處像素的R，G，B分量由下式計算： 雙線性插值法具有運算簡單，易于實現的優點。其本質是一低通濾波器，缺點是忽略了不同彩色分量之間的相關信息以及圖像的邊緣。這樣，錯誤數據在復原的圖像邊緣會造成模糊甚至出現顏色混疊。 1.2 Ron Kimmel方法 Ron Kimmel方法對于綠色像素，計算該點在各個方向的梯度，然后對梯度值加權進行平均；對紅色和藍色像素分量，取則紅色和藍色分量對綠色的比值進行加權平均。這種方法可以顯著改善圖像中物體邊緣的顏色混疊。 1.3 Optimal Recovery方法 Optimal Recovery方法計算復雜度較高，但也是目前公開發表的圖像質量最佳的算法。一般的嵌入式系統很難實時完成。本文圖像處理系統采用Lattice的FPGA芯片LFECPIIM50，充分利用FPGA的天然并行結構，實時(1 208×1 024圖像，12幀／s)實現Bayer轉換算法，收到了很好的效果。Optimal Recovery算法如下： (1)如圖4所示，完成圖中所示P5處綠色像素插值盡可能利用精細尺度模式。 (2)計算藍色分量需要2步： ①找回在紅色空間丟失的藍色分量： ②找回在綠色空間丟失的藍色分量： (3)處理紅色分量與計算藍色分量方法相同。 (4)下述校正步驟重復3次： ①校正綠色分量以取得合適的G／B比： ②校正綠色分量以取得合適的G／R比： ③平均藍色和紅色的插值結果： ④校正藍色和紅色分量值： ⑤算法結束，其中R5，G5，B5既是像素P5處的三色分量值。 1.4 峰值信噪比PSNR 峰值信噪比PSNR和歸一化色彩差NCD的計算公式分別為： 式中：MSE是原圖像與處理圖像之間均方誤差(meansquare error)；I表示原圖像第n個像素值；P表示處理后的圖像第n個像素值；Framesize表示圖像大小，如1 280×1 024；PSNR值越大，就代表失真越少。 2 結果分析 經過實時圖像采集系統獲取的圖像如圖5所示，其中圖5(a1)，(b1)，(c1)為經過插值變換的圖像，色彩明亮，主觀感覺良好。圖5(a2)，(b2)，(c2)為采集的原始Bayer圖像，局部放大后可看到原始的馬賽克效應，如圖5中(a3)，(b3)，(c3)所示。峰值信噪比計算結果見表1，其中PSNR1為雙線性插值法，PSNR2為OptimalRecovery方法。 3 結 語 目前FPGA技術發展很快，內部資源越來越豐富，性價比不斷提高。充分發掘FPGA資源的潛力，盡可能將圖像預處理算法在系統的前端完成，這必將大大提高系統的實時特性，拓展嵌入式系統的應用領域。盡管著眼點是彩色圖像的Bayer插值變換，但對于其他使用FPGA器件的嵌入式系統設計方法也有積極的借鑒意義。 |
