摘要 人類接收的信息約有70%來自視覺。因此,圖像采集及處理設備在人們的日常生活中占有很重要的地位。隨著互聯網的普及及帶寬的提高,使得圖像的網絡傳輸成為可能,且應用范圍越來越廣,為人們的日常生活帶來了極大的便利。同時,隨著非制冷紅外技術的發展,紅外熱像系統在軍用和民用領域得到了廣泛的應用。根據美國紅外市場權威調查機構Maxtech International發布的2006年度紅外市場報告,2003年至2006年全球民用紅外熱像儀的平均增長幅度為17%,并且正展現出更廣闊的市場需求。 由此可見,便于應用的紅外視頻網絡傳輸系統具有良好的應用前景,適用于森林防火,監控系統,電力設備,航空航天,石化,建筑,冶金,交通,邊防海防等方面。 嵌入式紅外網絡視頻傳輸系統主要由硬件部分和軟件部分組成。硬件部分由視頻采集模塊,視頻編解碼模塊,圖像處理模塊,數據壓縮模塊,網絡傳輸模塊等組成;軟件部分采用嵌入式操作系統設計。 紅外網絡視頻傳輸具有良好的應用前景和商業價值,本項目的核心在于紅外處理,盡管目前紅外處理算法已經相對成熟,但仍然存在不少弊端,所以本項目力求在原有算法的基礎上提出創新。 本項目計劃采用virtex2或spartan3e芯片,將紅外處理算法模塊集成于FPGA內部,包括濾波,非均勻性校正,灰度拉伸,偽彩增強等部分,通過ISE開發平臺設計各個算法模塊,并通過XPS將用戶IP集成于硬件系統上,通過內置MAC地址及IP的方式將處理完畢的圖像或視頻信息通過以太網傳輸至PC客戶端。 項目信息 1.項目名稱:基于SOPC的紅外視頻網絡傳輸系統 2.應用領域:森林防火,監控系統,電力設備,航空航天,石化,建筑,冶金,交通,邊防海防 3.系統平臺概述與資源分析: 硬件系統組圖如下: 圖1基于SOPC的紅外視頻網絡傳輸系統 本框架采用FPGA+ARM的方案,可分為三個部分:前端圖像采集模塊(由CPLD、A/D、CCD等構成);FPGA模塊(采用Spartan-3A DSP XA3SD1800A)和ARM模塊。由圖像采集模塊進行紅外圖像采集,并把采集的圖像灰度數據送FPGA模塊進行處理,處理完成后的數據送ARM模塊進行圖像控制顯示。在初步設計階段可不考慮ARM模塊,由FPGA直接控制顯示(本框架未對ARM模塊接口進行細化)。整體框架圖如圖1所示,其中對FPGA內部圖形處理算法模塊做了細化,數據處理流程分析如下。 FPGA模塊中的數據流程分析如下:Microblaze軟核CPU與前端采集模塊(CPLD、A/D、CCD)交互把數據經雙口RAM0(緩存)采集到DDR中,Microblaze通過控制PLB總線加載采集的圖像送算法處理模塊進行處理,算法處理模塊首先進行邊界擴展(此步驟也可省略),邊界擴展是僅對一幀圖像邊界數據進行鏡面反射來完成,即邊界數據的擴展存儲實現,不需要進行數據運算即可完成,擴展后數據緩存到RAM0,即可進行均值濾波,均值濾波對每一個像素的消噪處理需要8次加法和1次乘法。384×288個像素可并行處理,處理完的數據送到RAM1進行下一步非均勻校正。在非均勻校正中,校正增益和校正偏移量是在測溫前由高低溫定標產生,兩個校正因子可并行進行運算獲得,獲得后的因子存入RAM1中,以便非均勻校正時直接加載。在非均勻校正中,384×288個像素可并行進行,每個像素需1次乘法和1一次加法運算。處理完成后的數據送到RAM2進行下一步的溫度標定和灰度拉伸。溫度標定和灰度拉伸兩者可并行進行。由于溫度標定和灰度拉伸需對整幀圖像處理,所以若要減少RAM2的容量,可考慮把圖像存入DDR中,需要時再讀出。在灰度拉伸中,首先進行直方圖統計,統計圖像各灰度值的像元個數,找出圖像有效灰度范圍,并求出最小值min和最大值max。把最大值和最小值代入三段的斜率計算公式,計算出斜率后即可進行灰度拉伸,灰度拉伸每個像素需要做2次比較、1次減法、1次乘法和1次加法,384×288個像素可以并行處理。灰度拉伸完成后的數據送RAM3進行下一步的偽彩處理,偽彩是把每個像素點的灰度值轉換R、G、B對應的三分量,因此可對384×288個像素并行處理。而每個像素點R、G、B的轉換也可以并行運算。轉換后的數據送雙口RAM1,然后由RAM模塊進行讀出存入SD卡中,進行控制顯示。在前期開發FPGA模塊時也可直接送LCD顯示。 在進行圖形處理過程中,由于FPGA可以最大化的進行并行運算,所以不僅可考慮算法模塊內部多個像素之間的并行處理,也要考慮算法模塊之間的并行性,如在進行一幀圖像的濾波時,可同時進行上一幀圖像的校正。 各個算法模塊實現如下 圖2校正系數 圖3校正偏移 圖4非均勻性校正 圖5 灰度拉伸 圖6均值濾波 4.創新點及關鍵技術: 精確溫度標定技術:開發出高性能的嵌入式軟件對成像儀的每個像素進行溫度標定,溫度標定穩定可靠,精度高; 紅外焦平面陣列實時非均勻性校正算法及實現:決焦平面陣列的非均勻性問題顯得尤為重要,項目對傳統非均勻進行深入研究的同時,開發出多種自適應校正算法,提高紅外成像系統的校正精度; 圖像噪聲預處理技術:由于圖像在采集、傳輸過程中混入了噪聲,如果不被預先消除將進一步影響圖像的處理和顯示效果,為此對圖像進行濾波預處理,以消除圖像中混入的噪聲,為后繼圖像處理、顯示打下基礎; 嵌入式系統的開發:項目采用基于的FPGA+ARM的雙核架構。提高了數據傳輸的效率和系統的穩定性,獲得整個紅外成像系統的實時性能; 紅外圖像增強處理技術:項目在實施校正算法的基礎上,提出對圖像進行增強處理研究,以提高圖像的對比度,進一步改善圖像視覺效果。紅外圖像偽彩色處理的運用,利用人眼視覺對顏色分辨的敏感性,對圖像中不同灰度等級的目標以不同的顏色進行標識,以突出目標細節和特征,進一步提高圖像目標分辨能力和圖像顯示質量。 |