|
典型圖像傳 感 器的核心是CCD單元（charge-coupled device，電荷耦 合器件）或標準C M O S單元（complementary meta-oxide semiconductor，互補金屬氧化物半 導 體）。CCD和C M O S傳 感 器具有類似的特性，它們被廣泛應用于商業攝像機上。不過，現代多數傳 感 器均使用C M O S單元，這主要是出于制造方面的考慮。傳 感 器和光學器件常常整合在一起用于制造晶片級攝像機，這種攝像機被用在類似于生物學或顯微鏡學等領域，如圖1所示。 圖1：整合了光學器件和顏色過濾器的圖像傳 感 器的常用排列 圖像傳 感 器是為滿足不同應用的特殊目標而設計的，它提供了不同級別的靈敏度和質量。想要熟悉各種傳 感 器，可查閱其廠商信息。例如，為了在硅基模和動態響應（用于實現光強度和顏色檢測）之間有一個最好的折中，對一個特定的半 導 體制造過程，需優化每個光電二 極 管傳 感 器單位的大小和組成成分。 對計算機視覺而言，采樣理論的效果具有重要意義，如目標場景的像素范圍就會用到Nyquist頻率。傳 感 器分辨率和光學器件能一起為每個像素提供足夠的分辨率，以便對感興趣特征進行成像，因此有這樣的結論：興趣特征的采樣（或成像）頻率應該是重要像素（對感興趣的特征而言）中最小像素大小的兩倍。當然，對成像精度而言，兩倍的過采樣僅僅是一個最低目標，在實際應用中，并不容易決定單像素寬度的特征。 對于給定的應用，要取得最好的結果，需校準攝像機系統，以便在不同光照和距離條件下確定像素位深度（bit depth）的傳 感 器噪聲以及動態范圍。為了能處理傳 感 器對任何顏色通道所產生的噪聲和非線性響應，并且檢測和校正像素壞點、處理幾何失真的建模，需發展合適的傳 感 器處理方法。如果使用測試模式來設計一個簡單標定方法，這種方法在灰度、顏色、特征像素大小等方面具有由細到粗的漸變，就會看到結果。 1、傳 感 器材料 硅制圖像傳 感 器應用最廣，當然也會使用其他材料，比如在工業和軍事應用中會用鎵（Ga）來覆蓋比硅更長的紅 外波長。不同的攝像機，其圖像傳 感 器的分辨率會有所不同。從單像素光電晶 體 管攝像機（它通過一維直線掃描陣列用于工業應用），到普通攝像機上的二維長方形陣列（所有到球形整列的路徑均用于高分辨率成像），都有可能用到。（本章最后會介紹傳 感 器配置和攝像機配置）。 普通成像傳 感 器采用CCD、C M O S、BSI和Foveon方法進行制造。硅制圖像傳 感 器具有一個非線性的光譜響應曲線，這會很好地感知光譜的近紅 外部分，但對藍色、紫色和近紫外部分就感知得不好（如圖2所示）。 圖2：幾種硅光電二 極 管的典型光譜響應。可以注意到，光電二 極 管在900納米附近的近紅 外范圍內 具有高的敏感度，而在橫跨400納米～700納米的可見光范圍內具有非線性的敏感度。 由于標準的硅響應的緣故，從攝像機中去掉IR濾 波 器會增加近紅 外的靈敏度。（光譜數據圖像的使用已獲得OSI光電股份有限公司的許可） 注意，當讀入原始數據，并將該數據離散化成數字像素時，會導致硅光譜響應。傳 感 器制造商在這個區域做了設計補償，然而，當根據應用標定攝像機系統并設計傳 感 器處理方法時，應該考慮傳 感 器的顏色響應。 2、傳 感 器光電二 極 管元件 圖像傳 感 器的關鍵在于光電二 極 管的大小或元件的大小。使用小光電二 極 管的傳 感 器元件所捕獲的光子數量沒有使用大的光電二 極 管多。如果元件尺寸小于可捕獲的可見光波長（如長度為400納米的藍光），那么為了校正圖像顏色，在傳 感 器設計中必須克服其他問題。傳 感器廠商花費大量精力來設計優化元件大小，以確保所有的顏色能同等成像（如圖3所示）。在極端的情況下，由于缺乏累積的光子和傳 感 器讀出噪聲，小的傳 感 器可能對噪聲更加敏感。如果二極發光管傳 感 器元件太大，那么硅材料的顆粒大小和費用會增加，這沒有任何優勢可言。一般商業傳 感器設備具有的傳 感 器元件大小至少為1平方微米，每個生產廠商會不同，但為了滿足某些特殊的需求會有一些折中。 圖3：基本顏色的波長分配。注意，基本顏色區域相互重疊， 對所有的顏色而言，綠色是一個很好的單色替代品 3、傳 感 器配置：馬賽克、Faveon和BSI 圖4顯示了多光譜傳 感 器設計的不同片內配置，包括馬賽克和堆疊方法。在馬賽克方法中，顏色過濾器被裝在每個元件的馬賽克模式上。Faveon傳 感 器堆疊方法依賴于顏色波長深度滲透到半 導 體材料的物理成分，其中每種顏色對硅材料進行不同程度的滲透，從而對各自的顏色進行成像。整個元件大小可適用于所有顏色，所以不需要為每種顏色分別配置元件。 圖4：（左圖）堆疊RGB元件的Foveon方法：在每個元件位置都有RGB顏色， 并在不同的深度吸收不同的波長；（右圖）標準的馬賽克元件：在每個光電二 極 管上面放置一個RGB濾 波 器，每個濾 波 器只允許特定的波長穿過每個光電二 極 管 反向照明（back-side illuminated，BSI）傳 感 器結構具有更大的元件區域，并且每個元件要聚集更多的光子，因而在晶粒上重新布置了傳 感 器接線。 傳 感 器元件的布置也影響到顏色響應。例如，圖5顯示了基本顏色（R、G、B）傳 感 器以及白色傳 感 器的不同排列，其中白色傳 感 器（W）有一個非常清晰或非彩色的顏色濾 波 器。傳 感 器的排列考慮到了一定范圍的像素處理，如在傳 感 器對一個像素信息的處理過程中，會組合在鄰近元件的不同配置中所選取的像素，這些像素信息會優化顏色響應或空間顏色分辨率。實際上，某些應用僅僅使用原始的傳 感 器數據并執行普通的處理過程來增強分辨率或者構造其他顏色混合物。 圖5：元件顏色的幾個不同馬賽克配置，包括白色、基本RGB顏色和次要CYM元件。 每種配置為傳 感器處理過程優化顏色或空間分辨率提供了不同的方法（圖像來自于《Building Intelligent Systems》一書，并得到Intel出版社的使用許可）。 整個傳感 器的大小也決定了鏡頭的大小。一般來說，鏡頭越大通過的光越多，因此，對攝影應用而言，較大的傳感 器能更好地適用于數字攝像機。另外，元件在顆粒上排列的縱橫比（a s p e c t r a t i o）決定了像素的幾何形狀，如，4：3和3:2的縱橫比分別用于數字攝像機和35毫米的膠片。傳 感器配置的細節值得讀者去理解，這樣才能夠設計出最好的傳 感器處理過程和圖像預處理程序。 4、動態范圍和噪聲 當前，最先進的傳 感器每個顏色單元能提供至少8個比特位，通常是12～14個比特位。傳 感器元件需要花費空間和時間來聚集光子，所以較小的元件必須經過精心設計，以避免產生一些問題。噪聲可能來自于所用的光學元件、顏色濾 波 器、傳 感器元件、增益和A/D轉換器、后期處理過程或者壓縮方法等。傳 感器的讀出噪聲也會影響到實際的分辨率，因為每個像素單元從傳 感器中讀出再傳到A/D轉換器中，從而組成數字形式的行和列，以便用于像素轉換。越好的傳 感器會產生越少的噪聲，同時會得到更高效的比特分辨率。Ibenthal 的工作是降噪方面的好文獻。 另外，傳 感器光子吸收對每種顏色會有所不同，對藍色有可能有些問題，即對于較小的傳 感器成像而言這是最難的一種顏色。在某些情況下，生產商會試圖在傳 感器中為每種顏色內建一個簡單的伽馬曲線修正方法，但這種方法并不值得提倡。在對彩色有需求的應用中，可以考慮色度設備模型和顏色管理，甚至讓傳感 器的每種顏色通道具有非線性特征并建立一系列簡單的校正查找表（Lookup Table, LUT）轉換。 5、傳 感器處理 傳感 器處理用于從傳感 器陣列中去馬賽克并聚集像素，也用于校正感知瑕疵。在這一節我們會討論傳 感器處理基礎。 通常在每個成像系統中都有一個專有的傳 感器處理器，包括一個快速HW傳 感器接口、優化的超長指令集（very long instruction word,VLIW）、單指令多數據流（single instruction multiple data, SIMD）指令以及具有固定功能的硬件模塊，這些功能是為了解決大規模并行像素處理所造成的工作負載。通常，傳感 器處理過程透明且自 動 化，并由成像系統的生產廠商設置，來自傳 感器的所有圖像均以同樣的方式處理。也存在用于提供原始數據的其他方式，這些數據允許針對應用來定制傳感 器處理過程，就像數字攝影那樣。 6、去馬賽克 根據不同的傳 感器元件配置（如圖5所示），可利用各種去馬賽克算法將原始傳 感器數據生成最終的RGB像素。Losson &Yang還有Li等人分別給出了兩篇非常好的綜述文獻，這些文獻介紹了各種方法以及所面臨的挑戰等。 去馬賽克的一個主要挑戰之一是像素插值，其作用是將鄰近單元的顏色通道組合成單個像素。在給定傳 感器元件排列的幾何形狀以及單元排列的縱橫比的條件下，這是一個重要的問題。一個與之相關的問題是顏色單元的加權問題，如在每個RGB像素中每種顏色應該占多少比例。因為在馬賽克傳 感器中，空間元件分辨率大于最終組合的RGB像素分辨率，某些應用需要原始傳感 器數據，以便盡可能利用所有的精度和分辨率，或者有些處理要么需要增強有效的像素分辨率，要么需要更好地實現空間精確的顏色處理和去馬賽克處理。 7、壞像素的校正 像L C D 顯 示 器一樣，傳 感器也可能會有壞像素。通過在攝像機模塊或驅動程序中提供需要校正的壞像素坐標，供應商可以在工廠校正傳 感器，并為已知的缺陷提供一個傳 感器缺陷圖。在某些情況下，自適應的缺陷校正方法會用在傳 感器上，以便監控鄰近像素點來發現缺陷，然后校正一定范圍內的缺陷類型，比如單像素缺陷、列或行缺陷以及類似2×2或3×3的塊狀缺陷。為了實時尋找瑕疵，攝像機驅動也可提供自適應的缺陷分析，在攝像機的啟動菜單中可能會提供一個特殊的補償控制。 8、顏色和照明校正 有必要進行顏色校正以便平衡總的顏色精確度和白平衡。如圖1-2所示，硅傳感 器上對紅色和綠色這兩種顏色通常很敏感，但是對藍色卻不敏感，因此，理解和標定傳感 器是得到最精確顏色的基本工作。 大多數圖像傳 感器的處理器包含了用于光暈校正的幾何處理器，這在圖像的邊緣表現為光照更暗。校正基于幾何扭曲函數，可考慮可編程的光照功能來增加朝向邊緣的光照，這需要在出廠前進行標定，以便與光學的光暈模式相匹配。 9、幾何校正 鏡頭可能會有幾何相差或朝邊緣發生扭曲，產生徑向失真的圖像。為了解決鏡頭畸變，大多數成像系統具有專用的傳 感器處理器，它有一個硬件加速的數字扭曲元件，類似于G P U上的紋理采樣器。在工廠就會針對光學器件的幾何校正進行校準并編程。
AO-Electronics 傲 壹 電 子 官網：www.aoelectronics.com 中文網：www.aoelectronics.cn
|
