作者:清華大學Yang Hao,Xu Mohan,gao Yongfeng,Zhang Qian "我們采用USB攝像頭、PXI硬件、LabVIEW和NI視覺助手開發了一個手勢識別系統。" - Yang Hao, Tsinghua University 挑戰:開發一個互動360度立體三維影像系統,可呈現視覺模型與真實物體,觀看者無需使用眼鏡,價格也十分合理。 方案:開發擁有如下3個組成部分的三維顯示系統: 收集、處理以及三維顯示。 ![]() Figure 1. 三維顯示系統 3D電影增強了深度知覺的光學幻象,但必須使用眼鏡才能觀看,而且電影院內的觀看角度有限。 立體顯示系統或3D電視機大多價格昂貴,沒有交互功能。 這也意味著,創造一個無需使用眼鏡、價格適中且能呈現視覺模型與真實物體三維圖像的互動360度立體顯示系統,是一項巨大的挑戰。 我們的系統包括三種類型的采集功能,包括建立視覺模型、NI 1764智能相機和轉臺非實時采集真實物體、以及4個USB攝像頭捕捉真實物體的實時圖像。 虛擬模型 為了獲取虛擬模型,我們采用了NI LabVIEW軟件來讀取虛擬三維模型文件并設定參數值 ,如圖2.2所示,我們將不同的方向采集到的4張模型圖組合在一起,形成一張圖片。 又如圖2.1和圖2.3所示,新創建的圖像被投射到一個倒置的金字塔光學結構上。 ![]() Figure 2. 成像原理 ![]() Figure 3. 虛擬模型顯示 ![]() Figure 4. 虛擬模型三維顯示項目 手勢識別 我們采用USB攝像頭、PXI硬件、LabVIEW和NI視覺助手開發了一個手勢識別系統。 系統捕捉一只手的圖像序列,以此判斷它的移動,我們可以采用此信息來控制三維顯示。 舉例來說,如圖6所示,單手滑動可以控制圖標的旋轉,兩只手則可以控制圖標的縮放。 ![]() Figure 5. 手勢識別 ![]() Figure 6. 采用視覺助手查找圖片中的對象 ![]() Figure 7. 手勢識別項目 非實時采集 非實時采集系統依靠于一個NI 1764智能相機和一個PXI控制的轉臺。 將物體放在轉臺上,并在其旋轉時拍攝圖像,我們可以獲取各個方向的物體信息,然后選出我們想要用來顯示三維圖像的四張圖片。 ![]() Figure 8. 非實時采集系統的硬件 ![]() Figure 9. 圖像采集 ![]() Figure 10. 真實物體三維顯示 ![]() Figure 11. 非實時采集系統項目 實時采集 我們在物體周圍放置著4個USB攝像頭,使用PXI和NI圖像采集軟件采集四個不同方向的實時圖像。 然后我們就對這些圖像進行處理,以光學結構顯示三維圖像。 ![]() Figure 12. 實時采集系統界面 ![]() Figure 13. 實時采集系統硬件 ![]() Figure 14. 實時采集系統硬件 Author Information: Yang Hao Tsinghua University Beijing China xu-mh09@mails.tsinghua.edu.cn |