機器視覺三維成像技術簡介（一）

三維成像技術概述

三維成像，是在傳統二維成像基礎上增加了深度信息，進而可以勝任更高精度的定位、識別和檢測任務，現如今已廣泛應用在消費電子、醫藥及工業領域。

根據數據獲取方式可以分為接觸式和非接觸式兩種。接觸式根據有無損傷被測對象可以分為無損和有損兩種類型。非接觸式根據信號的使用方式可以分為傳輸式和反射式。反射式又可以進一步分為光學和非光學兩類。光學式根據是否需要外加人造光源可以分為主動式和被動式兩大類型。被動視覺成像只依賴相機接收到的由目標場景產生的光輻射信息，該輻射信息通過二維圖像像素灰度值進行度量。

被動視覺常用于特定條件下的三維成像場合，如室內、目標場景輻射動態范圍不大和無遮擋，場景表面非光滑，且紋理或幾何特征清晰，容易通過立體匹配尋找匹配點。主動立體視覺是利用光調制（如編碼結構光、激光調制等）照射目標場景，對目標場景表面的點進行編碼標記，然后對獲取的場景圖像進行解碼，以便可靠地求得圖像之間的匹配點，再通過三角法求解場景的三維信息。主動立體視覺的優點是抗干擾性強、對環境要求不高（如通過帶通濾波消除環境光干擾），三維測量精度、重復性和可靠性高，缺點是對于結構復雜的場景容易產生遮擋問題。根據成像原理又可以進一步細分，具體如下圖所示：

接觸式由于需要用探頭或探針隨被測物表面移動，大小受到限制，也容易劃傷被測物，精度也比較差。像三坐標測量機（Coordinate Measuring Machine，CMM）就是通過探針與物體表面上的離散點測量出被測對象的三維信息。目前三維成像多以利用光學原理的非接觸式為主，更安全，更高效，更精準。一個直觀的例子是以往道路施工人員在對坑洼道路維修時使用類似直尺的金屬棒來測量深度，一直沒有一種經濟高效的解決方案，但隨著三維光學成像技術的應用已經改變了這個流程。

本文主要討論機器視覺領域主流的三維成像技術，包括飛行時間、結構光、激光三角、雙目立體視覺及以光場成像技術，最后會補充介紹毫米波雷達和激光雷達及各三維成像方案應用場景和精度水平對比。

飛行時間法

飛行時間（Time of Flight，ToF），利用發光二極管（Light Emitting Diode，LED）或鐳射二極管（Laser Diode，LD）發射出紅外光信號，根據信號發射與返回的時間差來測量傳感器與被測物之間的距離。ToF攝像頭通過使用調制光源（如激光）主動照亮被測物，然后用對激光波長敏感的傳感器捕捉反射光，以此測量距離。傳感器測量從攝像頭發射光，到攝像頭接收到發射光之間的時間延遲?t。時間延遲與攝像頭和物體之間的兩倍距離（往返）成正比；因此，距離可以估算為深度 = cΔt/2，其中c表示光速。這個過程與超聲波類似，后者通過聲音，而非光線來測量距離，雷達則通過無線電波來測量距離。與超聲相比，飛行時間（ToF）攝像機能夠更快生成具有高（深度）精度的高分辨率深度圖（空間分辨率與RGB攝像機相當），且能覆蓋更大范圍——畢竟，光速遠遠大于聲速。雖然雷達的探測距離更遠，但飛行時間（ToF）的準確性與分辨率均更勝yi籌。

目前存在多種不同的測量?T的方法，其中兩種最為常用：連續波(CW)方法和脈沖方法。連續波(CW)方法，有時也被稱為間接飛行時間（iToF），該方法測量發送和接收的光脈沖之間的相移。脈沖方法，有時也被稱為直接飛行時間（dToF），該方法測量發射的脈沖和接收的光脈沖之間的經過時間。這種方法跟3D激光傳感器原理基本類似，只不過3D激光傳感器是逐點掃描，ToF相機則是同時得到整幅圖像的深度信息。值得注意的是，目前已經實施且在市面上使用的絕大多數連續波ToF系統都使用CMOS傳感器，脈沖ToF系統則使用非CMOS傳感器（特別是CCD）。使用CW iToF圖像傳感器的優勢之一：它們基于傳統的半導體基礎設施進行大規模量產，能夠以經濟的成本實現高像素密度的短程成像。選擇iToF，還是dToF深度成像系統，最終要看應用需求和使用環境。iToF適用于需要高空間分辨率的短程成像（0.5米、5米和10米）。dToF更適合對空間分辨率要求不高的遠距離成像。人工智能(AI)和光學系統設計使得選擇iToF技術和dToF技術的分界線不再那么清晰明確。在能感知環境的智能邊緣系統中，iToF和dToF傳感器都與RGB圖像和慣性傳感器集成，并在AI的助力之下提升性能，消除偽影。

就像鼠標改變了計算機交互，觸摸屏技術推動了智能手機和平板電腦的普及一樣，飛行時間（ToF）技術正在助力實現非接觸式3D交互。在推動工業4.0發展方面，飛行時間（ToF）技術具有類似效用。從用于質量檢測的工業機器視覺，到用于資產管理的體積檢測，再到推動自主（設備）生產的導航技術，制造行業開始采用這些傳感技術，并逐步轉向適合惡劣工業環境的高分辨率系統。目前，我們周圍采用飛行時間（ToF）技術的應用層出不窮，從汽車座艙安全，到家庭運動設備，再到游戲和畫面逼真的3D遠程協作。甚至對于倉庫、桶、大型儲物罐的儲量檢測也有廣泛的應用。飛行時間（ToF）技術的未來應用之一是自動駕駛汽車中，作為雷達、LIDAR和其他深度傳感器的補充。

目前的消費級ToF深度相機主要有：微軟的Kinect 2、 MESA 的 SR4000 、Google Project Tango 中使用的PMD Tech 的ToF深度相機等。這些產品已經在體感識別、手勢識別、環境建模等方面取得了較多的應用，最典型的就是微軟的Kinect 2。

ToF成像可用于大視野、遠距離、低精度、低成本的3D圖像采集，其特點是：檢測速度快、視野范圍較大、工作距離遠、價格便宜，但精度低，易受環境光的干擾。對于光滑物體（反射光朝向不同方向）或者有夾角的物體（發生多次反射），飛行時間成像精度均會受到影響。

與普通相機類似，ToF相機芯片前端需要一個搜集光線的鏡頭。不過與普通光學鏡頭不同的是這里需要加一個帶通濾光片來保證只有與照射光源波長相同的光才能進入。

ToF的優勢：飛行時間由于采用主動光源照射被測物，在沒有環境光照的ji端情況下仍然可以正常工作。與立體相機或三角測量系統比，ToF相機體積小巧，重量輕，跟一般相機大小相去無幾，非常適合于一些需要輕便、小體積相機的場合。飛行時間算法原理相對簡單，所以ToF相機能夠實時快速的計算深度信息，達到幾十到100fps。而雙目立體相機需要用到復雜的相關性算法，處理速度較慢。ToF的深度計算不受物體表面灰度和特征影響，可以非常準確的進行三維探測。而雙目立體相機則需要目標具有良好的特征變化，否則會無法進行深度計算。由于光的速度非?？?，ToF相機需要復雜的設計才能實現往返信號時間差的檢測，制造相對困難，ToF相機的深度計算精度不隨距離改變而變化，在整個測量范圍內基本能穩定在cm級，這對于一些大范圍運動的應用場合非常有意義。相對于結構光相機，在10米范圍內，ToF相機精度更低，10米外則精度更高。ToF相機的一個顯著優勢是工作距離比較寬，可以覆蓋0.5米到10米的范圍，精度要求不高的場景有的甚至達到幾百米，該場景下一般照射單元采用紅外LED而非激光，不傷害眼睛。而結構光相機成像范圍只有2到3米，但是精度會更高。因此雖然ToF相機可以工作在較短距離范圍，當需要一定精度要求時，并不是好的選擇。

TOF深度相機對時間測量的精度要求較高，發射脈沖必須在非常短的時間(皮秒級），即使采用最高精度的電子元器件，也很難達到毫米級的精度。因此，在近距離測量領域，尤其是1m范圍內，TOF深度相機的精度與其他深度相機相比還具有較大的差距，這限制它在近距離高精度領域的應用。ToF相機在遠距離測距上由一定優勢，但是價格相對昂貴，并且沒有顏色信息。

ToF相機精度很大程度上與距離相關，一般認為可以通過1%的成像距離進行估算，因此如果被測物是5米遠，ToF相機可以達到5cm的精度。而雙目立體相機精度大概是5-10%的成像距離，結構光相機是精度最高的，可以達到1mm。

延伸：光學雷達屬于飛行時間類型嗎

光學雷達（Light Detection and Ranging，LiDAR），又名飛行時間激光掃描儀（ToF Laser Scanner），有時也稱激光雷達（Laser Radars），通過向周圍環境多角度發射激光脈沖根據飛行時間來測量被測物距離。此外，光學雷達為了在深度圖上反映被測物更多的細節還會測量反射光強度。另外，3D ToF也可以看作是一種無掃描儀LiDAR技術。

SICK Visionary-T Mini 3D相機

SICK Visionary-T Mini 3D相機憑借 3D 飛行時間 (TOF) 技術，實現緊湊型外殼和出色的數據質量機器人技術、運輸車和物流的自動化應用離不開準確可靠的 2D 和 3D 測距數據。此外，即使安裝空間狹小，視覺系統也應該可以輕松集成到相應的機器設計中。SICK Visionary-T Mini 3D相機 產品系列將高性能與緊湊型結構設計和較高的成本效益相結合。另外，3D 視覺傳感器可為數據分析提供具有高像素密度的詳細二維和三維散點圖。自動運行模式可簡化其機器集成，并確保操作更加簡便。

關于昊艾智能

昊艾智能是德國 SICK 在中國 3D 視覺領域的專業代理商。

昊艾智能專注于提供3D機器視覺整體解決方案，助力中國智能制造水平的提升與產業升級！

目前，我們擁有一批高素質的3D機器視覺應用工程師與算法研發工程師，具有完備的機器視覺項目評估能力與底層核心算法開發能力。我們的3D機器視覺整體解決方案在動力電池、汽車行業、消費電子、白色家電、軌交檢測等多個領域成功落地實施，積累了豐富的3D機器視覺項目應用與軟件開發經驗！

昊艾智能主營產品：3D機器視覺整體解決方案，包括結構光3D相機、激光線掃相機、SICK 3D線激光輪廓傳感器、TOF相機，高精度3D測量系統、視覺引導定位系統、無序抓取系統等，可實現平面度、高度差、位置度測量、凹凸缺陷檢測、膠路檢測、視覺引導機器人打磨、視覺引導機器人工件定位裝配、工件無序抓取等功能。