臉書創辦人祖克柏於 2021 年 10 月宣布 Facebook 更名為 Meta，宣示了元宇宙 Metaverse 將會成為下世代技術發展的核心。未來元宇宙的世界將融合 3D 立體空間與現實世界中的立體投影，以實現遠近距相連與虛實融合的元宇宙空間。

此外，遊戲開發技術軟體公司 Beamable 執行長 Jon Radoff 定義了元宇宙的七層產業鏈，包含基礎設施（Infrastructure）/人機介面（Human Interface）/去中心化（Decentralization）/空間運算（Spatial Computing）/創造者經濟（Creator Economy）/發現（Discover）/體驗（Experience），未來都將會扮演元宇宙產業的重要支柱。

臺灣產業的強項在元宇宙產業的七層產業鏈中就包含了其中兩項，包含基礎設施與人機介面系統與關鍵零組件。本文所介紹的三維智慧影像處理（ 3D IVR Image Processing）與錄製系統，將在未來成為現實世界進入元宇宙虛擬世界的入口，而臺灣的產業將可以在這個介面產品應用上扮演更重要的角色。

實體世界進入元宇宙虛世界的重要介面，簡單來說就是三維實景相機。三維實景相機可透過多個不同角度拍攝多張相片，再使用攝影運算技術計算出影像中每個像素之對應物體深度，或者使用紅外線相機拍攝深度圖後再與彩色影像建立三維影像。這些技術會隨著物體距離越遠，呈現估測深度越不準的物理限制，甚至在戶外日光照射下也無法正常使用的情況。

且這類市售三維實景相機使用目的皆不同，若將所錄製的實景影像使用虛擬眼鏡進行觀看，也會有視覺浸潤度不佳的問題，導致使用者常有暈眩的經驗，這也成為實體世界進入虛擬元宇宙世界的最大限制。

為了要克服這項物理極限，使用傳統光學相機輔以光達深度感測與邊緣智慧運算技術，將是一個很好的技術策略。光達系統可估測拍攝物體的深度距離，並透過雷射混沌訊號調變抵抗飛行距離變長時的衰減，進而提升其深度距離估測的精準度。

本技術的另一個挑戰在於高解析度且低深度精準度彩色數位影像與低解析度且高深度精準度深度影像，兩者在共同建立三維物體模型時，會因為特性完全相異不易進行影像對齊工作。

國立清華大學團隊建立高畫質三維影像的人工智慧技術，以光學彩色影像高解析度影像資訊協助光達低解析度深度影像進行高解析度影像模型，藉此建立神經網路模型並計算出高解析度的實景深度圖，所獲得的畫面品質遠比使用 stereo matching 所建立的三維立體影像更為精準與清晰。

高畫質三維智慧影像錄製系統包含多項關鍵電路與系統技術，與系統輸出效率和影像畫面品質息息相關，介紹如下：

混沌光達深度相機 Chaotic LiDAR Depth Camera[1]：混沌光達每次產生具互不相干混沌訊號之雷射波掃描待測物體，物體反射的光波透過雪崩式光感測器接收，計算光訊號來回飛行時間以估測物體的距離。由於混沌訊號每次發射的波形都不同，不會因為接收到別台光達發射的光造成干擾誤判，也因此更具備高訊號雜訊比，可以更準確地偵測物體。

雪崩式光感測器 Avalanche Photo Diode[2]：雪崩式光感測器利用光子激發半導體產生電子雪崩效應，可大幅增加光轉電之訊號增益，並且經由陣列光感測器製作，增加收光面積，可提升光達訊號之收光角度，提升訊雜比與混沌光波測距範圍。

飛行時間估測晶片[3]：使用晶片快速估測出光達訊號飛行的時間和距離，所要偵測的距離範圍會與晶片內存取的光訊號暫存器大小與運算量息息相關，因此必須採取特殊的電路架構進行晶片中訊號處理。為了要偵測系統中高達數十公尺的運算範圍，可採用兩階段式之粗偵測與細偵測的方式，可大幅降低內部記憶體與運算量的需求。

融合深度與影像之智慧辨識[4]：在AR/VR的三維影像中包含了許多與影像內容相關的有用資訊，包含手勢訊息、人臉訊息等，因此在高解析度的三維影像資訊中萃取並辨識出相關訊息，將提供虛擬世界中更豐富有用的訊息，透過融合深度的三維影像所建立的模型，人工智慧電腦視覺辨識技術更可以提供多角度與複雜環境下彈性並強健的辨識能力。

邊緣運算之神經網路晶片[5]: 邊緣運算是雲端運算的對應技術，雲端上具備強大的運算伺服器，可以進行深度學習人工智慧運算，不必考慮耗費能量的問題。但是在邊緣端進行三維影像攝影時，神經網路運算晶片中記憶體存取的高頻寬需求，往往會造成耗能過大的問題，也因此限制了運算的能力。為了支援高畫質三維影像錄製與智慧運算的工作，具高耗能效率之邊緣運算神經網路晶片就扮演很重要的角色。

在元宇宙相關產業逐漸發想與崛起之際，使用混沌光達之智慧三維影像錄製系統，未來將成為實體世界進入元宇宙虛擬世界的重要入口技術。

可以想像的情景是在遠端使用本技術所錄製的高畫質高浸潤度之三維實體的人像，可在元宇宙的空間出現，可讓配戴虛擬眼鏡的觀視者與遠距離的被錄影者猶如近距離面對面對話的感受，此一情境可讓元宇宙的體驗更真實，讓消費者更有誘因使用，也讓產業更願意投入相關應用之產品開發與設計，形成元宇宙價值與消費者使用意願的正向循環。