隨著基礎AI技術發展的日益成熟， AI與電腦視覺技術導入空拍影像的應用所在多有。
自從無人空拍機問世以來，採用從高空以俯視的角度觀察地面人、車、環境的變化，進行相關領域的研究已成為重要方法之一。目前已可使用空拍機執行的工作包含運送貨物、測量地形，並偵測、追蹤人群，觀察人群密度，繪出熱點圖了解人群疏密程度，甚至預測人群去向。這對於位處於基隆八斗子，擁有涵蓋山海無限美景近125公頃場域的海洋科技博物館而言，是一個可以提升戶外遊客服務品質的契機。
隨著人工智慧（artificial intelligence, AI）技術發展的日益成熟，無論軟體或硬體在AI應用的導入門檻已逐漸降低，AI與電腦視覺技術導入空拍影像的應用也所在多有。最著名的莫過於住在花蓮壽豐的「智慧科技青農」盧紀燁及其團隊從2017年5月開始發展的「高空影像盤點農作物技術」。
他們利用2部空拍機在20分鐘左右完成巡視西瓜田並拍攝一張張照片，再把這些照片拼成一大張，與地理資訊系統結合後可以清楚看見每顆西瓜的狀況。從以往「算西瓜算到很火大」的情況，到現在除了可以精準估算西瓜產量以外，還可以看到哪株西瓜出現葉子捲了、黃了等需要農民及時介入處理，已為預備投入發展「智慧農村」的青年立了很好的榜樣！
不同於前述AI導入農村於移動量小或不會移動的農禽產品生產管理應用，海科館向教育部爭取了「智慧服務 全民樂學─國立社教機構科技創新服務計畫」經費，把偵測管理目標放在移動量頗大的人與車，導入AI與電腦視覺技術。計畫內容是整合空拍機及地面攝影機的資源，針對進出海科館潮境公園、復育公園、容軒園區、主題館區等場域的人、車進行辨識與數量估算。
目標是藉由了解當下於各區域的人、車數量及可能的移動趨勢後，及時提供管理階層機動調整服務人力與配置，做為海科館提供「智慧博物館城」智慧貼心服務的堅實基礎。受限於篇幅，將只局限於應用空拍機執行智慧影像人群偵測重點技術的簡介與討論。
使用空拍機拍攝，除了可以預測人群的動向外，還能對意外事故即時反應。（圖片來源：種子發）
為何要偵測人群
在人群聚集的戶外公眾場合，例如遊行路段、節慶活動場地、熱門觀光景點等，常因人多而易發生意外事故。因此，多已設置監視用CCTV系統，以備場地管理單位或警方在意外發生後調閱存證之用。然而，由現今機器深度學習、視覺辨識等人工智慧技術高度發展的現況及趨勢來看，結合解析度高的攝影機、空拍機所拍攝的影像，偵測大量人群與估算數量的目標將可達成，除了可以預測人群的動向外，還能對意外事故即時反應。
此外，一般空拍機的電池電量約可飛行10至20分鐘，高階空拍機的續航力則可達30分鐘，飛行半小時便可測繪相當於400公頃土地面積，且拍攝出的影像畫質高達4K，非常適合用來偵測人群。
追蹤及預測人群軌跡
使用空拍影像觀測人群，首先要做的是必須在影像中找出「人」在影像中的哪個位置。利用深度學習技術與空拍影像的結合，可協助尋找影像中「像」人的位置有哪些。在使用深度學習技術之前，必須先使用至少1,000張以上已標注有「人」的位置的圖像給人工智慧深度學習程式訓練，讓程式學習人的形狀與紋理之後，便可以試著把一段空拍影像交由這程式判斷人在影像中的位置。
基本上，人群會持續移動。當已知所有人在影像中的位置後，便可以進一步比對出所有人在每個時刻之間的移動關係。例如，當在某個時刻的影像中發現某個人，則把下一時刻距離最近的人標注為同一個人，使用這種方法應用在任何時刻的影像中，就能把所有人的行經路線都繪製出來。
然而只有比對與標注是不夠的，在人群密集的地方經常有遮蔽等干擾現象，導致程式在某個時刻找不到被遮蔽的人。面對這種情況，除了可以把每個時刻中最近的人標注起來外，還必須依靠人的軌跡預測路線。由於已經得知某個人在前一時刻與當前時刻的位置，就可依據這資訊獲得那個人的速率，並用這速率預測其在下一時刻的位置。
把這方法套用在每個偵測的目標上，即使有某個人因某些干擾突然從影像消失一小段時間，依然能求得這個人的位置並繪製其路徑。
以人工智慧程式學習偵測目標
以「人」的前一時刻與當前時刻預測這個「人」的下一時刻位置。
空拍機持續移動造成的問題
使用空拍影像對人群執行偵測並繪製路徑，還有個很重要的技術問題待解決─空拍機會持續移動。這問題會造成所拍攝影片中的所有物體都有相對運動，使得前述軌跡繪製不準確。例如，用一部正向右移動的空拍機拍攝一位站著不動的人時，會因空拍機持續向右移動，導致影片中的人被程式誤認為這個人持續向左移動，因此而繪製出錯誤的軌跡。
為了解決這個問題，必須先對空拍機做定位設定。空拍機的移動會造成背景做反方向的相對運動，因此背景的移動距離就等同於空拍機的移動距離。把每個時刻的圖像針對背景進行特徵點配對，找出背景在每個時刻的移動距離，並使用這個距離修正人物的路徑，才能防止未移動的人卻被程式繪製出移動路徑的情形。
把人的行走軌跡繪製成熱圖
以HSV色盤繪製人群熱點圖
繪製熱點圖
當每個時刻的人數與路徑確定之後，便可以繪製熱點圖。若以路徑方式繪圖，必須先標注正在行走中的人。依據空拍機的高度設定一個長度，若人物的路徑超過這長度則判斷這個人正在移動，把所有移動中人物的路徑標注出來，並以 HSV色盤為路徑填色。行經的人數少則填冷色系的藍色，行經的人數越多慢慢轉為暖色系的紅色，如此便能在錯綜複雜的人群移動中，把熱門區域標注出來。
若要觀察人群密度，則可進一步以人數為基礎繪圖。同樣依據空拍機的高度設定一個長度，若人與人之間的距離小於這個長度則歸類為「同一群」。如此，一段影片便可找出許多人群聚集的地方，並同樣以HSV色盤的填色方式對各個人群做填色作業，也就是人口密度越高則填紅色。就算人群都靜止不動，也能透過這方法觀察人群密度。
空拍影像的其他應用
空拍影像除了可用來追蹤人群外，還可以做更深入的應用，例如影像拼接。依據空拍機的移動特性，把它拍攝過的地點進行影像拼接，可以讓使用者由影像拼接的結果獲得更廣闊的視野。一般來說，為了把兩張圖片拼接起來，除了尋找互相匹配的特徵點外，還必須透過仿射變換才可做出完美的拼接。
若影片屬於廣角影像，則前述方法並不可行，因為廣角影像所拍攝的影片在邊緣都有扭曲的現象。因此，這類影像做仿射變換時較一般平面影像費時且不精準，必須使用其他方法。由於空拍機的移動距離已知，在每個時刻依照其移動距離做影像拼接會更精準，同時在電腦運算時間上也較省時。
（左）拼接前的二張圖片，（右）拼接後的圖片，以仿射變換與特徵點匹配作圖片拼接作業。
展望
目前，受限於空拍機的電力持續能力、微型電腦的運算能力，以無人空拍機執行高空拍攝影像做場域管理應用時，須結合人工智慧程式，並借助高階電腦的運算能力，而無法經由即時運算獲得結果，使得海科館在及時機動調整服務人員配置的目標暫時無法達成，仍須輔以設置於地面的攝影機與人工智慧程式才能達成。
未來，當高容量電池、高運算能力微型電腦，或即時影像傳遞、雲端AI電腦視覺平台等產品或技術發展更成熟時，運用空拍機執行高空人車監測並做即時電腦視覺運算，發展出更有效率的人群、車輛偵測系統，並可做及時人力調控管理的目標應可達成。
