巨量資料的奇幻漂流（Life of Big Data）
102/05/02
瀏覽次數
15209
王耀聰｜
國家實驗研究院高速網路與計算中心軟體發展組
下一站：有感智慧生活
《少年Pi的奇幻漂流》導演李安一席「感謝臺灣」的得獎感言，讓無數台灣人倍感榮耀，畫面中栩栩如生的老虎、海浪跟鯨魚更讓全球觀眾驚豔連連與感動不已。身為資訊從業人員，「創造感動」有時似乎有些遙遠；然而你我現在每天都在為下一部史詩巨作《巨量資料的奇幻漂流》做出貢獻，這部片已經完成了某些部份場景，是由谷歌（Google）、臉書（Facebook）、亞馬遜（Amazon）擔綱演出首部曲預告《雲端》；近期在中國，也根據劇本【十二五】，正在拍攝二部曲《物聯》。根據知名影評人爆料，三部曲的主題會是《智慧》，而這部作品的主要訴求是「有感智慧」。當《巨量資料的奇幻漂流》三部曲殺青時，導演想帶給人們的感動，是「有感的智慧生活」。
走過2012，世界末日的預言仍讓許多人心有餘悸。縱使面臨全球經濟危機、能源危機、氣候變遷等各項巨變，有韌性的人們總會搬出因應對策，只因為心中依舊有夢，夢想明天能過得比今天更好。為拯救股市，有人搬出了超級電腦，想要瞭解是否有方法可以牽動全球經濟，讓全球金融走向更高頻率的交易量。為了改善能源危機，鈍化油電雙漲的影響，也祭出智慧電網（Smart Grid），希望能透過將電力網路與資訊網路結合，預測區域用電量，有效輸配電，減少儲備電力，目標就像企業一樣「電力零庫存」。為了因應超城市（Mega City）的都市交通、治安、防火、救災等問題，透過建立物物相連的感知網路（Sensor Network），搭配位於資料中心（雲）的智慧分析，在不遠的將來，相信我們都有機會遇見不斷進化的「智慧城市」。這一切變革都跟《巨量資料的奇幻漂流》有關，這裏面將需要很多有智慧的人，來把智慧擺進我們的生活。
巨量資料的奇幻漂流
回顧過去一季，關於2013年的資通訊技術趨勢預測，您不難得到三個關鍵字：物聯網（Internet of Things）、雲端運算（Cloud Computing）與巨量資料（Big Data）。然而這三個關鍵字實際上只是在陳述關於資料是從何而生、在哪儲存、如何轉化成我們手中智慧手機的App應用。這三個關鍵字實際上也就是《巨量資料的奇幻漂流》的故事組成。俗話說一張圖勝過千言萬語，這個故事的發展脈絡可以很清楚地呈現在《巨量資料的奇幻漂流》的故事脈絡示意圖中。
資料這趟旅途的起點是物聯網，也就是由各種物件所組成的網際網路，其前身是感知網路。前面提到的每筆金融交易、城市裡的電力輸配線路、路口監視攝影機、監測溫溼度的氣象站，都會是物聯網的一員。甚至路上的汽車、車上的GPS導航系統、車窗上安裝的eTag、您家裡的鬧鐘、體重機與窗簾，未來也都是物聯網的一員。這些物件除了提供資料以外，有些還得能對應做出反應。
由於物聯網會產生的資料非常多，許多應用是時間序例（time serious），會不斷串流（streaming）產生，無法在本地找到地方存放，因此就會需要「資料中心（Data Center）」。在雲端運算的定義中，資料中心也就是「雲」，就像是給資料落腳的客棧。在這個客棧裡會有來自四面八方的資料，所以我們可以預期這個客棧需要很大的容量（Volume），而且因為資料的種類很多（Variety），得準備不一樣的客房給這些資料落腳。加上這些資料進出的速度很快（Velocity），客棧的打掃工作就要很勤勞。所以，資料中心這間客棧的老闆，為了解決三個V的問題，就打造了巨量資料（Big Data）的管理辦法，簡稱SMAQ（儲存Storage、計算MapReduce與查詢Query）。
資料中心不僅讓資料落腳，更重要的是讓這些資料可以彼此認識，形成有組織的社團。所以原本雜亂無章，沒有組織（unstructured）的個體資料（data），經過客棧的社團媒合經理，變成有組織（structured）的資訊（information）社團。隨著資訊社團成員愈來愈多，會開始產生一些社團的運作規則或章程。這些章程，就是所謂的「知識（knowledge）」。當這個社團運作得夠久，一些開國元老開始有能力預言、預測未來的方向，那這些預測，我們就稱為「智慧（Wisdom）」。當一個資訊社團成熟到能提供「智慧」時，就可以請他們出去開公司，專門賣「關鍵報告」給使用者。這些關鍵報告必須透過Web 2.0的非同步連線方式，傳遞到使用者的行動裝置（也就是雲端運算的「端」），甚至這個裝置是其他物聯網裡的另一個物件。
無所不在的生活秘書
上述這一個漫長的旅途就是發生在你我生活周遭，不停上演《巨量資料的奇幻漂流》。從這個奇幻漂流，我們不難瞭解到物聯網是雲端運算的上游，雲端運算所提供的智慧，是為了讓你我的生活更美好。雲端運算所做的事情甚至會再回到物聯網，控制某些物件，變成您專屬的小秘書。
讓我們想像在不遠的將來，當太陽還沒升起，您的鬧鐘因為可以連線到中央氣象局，而中央氣象局的雲端服務知道鬧鐘是從哪個地理位置連線，所以回傳當時您住家周遭的城鄉氣象，如果有下雨的話，那鬧鐘必須要根據歷史經驗，配合去交通部查詢週邊的交通流量，最後「預測」是否該自動幫您把原訂的鬧鐘時間提前個十至二十分鐘。因為多數有開車的人都知道下雨的話，週邊的交通流量也會跟著變大，必須提早出門。接著，鬧鐘會跟家裡的咖啡機說：主人起床的時間會提早喔～你得早一點開始煮咖啡。接著，鬧鐘還會告訴家裡的智慧窗簾跟智慧衣櫥，幾點該緩緩地將窗簾拉開，讓外面的光線透進來，增加人體的生理反饋，就比較不會賴床。智慧衣櫥此時也會根據氣象局當天的溫溼度與降雨機率，根據主人的喜好先挑選好當天合宜的衣服，甚至提醒您是否出門該帶雨傘。您在吃早餐的時候，智慧車輛已經開始根據交通部的即時交通資訊雲端服務，開始規劃前往公司的最佳路徑，不再是以往都只用最短路徑來規劃，而是考慮紅綠燈跟每個路段的交通流量來進行規劃。
必須對抗的兩隻老虎
聽起來很神奇嗎？這些機器的智慧當然不是憑空發生的，而是要靠許多有智慧的人來擔任《巨量資料的奇幻漂流》中的社團媒合經理，還要有人輔導這些社團產出知識，幫這些社團長出可以預測未來的智慧。在這趟奇幻漂流的過程中，會有兩隻老虎在一旁「虎視眈眈」。這兩隻老虎分別是「安全」與「功耗」，我們必須學會如何對付牠們。
還記得臺北網路機房失火，造成臺灣連國外線路大塞車的窘境嗎？無論是雲端運算或物聯網，都高度仰賴網路連結。也因為連在網路上，所以網路本身的穩定性、資料中心的安全性都是未來的新挑戰。我們對抗這隻老虎的武器是「備援」與「加密」，開始旅程前可別忘了把這兩把武器帶上船，才能避開這隻老虎的突襲。
曾有研究指出，當我們每做一次Google搜尋，就消耗掉煮一杯咖啡的能量。《巨量資料的奇幻漂流》帶給我們全新的智慧生活，但也得付出對應的代價－「能源消耗」。許多人質疑資料中心會造成更多能源消耗與碳排放。因此，無論是雲端運算或物聯網，都開始走向強調能源效率（Energy Efficiency），甚至善用自然界的特性來擷取能源（Energy Harvest）。未來對抗這隻老虎的武器，只有透過在硬體與軟體的不斷改良，讓每一分能源可以產出最多的成效。
這兩隻老虎會持續跟著您漂流，無法趕牠們下船，只能學習與牠們和平相處。在享受《巨量資料的奇幻漂流》所帶來的美好生活之餘，也請您別鬆懈了警戒，因為資料遺失、身份盜取、服務中斷的危險一直還在！有空時，請多想想如何備份寶貴的資料哦！
