跳到主要內容

科技大觀園商標

分類項目
Menu

大數據專題報導(一):資料科學如何解決真實世界的問題?認識資料極限,打開分析視野-專訪DSP智庫驅動知識長謝宗震

105/01/21 瀏覽次數 10919
將 Big Data 回歸資料科學的本質,除了資訊工程之外,「統計」這個學門在 Big Data 時代能夠如何讓「數據」發揮更大價值?而在相信數據的無所不能之前,如何檢驗資料的可靠性、確定資料能解決的問題極限、甚至判斷結果背後的統計方式?本篇專訪邀請到清華統計所博士後研究員謝宗震,同時也是以推廣資料科學為目標的社會企業「DSP 智庫驅動」的知識長,分享如何透過資料科學解決真實世界的問題。
 
隨著時代演進的資料科學-大、雜、快、疑
 
「數據是人類活動的歷史記錄,透過資料科學『以古鑑今』是追求進步的捷徑。」謝宗震說,
一般來說,談及現今的資料科學或是 Big Data 都會提到 3 + 1 個特性:大、快、雜、疑。
 
隨著科技的發展,人類活動的軌跡越來越能夠被詳實記錄,譬如人們瀏覽電子新聞、購物商城的軌跡,人與人在社群網站的互動過程,人在操作汽車、電視、冷氣的習慣...等等。這種進步就好比是從一幅自畫像進步到一張照片,再到一部電影,現在甚至已經發展到近乎24小時不間段的實境節目。在人類活動被無時無刻記錄的同時,資料的量級爆炸性的成長,有一說:「現今世上的資料等於一個人每天24小時不停觀看超過2千億部的2小時HD電影,必須花上4700萬年才能看完。」
 
「Data Mining 是解析數據的方法,他的精神是連結不同來源的資料並挖掘價值,而不只是單一資料表分析而已。」謝宗震說,資料採礦(Data Mining)打從 1980 年代就伴隨高科技產業降生,台灣民間也在大約十五年前開始出現 Data Mining 的相關課程和協會,發展的一大關鍵在於資料倉儲的發展,使得「存取不同來源的大量資料」變得越來越便利。
 
以量販店的資料為例,就包括了產品庫存、發票銷售資料、產品擺放的順序、促銷資料、員工出勤資料......各式各樣的資料可能都儲存在不同的部門、不同的資料庫。除此之外,網路上各種影片、音樂、等難以量化或沒有標準欄位的資料的出現,也讓資料儲存的類型變得更為複雜。
 
在資料存儲的「巨量性」與「多樣性」之外,因應電子商務時代對「時效性」的要求,運算速度的需求也隨之提高。以著名的電話辨識 app「Whoscall」為例,為了協助使用者在接起電話之前,判別陌生來電是否為其他使用者回報的詐騙或騷擾電話,「Whoscall」必須在短短幾秒內告訴使用者這通電話該不該接。「資料越來越龐大,要讓使用者能在短時間內獲得反饋,提昇電腦計算能力和簡化演算方式就成為重要的發展方向。而後者正是統計人在資料科學中的任務。」謝宗震說。
 
除了「大」、「雜」、「快」,大數據近年還出現了第四個特性-「疑」,也就是指資料的「可靠性」問題。如果無法先檢驗資料的品質和來源,一味的把搜集到的數據趕快送進運算模型,「那麼只是『Garbage in, garbage out』。」舉例來說,當我們希望利用社群網站上的討論資料來分析選舉情勢,例如哪個候選人的討論度較高、討論是以正評還是負評居多。在此之前應該先關心網路上的討論者都是哪裡來的?如果這些討論者根本不隸屬於這個選區、甚至這些討論其實源出於機器人、殭屍,那麼這些「品質不佳」的資料就無法有力計算出具有參考價值的候選人支持度。
 
那麼,具體來拆解資料科學,可以分成哪些工作階段和角色?
 
資料科學的生命循環,交給四種角色通力合作
 
資料科學的生命循環,可對應到四種不同的角色。「資料產品經理人」負責將真實世界的問題轉換成資料可以解決的問題,通常是該問題領域的專業人士;「資料工程師」負責蒐集、整理、清理資料,通常是具備程式技術能力的工程師;「資料分析師」負責資料建模和分析,通常由擅長找出資料關聯的統計人擔當;「資料視覺化設計師」的任務則是要將報表變得簡明易懂。
 
「每種角色各有專精,但只有整合訓練、了解彼此的領域重點為何,才能形成完整的資料科學家的視野或團隊。」正因如此,由 Code for Tomorrow 孵化出來的社會企業「DSP 智庫驅動」,在設計資料科學的課程也更注重讓不同角色的「資料人」能夠在此學習和資料產品經理人、資料工程師、統計分析師、資料視覺化設計師合作,形成團隊共同進行專案實戰,幫助非營利組織和企業激發資料價值。
 
謝宗震以自己參加過的 Code for Healthcare 工作坊為例,實際說明資料科學的生命循環。小組成員包含:氣爆受災戶、救災人員、醫護人員、資料科學家、視覺設計師。小組研究的主題為高雄八一氣爆意外後的救護資訊,重大災難發生的當下,第一線消防人員如何得知高高屏地區醫院的急診室承載量,進一步決定如何把傷患送往哪間醫院?決定設計問題的第一步後,小組蒐集高高屏地區資料庫中每五分鐘更新的急診室資料,包括外科醫生人數、病患人數、傷患嚴重程度、呼吸器和各種設備的數量......。當欄位都蒐集好,接下來才是真正試算:如果意外現場有三十個人受傷,那麼最佳路徑下應該優先送到哪間醫院?如果高高屏地區滿載,是否應向北去找台南醫院協助?有些醫院雖然略遠,但是否在急診室不用排隊?當運算模型完備,最後可由資工專業寫成 app,提供給救護單位使用。
 
不過在踏入分析之前,謝宗震認為先練習「資料思考」更為重要,所謂先認識再交往,面對資料也要先多做評估,後續展開的分析才會更順利。
 
先了解資料的「極限」,才能展開有效分析
 
在建立模型、著手分析之前,如何蒐集、整理資料有著同等的重要性。手上資料能提供的訊息若不足以解答問題,那麼貿然展開分析便是緣木求魚。謝宗震說:「在 DSP 智庫驅動的課程中,我們會拿 YouBike 的公開資料當做上課教材,有些學員希望分析每個使用者從 A 點到 B 點會花多少時間,進一步替週遭店家推播廣告。然而 YouBike 提供的資料僅有『每個站點在每五分鐘有幾台車被騎走』,而沒有詳細的路線資訊。因此除非回過頭去徵求開放更多更精細的資料,目標問題是無法獲得解答的。」
 
謝宗震分享自身經驗:「在上課的時候,我們遇過最多學員的動機和問題是:『我不知道公司的資料要怎麼用,但資料科學很紅,我應該來進修。』所以我們將課程稍作微調,讓學員先練習『資料思考 Data Thinking』、了解資料能解決問題的極限在哪裡。舉例來說,如果我是一家希望分析手上銷售資料的速食店,但萬一銷售資料沒有記錄漢堡的類別,我就不可能找出人氣漢堡!」
 
當大數據時代幾乎能「海納百川」地計算海量的資料,傳統的「抽樣」方法以及必須隨之處理的「抽樣誤差」問題,是否就能夠一概免除?「很多書都會說,既然 Big Data 能蒐集並運算所有的資料的情況下,就能免除抽樣誤差的煩惱,但資料只是真實世界的片段,不可能透過資料完整反應真實世界。」謝宗震跳出大數據本位,直率地分析數據的極限。「就以台北市選舉的網路意見調查為例,可能很多發言者根本不設籍在台北市;而很多只是『潛水』閱讀而沒有公開發言的人,也不會形成資料;更甚者,有很多人可能連上網的能力都尚不具備!」
 
統計在做什麼?分析建模讓資料分析結果更精緻
 
目前資料科學領域中,統計人的身影遠少於資工人,謝宗震怎麼看待統計人在資料科學中的價值?他認為關鍵在於演算模型的建立,這個模型可用每個輸入值(x,Input)對應輸出值(f(x), Output)的函數關係來理解,資料被丟進此黑盒子進行運算,最後得出分析結果,而黑盒子中的方程式或各種演算法,就是統計建模的核心。「如果單純使用平均數或簡易的算法當然也能做出結果,但精緻度是不同的。」而分析建模正是統計的優勢所在。
 
為了要得到品質好、有代表性的資料,整理資料的過程也需要統計建模的幫忙,例如當問卷欄位上出現缺漏值,「有些人就是不喜歡填身高、體重、和心得,但如果他們有填寫其他題項,就能運用建模來反推可能的缺漏答案。」種種功夫,都是為了在正式展開分析之前,能夠確保資料品質能具有真正的參考價值。
 
除了計算資料,統計也能幫助我們更好地判讀資料。因為同樣一筆資料,透過不同的統計方法,可能得出天差地遠的結果,進而影響我們對於數據分析的認知立場。
 
統計在做什麼?洞察數據背後玄機,不同計算方式兩樣情
 
一般人看到充滿說服力的統計數字時,很容易忽視統計過程中所使用的方法,而直接相信算出來的「結果」。以「貧富差距」報告為例,比較「最富和最貧的年收入差距」是很有感的指標,但是倍數怎麼算,背後其實大有不同的算法。在不同的計算方式之下,一模一樣的原始數據,可能得出「6.08倍」和「99.39倍」這兩種相距甚大的年收入差距。
 
「要計算『最富有的那群人』和『最貧窮的那群人』的差距,可以依每戶綜所稅申報所得分成五等分,擷取最富和最貧的 20%,再將兩群的平均值相除得6.08。另一方面,也可以將人們分成二十等分,以最富最貧的5%計算得99.39倍,而美國、日本、澳洲以及國際組織如CIA、OECD的計算方式則為 10%。無論如何,當取樣的比例分別是 5%、10%或 20% 的時候,就會出現不同的統計結果。人們可以選出對自己最有利的計算方式。」
 
要更精準、更客觀的研究貧富差距,其實不能只看一兩個指標就下判斷。「較好的作法是連續比較 5%、10%、20% 一直到 50% 的差異為何,才能看的出演變趨勢。例如若以 20% 為標準時今年相對於去年的貧富差距變小、10% 時貧富差距上升,那麼代表中等富有和中等貧窮的群族差距拉近了、然而極端富有和極端貧窮的人反而差距更大了。」在貧富差距這個議題中,貧和富能分成更多種,進行更細緻的討論。而對不熟悉統計的一般人來說,至少可以學習注意兩件事:一、伴隨數字後面的「單位」是什麼?二、同一筆資料存在著不同的算法,在相信結果之前,應先留心它是如何被算出來的,而不是讓自己被數字牽著鼻子走。
 
總之,「資料是真實世界的一部分,指標是資料的一部分,一種指標只是反應資料的某一種面向,並不代表全部,唯有清楚知道指標的特質才能貼近真實。」
 
談了這麼多統計人的身懷絕技,但在 Big Data 時代,統計人會遇到什麼挑戰、應該如何自我調適才能充分大展身手?
 
面對 Big Data 時代,統計人要如何讓自己發揮價值?
 
「統計這門學科在每個時代都可以『玩資料』,有問題、有資料,就能建立模型分析問題。」謝宗震說,然而現在的 Big Data 時代,統計人難以好整以暇地等客戶捧上問題和資料再著手分析,資料「反客為主」,許多時候連客戶也不一定知道他想問的問題是什麼,統計人必須更主動參與第一線,甚至規劃如何蒐集資料,而非面對已經固定欄位的資料庫一籌莫展。如果統計人無法習慣處理非結構化的第一線資料,就如同打不開冰箱的廚師,拿不到食材,就更別談烹調出美味的食物了。
 
以電子商務領域為例,商家充滿各式各樣的疑問:要如何促進買氣?要推播給會員什麼廣告?廣告應該放在網站中的那個位置效果會最好?統計人應當參與更多第一線規劃蒐集資料的細節,然而現在設計網站與資料欄位的人卻少有統計學家的蹤影。「促銷應該統計過去一周賣的最好的前十名商品、還是消費者最想買的前十名商品?要計算廣告成效,應該以點擊率、還是最後轉換的購買率或購買金額為標準?」要得出更細緻的答案,就需要統計人更大程度的參與。若能從中改善使用者體驗,也就能搜集到更好的資料、做出更好的解讀。讓大數據不只是躺在資料庫中,而能走入真實世界,解決更多的真實問題。(本文由科技部補助「新媒體科普傳播實作計畫-智慧生活與前沿科技科普知識教育推廣」執行團隊撰稿)
 
責任編輯:鄭國威
審校:陳妤寧
OPEN
回頂部