大數據專題報導（五）：提昇大數據可信度，統計學用機率和抽樣優化分析模型–專訪典通公司總經理楊雅惠
105/01/20
瀏覽次數
3713
陳妤寧｜
台灣數位文化協會
大數據如果要化為能在市場上提供服務的產品，除了在要科技上持續突破，也需要能解決真實世界中的消費者、企業或政府決策者、等等不同使用者的難題。
典通股份有限公司多年來以民意和市場調查為主要經營項目，隨著大數據的興起，典通也轉投資新公司「Dataa」－浚鴻數據開發股份有限公司，以典通厚植的市場研究經驗為基礎，提供大數據解決方案。他們建議客戶，大數據和傳統民調不可偏廢，兩者應該扮演相輔相成的效果，這是為什麼？
輿情分析和民意調查，兩者相輔相成
成功的大數據服務商業模式，就如同過去股民手上拿的股票機一樣，廠商把上千支的股票資料進行分析，最後推薦用戶哪幾支股票的表現值得推薦。而在這個媒體發達、資訊爆炸的時代，公眾人物、公關從業者或是需要了解民意方向的地方首長，都需要了解大眾現在最關心的新聞是什麼？態度是正面是負面？哪些媒體對自己比較友善？這些運籌帷幄的智囊，如今都存乎於像典通這樣的公司提供的輿情分析服務中，一切的關鍵在於解決使用者的需求和問題。
但典通的總經理楊雅惠單刀直入地說，如果單純爬梳網路上所有論壇和社群媒體上的意見就直接做出情勢判斷，是存在風險的。「不是所有的人都會在網路上發言，而我們正在分析的這些網路發文，會不會北部人遠多於南部人？會不會高學歷者多於教育程度偏低者？會不會除了少數意見領袖之外，還有太多的網友只有『潛水』瀏覽、而沒有發表意見？」為了確保輿情分析的結果能夠具有代表性（換言之，等於參考價值），楊雅惠主張過去的抽樣調查也必須同步進行，作為判讀輿情分析結果的輔助。
以典通自身為例，一方面透過內建的會員平台進行民調施測，由於平台不對外開放，得以控制會員年齡、性別、地理區域等特性分布的均質性，避免開放式民調平台無法控制同一人重複填答的問題。另一方面，典通也以傳統的電話訪問調查年齡層偏高的族群，以有別於出生長大都在網路發達環境的「網路原生代」。雖然樣本相對少，然而嚴謹確保代表性的做法，卻能夠和利用大數據進行輿情分析的結果互相參照、相輔相成，「如果兩者的顯示結果落差很大，那麼就值得深入研究其中蹊蹺。」
資訊工程和統計分析結合，同時洞悉趨勢和掌握因果
本身是統計學專業背景的楊雅惠從學門的角度分析，認為大數據以資訊工程和演算法為領頭，目標為「快」和「廣」，如何解釋因果關係反而不是重點。「例如我們的客戶中有產險公司，希望能夠建立一套如何判定『拒絕誰來投保』的機制，所以重點是從過去累積的海量資料中分析出規律，最後的結果很可能是費人思索的，例如身高體重等等無法立刻得到解釋的各種變數。但在此情況中，得知因果並不如準確洞悉大趨勢來的重要。」
但在其他情境很可能就恰好相反了，以醫療領域來說，確認因果關係就非常重要，也需要更多特定領域的專家加入分析判讀。而統計學以機率為基礎，雖然運算方式較為複雜，使得運算速度不如以「0 和 1」為邏輯的演算法來的快速，但更能深入研究因果關係。「時至今日，其實我們利用 R 語言建立迴歸分析，矩陣演算的速度也已大幅提昇。」楊雅惠細細解釋，當我們談到模型時，一是指產生統計指標的函數模型，二則是指整合不同統計指標、產出一個立體象限的決策模型，後者更靠近客戶直接做出決定的端點。
雖然如此劃分兩種學門擔當的角色，楊雅惠認為兩者之間並非對立的關係。「大數據可以解決資料端的問題，統計分析則能在尋求因果解釋時突破片面，兩者互補合作，是對於客戶較為完整的解決方案。」在商業應用的世界中，一切終究需要回歸到客戶的需求：當科技和新技術持續推陳出新，哪些能夠為客戶的問題帶來解決方案？
提昇數據代表性，統計也能優化輿情分析模型
話說回輿情分析，難道「大」數據就沒有精緻化的可能嗎？其實透過深入研究大眾在網路上發表意見的行為模式，可以在分析過程中持續調整權重、減少代表性偏差、優化分析模型。舉例來說，如果同一個發言者連續且大量發言，這種情況就需要調降其權重，避免分析時擴大了單獨一個人的重要性；同樣的，發文者是一般大眾？意見領袖？還是試圖影響輿論的媒體？這些角色如果能分離，也能得出更細緻準確的分析結果。
在正評負評的情緒分析中，可以透過分析一般人使用語言的習慣，找出除了統計正負面的詞語數量之外的分析方法。例如同樣一篇文章標題，後面接的是問號還是驚嘆號，想要傳達的立場可能就完全不同。而許多媒體報導可能為了力求中立，在文章前半段平鋪直敘，直到最後一段才直抒其意，因此文章中的最後一段權重調高，也有助於更良好的判斷網路輿論的正負評聲量。
個人隱私及未統一的數據標準，醫療資料價值服務尚有挑戰
醫療領域的大數據，和其他領域相比有什麼特性？專長在醫療資料分析的楊雅惠表示，最大的癥結點仍在於個資和隱私問題，使得醫療資料的商業模式雖然明確，但利用上仍有諸多挑戰。「例如遠距醫療在技術上已經變成可能，許多穿戴式智慧裝置也都能蒐集個人化的生理資訊，但醫事法規定，醫師必須見到病患本人才能做出診斷。」
楊雅惠表示，其實法令在今年已經有初步開放，在特定用戶同意的情況下，醫療服務的系統商可以介接健保資料庫的API，存取該特定用戶的健保資料，結合穿戴式智慧裝置記錄的個人生理資訊，協助判斷用戶的身體狀況並提供疾病警訊。
而「非個人化」的醫療資料分析其實已經存在，處於開放初期的健保資料庫，將去個人化的批量資料開放予研究單位，分析國人的健康趨勢。「資料庫會規範最細的分析單位，避免交叉分析造成個人醫療隱私的暴露風險。但可以研究各種預測疾病的模型，一旦個人化的資料到位，模型就能實現為多元的服務應用。」
目前除了醫療資料的隱私問題，另一個挑戰在於各家廠商所推出的個人化穿戴裝置規格不一，醫界對於如何採用這些裝置所記錄的生理數據尚無一致的標準。「例如現行的血壓計，醫界對於在什麼環境、什麼規格所測量出來的數據是否可信是具有共識的；然而現在各種新興的運動手環，可能還不足以成為醫生敢採信的正式醫療數據。」
從市場端的角度分析，楊雅惠認為掌握客戶需求，才能在資料之中問出好問題，進而做出具有代表性的數據分析。反而大數據的定義並不一定是筆數多，以基因資料庫為例，雖然人次不多，但每個人的基因蘊含的變數都很大，整體分析的複雜度也就會隨之提高。最重要的是，隨著機器設備和演算能力的進步、相關平台和工具出現開放的來源，研究大數據的門檻降低，有越來越多的小型團隊得以投入，即使不用昂貴的設備，也能共同開發大數據的未來。（本文由科技部補助「新媒體科普傳播實作計畫－智慧生活與前沿科技科普知識教育推廣」執行團隊撰稿）
責任編輯：鄭國威
審校：陳妤寧
