無需精通多國語言，當你面對外國人時，只要用自己的母語對著智慧型手機說話，它就能輕鬆幫你同步口譯，讓彼此溝通沒有隔閡。這個技術背後，正是將 AI 人工智慧導入至智慧型手機的應用場景，也是近期智慧型手機大廠推出旗艦機種時主打的亮點特色，建立在大型語言模型（large language model, LLM）技術上，透過邊緣裝置端的快速運算與分析，就能提供使用者更便利的使用體驗。

只是，AI 技術在市場上早已行之有年，卻到 2022 年底因生成式 AI 的誕生，才帶來新一波爆炸性成長與應用，主要是因為運算力與大型語言模型漸趨成熟所致。「運算力在推動人工智慧技術的發展上扮演著關鍵角色，」國立清華大學電機資訊工程學系教授暨工研院電子與光電系統研究所所長張世杰如此說道。而有效提升運算力的背後，晶片技術的支持功不可沒。

張世杰所長表示，由於 AI 發展將衍生大量資訊數據，加重資料中心的負載量，若不尋求解方與外援，對於產業發展與應用場景的落地將造成影響。而過去大型語言模型的運算主要仰賴超級電腦，原因不外乎超級電腦具備強大效能與運算力，但當終端場景的運算需求越來越多，如本文一開始提到的語言翻譯，又或是智慧醫療場景、自動駕駛的馬路，是否仍需回到資料中心協助運算，來回產生的延遲該怎麼解決呢？

張世杰所長指出，這樣的傳輸不僅考驗頻寬速度，更因資訊往來傳遞而無法滿足即時性，意即使用者可能說完一段話後，需要等上數秒鐘至數分鐘的時間，才能轉譯出文字，使用體驗大幅降低，凸顯了終端裝置必須具備基礎 AI 運算力的重要性，才能初步應變。

而要擁有 AI 運算力就必須導入 AI 晶片。過去，市場上對於晶片主要以「中央處理器（central processing unit, CPU）」為主，它是用於處理電腦與作業系統的各種指令，可視之為裝置大腦，而當「繪圖處理器（graphics processing unit, GPU）」誕生後，則專責處理影像與圖片資訊；GPU 對於現在 AI 產生出的各種數據來說，能進行更快速、大量且專門的運算處理，也才得以建構如今觸發 AI 應用的大型語言模型基礎。

張世杰所長說到，由於百工百業都預見了生成式 AI 將為場域帶來改變，因此終端場景的數據資料若是要透過雲端進行運算，難免會有資訊安全的疑慮，因此迫使終端設備須導入 AI 晶片具備運算力的第一個因素，正是資安考量。其次，是強化低延遲表現。若能於地端／終端完成初步分析運算，將能加速終端場景的多樣性應用產生。最後，他也提到，隨著使用者數據資料讓大型語言模型持續學習成長，未來滿足客製化、小眾化的應用將不再是難事。

然而，想在終端裝置運行 AI、加入 AI 晶片也絕非一蹴可幾。正因場景應用需求各有不同，例如有些是為了行銷目的、有些則是為了醫療場景，而也有些可能是智慧製造，因此需要拆解裝置運行 AI 的目的，給予正確晶片架構與配套軟體，才能相得益彰。

張世杰所長表示，晶片運算力是一大挑戰，根據摩爾定律（Moore’s law），運算力可以靠更先進的晶片製程技術滿足，透過單位面積電晶體數量的增加，在更小晶片面積下換來更強大的運算表現與效能；此外，有數據資料就有記憶體產生，如何將記憶體與邏輯晶片的位置達到完美和諧，也考驗 IC 設計（積體電路設計，integrated circuit design, IC design）的能力，甚或是後端封裝技術的協助，目的就是要盡可能減少資料傳輸所造成的能耗浪費，也就能加快資訊處理的腳步。

而目前市場上針對 AI 晶片的討論，除已知的 GPU 之外，還有被視作半客製化晶片的「現場可程式化邏輯閘陣列（field-programmable gate array, FPGA）」，能在晶片出廠後由使用者重新設定功能，調整它適合執行的任務以滿足場景所需；又或是客製化晶片「特殊應用積體電路（application-specific integrated circuit, ASIC）」，能針對特定且專門之應用需求開發的晶片，例如挖礦、雲端運算等，皆是為了不同應用而生的 AI 晶片。

張世杰所長進一步說到，不只是硬體 AI 晶片，軟體同樣扮演重要角色。試想，當龐大的大型語言模型被放到終端裝置，要如何截取部分功能以滿足場景應用，例如語言翻譯，仰賴的不只是 AI 晶片運算效能，軟體開發從中協助也相對重要。張世杰所長說，軟體的存在，就如同一個能發號施令的角色，它可以知道現在裝置裡擁有的工具有哪些（CPU、GPU、記憶體），而個別晶片目前資訊負載量如何，進一步分工合作，以軟體協助晶片運算效能的最佳化，實現軟硬整合在終端裝置的 AI 表現。

特別是我國長期以資通訊科技產業作為基礎，張世杰所長認為在終端裝置都需要 AI 晶片的此刻，推動軟體開發將會是臺灣產業的優勢之一，能仰賴業界對於資通訊科技產業少量多樣終端裝置的認識，整合半導體產業在技術與研發的強項，建立國內 AI 系統軟體及軟硬整合的自主發展能量；此外，張世杰所長也提到，目前工研院也針對終端裝置 AI 應用開發「MOSAIC 3D AI晶片」，以 3D 堆疊技術將晶片間的傳輸距離從微米（µm）大幅縮短至奈米（nm），並擁有模組化、多層次與易於擴展的優勢，希望能有效提強大運算力、並以大頻寬的高速記憶體滿足各類型 AI 產品的應用需求。

AI 時代下，從雲端走向邊緣的運算已是大勢所趨，也正加速消費性電子、智慧家庭等應用快速變化，而生活中各種使用包括電子郵件、拍照、客服，張世杰所長說，現在已經能感受到 AI 的無所不在，它也正改變你我的生活方式。他也表示在這場 AI 賽局中，持續推動晶片設計與製造技術的創新，將是我國產業保持市場競爭力與領先地位的關鍵策略。