圖一:國立臺灣大學資訊工程學系莊永裕教授分享三維人臉生成模型不僅能減少影視產業的設計時間與成本,也可以提高 AI 辨識人臉的精準度。(影像來源:國立臺灣大學資訊工程學系莊永裕教授)
從生成式 AI 浪潮興起後,運用 AI 技術自動生成圖像已成趨勢,現在只要打開網路,就可以找到許多產製 AI 虛擬人像的軟體。面對此一浪潮,國立臺灣大學資訊工程學系教授莊永裕更進一步研究如何將 AI 人臉生成模型從二維進化到三維,並從中挖掘 AI 人臉生成應用的更多可能。
莊永裕分享,從學術角度來看,圖像生成模型屬於電腦視覺的分支,只是兩者輸入內容與輸出結果恰好相反。例如電腦視覺做的是影像分析,只要輸入影像,電腦視覺就會自動產出符合影像場景的相關描述,常用於工廠產線上的瑕疵檢測及人臉辨識領域。圖像生成模型做的則是影像生成,意即輸入與場景相關的文字描述,再由圖像生成模型自動產製符合描述內容的照片、影片、三維模型等,現在常見的 AI 虛擬人像便屬於此類。
生成對抗網路讓 AI 圖像更逼真
目前的圖像生成模型種類很多,其中一個主流模型就是基於生成對抗網路(GAN, Generative Adversarial Network)架構開發的模型。生成對抗網路是讓生成器和辨別器兩個模型不斷對抗,從而強化 AI 生成圖像的能力。在 2018 年就有開發者使用生成對抗網路和大量人臉資料,打造可以控制 AI 人臉年紀、性別、髮型與服飾的人像產生器,逼真程度讓人難以分辨圖片究竟是真人還是合成的人臉。
人像產生器帶動生成對抗網路的應用發展,不過早期多數研究仍聚焦在二維人臉,導致應用場景受限。因此莊永裕希望將二維逼真人臉的生成模型擴展到三維,並透過 AI 自動產生容貌與外觀都不同的人物,讓 AI 應用延伸至遊戲、電影等需要大量路人的場景。
三維人臉生成模型的應用實例
莊永裕以累積大量人臉知識的生成對抗網路模型為基礎,發展三維人臉生成模型。使用者只要輸入一張二維影像,或是改變代碼和參數,模型就會在幾秒內自動生成相對應的三維人臉。
「對產業或 AI 應用來說,三維人臉生成模型可以帶來很大的幫助,」莊永裕分析,就產業而言,傳統三維人物的設計方式需要花費很多時間,因此如果要設計大量路人,遊戲或電影業者就勢必得投入非常龐大的時間和成本。相較之下,運用 AI 力量自動且快速生成路人的三維人臉生成模型,不只減少設計時間和成本,還能讓遊戲場景看起來更豐富與真實。
圖二:莊永裕教授分享給予圖(a)由生成對抗網路生成的人臉影像,就可以得到對應的三維人臉模型,也可以變更模型的表情與光照條件。(影像來源:國立臺灣大學資訊工程學系莊永裕教授)
就 AI 應用而言,三維人臉生成模型可以提高 AI 辨識人臉的精準度。由於 AI 的辨識能力與訓練資料的多寡密切相關,當訓練資料越豐富與大量,AI 辨識能力就越強。三維人臉生成模型可以就同一張人臉生成不同角度及表情的圖像,並將生成結果提供給人臉辨識模型作為訓練資料,進而提高人臉辨識的精準度。
不論在產業或學術領域,期待未來能持續擴展對三維人臉生成模型的應用,為我們的生活帶來更多元豐富的體驗。
● 採訪國立臺灣大學資訊工程學系莊永裕教授
本著作係採用 創用 CC 姓名標示─非商業性─禁止改作 3.0 台灣 授權條款 授權.
本授權條款允許使用者重製、散布、傳輸著作,但不得為商業目的之使用,亦不得修改該著作。 使用時必須按照著作人指定的方式表彰其姓名。
閱讀授權標章或
授權條款法律文字。