跳到主要內容

科技大觀園商標

分類項目
Menu

VR版英雄聯盟該如何操作?來看看它背後的原理吧!

109/06/10 瀏覽次數 1685
你想玩VR版的英雄聯盟嗎?不是簡單地用VR眼鏡來看手機的畫面,而是像動漫刀劍神域那樣,將玩家真正帶入虛擬世界當中,以第一人稱視角展開,360度全方位無死角。如果能夠像這樣身歷其境的打電動,一定很痛快吧!
 
英雄聯盟(圖/截圖自官方Youtube頻道)英雄聯盟(圖/截圖自官方Youtube頻道)
 
但360度畫面也有一個小缺點,在初學階段,做為新手的我們太容易死啦。這是因為原本我們使用的手機屏幕畫面很單一,我們不需要特別注意便能判斷敵人的方向,以及前進的路線。但360度的畫面對路痴顯然不是一件好事,並且過於豐富的內容也很容易讓人分神,找不到重點。
 
在360畫面中,玩家很容易失去焦點,圖中的小明因為只關注於眼前外星人,而找不到廣播中所說的怪獸。(圖/連俊翔提供)在360畫面中,玩家很容易失去焦點,圖中的小明因為只關注於眼前外星人,而找不到廣播中所說的怪獸。(圖/連俊翔提供)
 
那麼我們該怎麼解決這一問題呢?答案就是新手訓練區的畫面與解說的自動匹配功能!

自動匹配功能:將特定畫面和文字畫上等號
 
什麼是畫面與解說的自動匹配功能?簡單來說,就是我們所看見的畫面能夠依據解說的內容自動轉換。比如說,解說告訴我們「敵人來襲」,那麼畫面便會自動轉向有敵人向我們進攻的那一面;或者解說提醒「前方有掉落的鑽石」,那麼畫面便自動轉向有鑽石掉落的那一面。

畫面與解說的自動匹配能夠幫助新手在剛接觸這款遊戲時減低難度,幫助玩家更好地理解該如何操作VR版的英雄聯盟。

自動匹配功能背後的原理並不複雜,我們需要做的只是讓電腦知道這個畫面與這段文字是同一個意思,也就是說,將這個畫面和文字畫上等號。
 
小狗在人類的眼中是一種可愛的生物,但是在電腦中,它只是一串編碼,我們為電腦建造一個數據庫,裡面是各個事物所對應的編碼,例如貓咪對應的便是A1001,漢堡是A1002,小狗是A1003。(圖/連俊翔提供)小狗在人類的眼中是一種可愛的生物,但是在電腦中,它只是一串編碼,我們為電腦建造一個數據庫,裡面是各個事物所對應的編碼,例如貓咪對應的便是A1001,漢堡是A1002,小狗是A1003。(圖/連俊翔提供)
 
這其實便是翻譯蒟蒻呀,因為文字和畫面對於電腦而言,便像是我們在學日文與英文。那麼我們如何將一個英文單詞對應到日文中呢?對,通過中文這個橋樑,我們會將這個英文單詞翻譯成中文,然後再去找同樣是這個意思的日文單詞。

對於電腦而言,便是分別將畫面和文字進行編碼,對於文字,我們使用「循環神經網路」(Recurrent Neural Networks, RNN),將文字丟入RNN中,它便會將這段文字編譯為一串獨一無二的編碼。

而在影像部分,因為影像其實是由一張張圖片疊加而成,所以在影像的編碼上,我們使用能將圖片翻譯成編碼的「卷積神經網路」(Convolutional Neural Networks, CNN)。我們將影像丟入CNN中,得到對於這段影像的編碼。

例如在圖三中,我們將地球的圖片編碼為A3001,將「地球」這個文字也編碼為A3001,那麼對於電腦而言,這兩者便是相等的,但我們輸入文字「地球」時,電腦就會自動匹配到它的圖片啦。

又例如將「敵人來襲」這個畫面編碼為“010111”,並將這個一段文字也編碼為“010111”,於是這段文字和影片對於電腦而言,便是同一個東西。因此電腦在接收「敵人來襲」這個文字時,其實接收到的便是“010111”這段編碼,就會自動匹配到同樣是“010111”的這段影片。
 
我們通過CNN和RNN分別對圖片和文字進行處理,將貓咪、地球各自編碼後,電腦便能將相同編碼的事物進行串連,把「貓咪站在地球上」這句話的相應畫面正確的呈現出來。(圖/連俊翔提供)我們通過CNN和RNN分別對圖片和文字進行處理,將貓咪、地球各自編碼後,電腦便能將相同編碼的事物進行串連,把「貓咪站在地球上」這句話的相應畫面正確的呈現出來。(圖/連俊翔提供)
 
 電腦也需要不同口味的翻譯蒟蒻
 
在編碼的過程中,面對文字和影像,電腦也需要不同口味的翻譯蒟蒻。這便像是我們在查找英文單詞和日文單詞時,會使用不同的字典一樣,電腦也需要不同的演算法來對文字和影像進行編碼。
 
讓電腦吃下這兩塊不同口味的翻譯蒟蒻所得到的編碼,就能夠用來讀取影像和文字。因此在新手訓練區中,當解說提到「敵人來襲」時,玩家便會自動匹配到相關的畫面,減低因為找不到敵人而失敗的風險。

這便是自動匹配功能背後的原理,你明白了嗎?
 
參考資料
1. Christianson, D. B.; Anderson, S. E.; He, L.-w.; Salesin, D. H.; Weld, D. S.; and Cohen, M. F. 1996. Declarative camera control for automatic cinematography. In AAAI.
2. Chen, J.; Le, H. M.; Carr, P.; Yue, Y.; and Little, J. J. 2016. Learning online smooth predictors for realtime camera planning using recurrent decision trees. In CVPR.
3. Su, Y.-C.; Jayaraman, D.; and Grauman, K. 2016. Pano2vid: Automatic cinematography for watching 360◦ videos. In ACCV.
4. Li, Z.; Tao, R.; Gavves, E.; Snoek, C. G. M.; and Smeulders, A. W. 2017. Tracking by natural language specification. In CVPR.
資料來源
  • 科技部107年度「科轉計畫:前沿科技轉化暨教育應用推廣」專案計畫
創用 CC 授權條款 姓名標示─非商業性─禁止改作

本著作係採用 創用 CC 姓名標示─非商業性─禁止改作 3.0 台灣 授權條款 授權.

本授權條款允許使用者重製、散布、傳輸著作,但不得為商業目的之使用,亦不得修改該著作。 使用時必須按照著作人指定的方式表彰其姓名。
閱讀授權標章授權條款法律文字

OPEN
回頂部