臺灣啟程,航向星海
作者
廖婉君簡介
廖婉君教授(IEEE Fellow)為國立台灣大學電機工程學系終身特聘教授及物聯網研究中心主任,其研究專長為5G/6G網路、多媒體通訊、區塊鏈技術及物聯網。
單位
國立台灣大學文章來源
IEEE ICCE-TW 2020 Special Session on AR/VR Technology for B5G-
標籤
-
分享文章
基於國際授權條款4.0,您可免費分享此篇文章
畫面渲染的效率是無線VR使用者沉浸式體驗的重要指標。然而,無線頭盔上的運算能力及電源上的限制,造成在頭盔上做渲染效率是不夠的;而若在雲端上渲染所引發的傳輸延遲,也將影響使用者服務體驗。5G行動邊緣運算(MEC)可提供無線高頻寬、低延遲傳輸,並將高運算能力帶進無線VR頭盔,以支援實時高運算需求的VR多人互動式體驗。本研究主要是進行邊緣渲染,在台大5G MEC平台上開發無線VR多人互動系統,同時展示兩位使用者同時在同一個虛擬空間互動的情境,並比較在5G MEC平台上做渲染(邊緣渲染)以及在使用者頭盔上做渲染(本地渲染) 的效能差異,特別是當使用者快速轉動頭盔更換視角時,配合5G高頻寬低延遲傳輸,邊緣渲染的效果明顯優於本地渲染,大大提升使用者的服務體驗。
虛擬實境讓使用者可以在虛擬環境中與虛擬物件或其他使用者互動。畫面渲染的效率會影響無線VR使用者的服務體驗品質(QoE),然而,因為無線VR頭盔的運算能力以及電力都有限,所以在無線VR頭盔上面做影像渲染是不夠的;但若在雲端上渲染所引發的傳輸延遲,也將降低使用者服務體驗。邊緣運算(edge computing)能將運算與儲存能力從雲端移到近用戶端的無線邊緣裝置上,因此VR畫面渲染可以有效地在邊緣運算伺服器上執行(邊緣渲染),再把渲染結果透過無線網路傳輸到無線VR頭盔上。然而,無線網路的狀況會影響影片傳送的效率進而影響VR使用者的體驗品質。因為5G/B5G有超可靠低延遲傳輸(URLLC)以及大頻寬(eMBB)的特性,所以5G/B5G與多存取邊緣運算(MEC)是無線VR能成功的重要關鍵。
圖一:台大智慧邊緣運算系統
在本計畫中,我們分享了在台大佈建智慧邊緣運算平台上提供無線VR串流應用服務的經驗,這個平台可以支援影像畫面邊緣渲染。台大5G多存取邊緣運算平台包含三個部分: 無線存取、多存取邊緣運算、以及5G核網,其中無線存取及多存取邊緣運算部分佈建在台大,而5G核網則是由中華電信所管理,如圖一所示。在無線存取部分,UE可以直接存取small cell或間接透過LTE CPE存取small cell。每個從UE送到small cell的封包都會被轉傳到多存取邊緣運算部分中的SDN switch,當SDN switch接收到來自UE的封包,SDN switch會先把封包再轉傳給MEC server,由MEC server來確認此封包是要送到內網的應用伺服器(application server)或是要透過專線送到5G核網。台大的應用伺服器可以提供任何型態的應用服務,在本研究中,此應用伺服器主要是展示提供無線VR多人互動遊戲應用服務。
台大智慧邊緣運算架構如圖二所示。此系統透過Kubernetes與KuberVirt來提供應用伺服器虛擬化,應用伺服器內的虛擬環境可以擴充或減少任何數量的VM或container。Kubernetes是一個開放原始碼的系統,其可用來動態部屬、管理container。KubeVirt則是Kubernetes的擴充版,可用來執行傳統的VM,讓VM可與container同步運行。VR多人互動遊戲是利用Unity來實作,Unity是一個實時3D遊戲發展平台,我們在其中一個VM上面安裝了Unity server,在其他VM上安裝了Unity client及VR engine。VR engine是透過AL-VR提供,其功能是將渲染好的視訊畫面串流傳輸到Oculus Quest頭盔上。假如我們的遊戲有兩個使用者,則我們需要兩台VM對應服務這兩個使用者。
圖二:台大智慧邊緣運算無線VR多人互動應用之系統架構
在此報告中,我們展示了兩個無線VR使用者在同一個實體空間內跳舞互動,他們也同時處在同一個虛擬空間內跳舞互動。圖三a及圖三b展示了由本地渲染以及邊緣渲染所產生出的效果,如果採用本地渲染,當使用者快速轉頭的時候會體驗到黑頻,這是因為無線頭盔上的運算資源不足而產生的延遲效果。但如果採用邊緣渲染,當使用者快速轉頭的時候,畫面仍然相當平滑細緻,也不會體驗到黑頻,且可使用的時間也更久,這就是透過5G 邊緣運算做渲染的好處。
此研究是科技部B5G專案中「B5G 虛擬實境智慧醫療照護計畫」的部分成果,除了設計並展示了在台大智慧邊緣運算架構上所開發的無線VR多人互動系統外,計畫團隊並與台北榮總醫院合作進行服務測試,提供病患利用無線VR多人互動系統進行如帕金斯症、阿茲罕默症等治療。此成果展示是我們針對5G/6G虛實整合創新應用所進行之智慧邊緣運算研究的第一步,其他進行中的研究還包括: 應用伺服器的虛擬資源管理、智慧運算分流、主動預測以及暫存VR封包、針對在不同位置上的使用者做視野同步、物件共享傳輸以及抗暈眩處理等,期望由後5G及邁向6G時代,提供多人互動虛實整合創新應用所需的核心技術。
圖三:無線VR多人互動系統之本地渲染及邊緣渲染的效能比較
延伸閱讀-科技部(科技大觀園)
訂閱電子報以獲得最新資訊
填寫連絡資訊以取得每月發行之電子報