“克隆”一個自己去上班,微軟VR遠程會議機器人,還原動作口型眼神
編者按:本文來自微信公眾號“智東西”(ID:zhidxcom),作者:李水青,36氪經授權發(fā)布。
看點:真人“分身”實現遠程零距離開會!微軟最新研究:精準還原眼神、肢體甚至步伐。
智東西5月6日消息, 今天,微軟研究院推出了在線會議虛擬機器人系統(tǒng)VROOM,可以使參加遠程會議用戶的虛擬形象出現在辦公場所,并和在場同事進行實時交流互動。
許多人還記得《西游記》里的場景,當唐僧師徒四人遇到最難過的坎兒時,觀音菩薩的“化身”在最后關頭出現,為孫悟空指點迷津,說完后立馬消失不見?,F在,這種“神仙畫面”也呈現在了現實的遠程會議中。
微軟發(fā)布的VROOM虛擬機器人系統(tǒng)正是類似這種“神仙操作”。這款系統(tǒng)的實際體驗效果如何?背后有哪些黑科技,又是如何運作的?通過微軟研究院及西蒙·弗雷澤大學研究人員發(fā)布的論文以及相關體驗資料,我們也身臨現場體驗了一回。
“意念”化身去現場開會戴上VR頭顯設備,在家遠程辦公的用戶可以讓自己的“化身”去現場開會。
▲遠程辦公者所需設備簡單
不僅可以身臨其境地進入辦公室,還能夠讓辦公室里的同事看到自己“似魔鬼的步伐”。
▲辦公室在場者看到的畫面
當然,辦公室同事需要帶上AR頭顯設備。遠程工作者“化身”身邊的機器人的輔助,遠程工作者和辦公室在場工作者可以“在一個時空匯聚”,看到彼此并打招呼。
更神奇的是,遠程工作者和辦公室在場工作者能夠進行無縫的工作討論。對于遠程工作者來說,他能通過第一視角,看到工作白板上的文字,并與“眼前的”在場工作者進行討論。
對于在辦公室的在場工作者來說,他可以看到真實場景中疊加的同事形象,并與對方進行交互。雖然這種畫面有時候比例有些奇怪,但是可以看到交互還是很流暢的。
▲遠程工作者和在場工作者進行討論時,雙方的視角
怎么實現的?對于遠程工作者來說,他的手臂及手勢動作會被VR設備控制器記錄,從而呈現在“化身”身上。
同時,在VROOM系統(tǒng)作用下,他的臉會呈現在遠程“化身”的頭上,為了增強真實感,還增加了口型、眨眼等伴隨動作。
VROOM系統(tǒng)還為遠程工作者提供第一人稱視角,并且可以360°自由移動。遠程工作者可以和其它使用AR頭顯的人一樣,看到自己的手部動作和手勢。
對于在場工作者來說,他們可以通過微軟HoloLens AR頭顯,看到遠程用戶的真人大小的“化身”疊加在真實的辦公室場景中。
VROOM如何使得遠程工作者和辦公室現場的環(huán)境和員工互動起來呢?這需要遠程機器人的配合,拍攝下“化身”所在場景的情況。
遠程呈現機器人并不是新事物,它可以通過巡視周圍空間,為不在場的人呈現當場的畫面。但是此前,這種呈現是不聚焦的。比如,遠程參會者指著桌上的一個模型,讓在場工作者拿起來,并就此進行討論,這在之前難以實現。
▲通過VROOM,遠程工作者能與在場者進行專注的互動
VROOM則是一個探索如何提高機器人遠程呈現的社會體驗的雙向系統(tǒng)。
VROOM系統(tǒng)的作用在于,將本地(AR)和遠程(VR)用戶匯聚到一個時空“場”中,增強使用遠程呈現機器人的體驗。
▲VROOM運作模式:左圖為在場者場景,右圖為遠程工作者場景
由上圖可知,在本地空間內,在場工作者通過佩戴微軟HoloLens AR耳機,疊加遠程呈現機器人的作用,能夠看到遠程工作者的真人大小的“化身”以及手勢動作。
在遠程空間中,通過VROOM系統(tǒng),遠程工作者可以獲得遠程呈現機器人上面的攝像頭拍攝的圖像,通過VR頭顯設備,看到第一人稱視角的自主活動的場景。
VROOM已被美國計算機學會(ACM)的計算機系統(tǒng)人類因素會議(ACM CHI Conference on Human Factors in Computing System)接受發(fā)表。該會議原定于上周在夏威夷舉行,但由于新冠肺炎等原因被取消了。VROOM是其之前一項研究貢獻的續(xù)篇,2018年,ACM CHI上就出現了Mini-Me,正是一種將化身帶入會議中以進行混合現實會議和互動的方式。
▲微軟官網關于VROOM的論文
用VR/AR提高遠程機器人的交互體驗VROOM由西蒙·弗雷澤大學與微軟研究院的研究人員共同研發(fā),他們在論文中說:“為了讓虛擬機器人和VROOM的配合呈現更直觀,我們用了屏幕。但是其實在使用時,不需要屏幕,只需要帶著VR頭顯就可以了。未來,這一技術可能繼續(xù)迭代,能夠使用任何可驅動的帶有360°攝像功能的機器人?!?/p>
作者認為,VROOM技術非常適用于需要白板書寫、討論設計的會議,這使得與會者能夠和在場人一樣參與進來,提高效率。
除此之外,已經有研究者將遠程呈現機器人用于博物館、遠程學術會議、遠距離社交等領域,但主要關注遠程呈現體驗本身,而不是創(chuàng)造全新的機器人遠程呈現交互體驗。
目前,VROOM僅演示了一對一的交互。未來,VROOM可能會開發(fā)多對多的應用程序,讓人們在共享的混合現實工作空間中進行互動,或者與成本更低的移動機器人一起工作。
結語:遠程會議的升維探索疫情使得人們更加“非接觸式”交互,而VR/AR正是一項打破原本時空界限的技術。除了VROOM,上個月被引入VR Zoom會議的Space,上周HTC推出的Vive Sync應用都是探索。
技術的“魔力”可能遲到但不會缺席。在疫情的“社交隔離”前期,許多人疑惑為什么AR/VR技術沒有發(fā)揮營造“虛擬在場感”的優(yōu)勢,產生讓人眼前一亮的應用?,F在來看,一切都在進行當中。