1. 什麼是「數據手套」
數據手套是虛擬模擬中最常用的交互工具。
數據手套設有彎曲感測器,彎曲感測器由柔性電路板、力敏元件、彈性封裝材料組成,通過導線連接至信號處理電路;在柔性電路板上設有至少兩根導線,以力敏材料包覆於柔性電路板大部,再在力敏材料上包覆一層彈性封裝材料,柔性電路板留一端在外,以導線與外電路連接。把人手姿態准確實時地傳遞給虛擬環境,而且能夠把與虛擬物體的接觸信息反饋給操作者。使操作者以更加直接,更加自然,更加有效的方式與虛擬世界進行交互,大大增強了互動性和沉浸感。並為操作者提供了一種通用、直接的人機交互方式,特別適用於需要多自由度手模型對虛擬物體進行復雜操作的虛擬現實系統。
數據手套通用種類:
5觸點數據手套主要是測量手指的彎曲(每個手指一個測量點)。
14觸點數據手套主要是測量手指的彎曲(每個手指兩個測量點)。
18個感測器觸覺數據手套
28個感測器觸覺數據手套
骨架式力反饋數據手套
數據手套本身不提供與空間位置相關的信息,必須與位置跟蹤設備連用。
2. 如何理解VR中的交互方式
1「動作捕捉」
用戶想要獲得完全的沉浸感,真正「進入」虛擬世界,動作捕捉系統是必須的。目前專門針對VR的動捕系統,目前市面上可參考的有 Perception
Neuron,其他的要麼是昂貴的商用級設備,要麼完全是霧件(意為在開發完成前就開始進行宣傳的產品,也許宣傳的產品根本就不會問世)。但是這樣的動作捕捉設備只會在特定的超重度的場景中使用,因為其有固有的易用性門檻,需要用戶花費比較長的時間穿戴和校準才能夠使用。相比之下,Kinect這樣的光學設備在某些對於精度要求不高的場景可能也會被應用。
全身動捕在很多場合並不是必須的,它的另一個問題,在於沒有反饋,用戶很難感覺到自己的操作是有效的,這也是交互設計的一大痛點。
2「觸覺反饋」
這里主要是按鈕和震動反饋,這就是下面要提到的一大類,虛擬現實手柄。目前三大VR頭顯廠商Oculus、索尼、HTC
Valve都不約而同的採用了虛擬現實手柄作為標準的交互模式:兩手分立的、6個自由度空間跟蹤的(3個轉動自由度3個平移自由度),帶按鈕和震動反饋的手柄。這樣的設備顯然是用來進行一些高度特化的游戲類應用的(以及輕度的消費應用),這也可以視作一種商業策略,因為VR頭顯的早期消費者應該基本是游戲玩家。
但是,這樣高度特化/簡化的交互設備的優勢顯然是能夠非常自如地在諸如游戲等應用中使用,但是它無法適應更加廣泛的應用場景。
3「眼球追蹤」
提起VR領域最重要的技術,眼球追蹤技術絕對值得被從業者們密切關注。Oculus創始人帕爾默?拉奇就曾稱其為「VR的心臟」,因為它對於人眼位置的檢測,能夠為當前所處視角提供最佳的3D效果,使VR頭顯呈現出的圖像更自然,延遲更小,這都能大大增加可玩性。同時,由於眼球追蹤技術可以獲知人眼的真實注視點,從而得到虛擬物體上視點位置的景深。所以,眼球追蹤技術被大部分VR從業者認為將成為解決虛擬現實頭盔眩暈病問題的一個重要技術突破。但是,盡管眾多公司都在研究眼球追蹤技術,但仍然沒有一家的解決方案令人滿意。
超多維SuperD公司圖形圖像演算法中心主管培雲認為,VR的眼球追蹤可利用類似tobii眼動儀的設備實現,但前提是解決設備的體積和功耗。事實上,在業內人看來,從眼球追蹤技術本身來說,雖然在VR上有一些限制,但可行性還是比較高的,比如外接電源、將VR的結構設計做的更大等。但更大的挑戰在與通過調整圖像來適應眼球的移動,這些圖像調整的演算法目前來說都是空白的。有兩個指標,一是圖像自然真實,二是快速延遲小。這對VR+眼球追蹤提出了更高的要求,如果達到這兩點,VR的可玩性會再提高一個檔次。
4「肌電模擬」
關於這個我們通過一個VR拳擊設備Impacto來說明,Impacto結合了觸覺反饋和肌肉電刺激精確模擬實際感覺。具體來說,Impacto設備分為兩部分。一部分是震動馬達,能產生震動感,這個在一般的游戲手柄中可以體驗到;另外一部分,也是最有意義的部分,是肌肉電刺激系統,通過電流刺激肌肉收縮運動。兩者的結合能夠給人們帶來一種錯覺,誤以為自己擊中了游戲中的對手,因為這個設備會在恰當的時候產生類似真正拳擊的「沖擊感」。
然而,業內人士對於這個項目有些爭議,目前的生物技術水平無法利用肌肉電刺激來高度模擬實際感覺。即使採用這種方式,以目前的技術能實現的也是比較粗糙的感覺,這種感覺對於追求沉浸感的VR也沒有太多用處,「還不如震動馬達」。還有一位從事疼痛緩解理療儀的朋友表示,利用肌肉電刺激來模擬真實感覺需要克服的問題有很多,因為神經通道是一個精巧而復雜的結構,從外部皮膚刺激是不太可能的,但是「隨便」電刺激一下讓肌肉運動以當做反饋是可以的。
5「手勢跟蹤」
使用手勢跟蹤作為交互可以分為兩種方式:第一種是使用光學跟蹤,比如Leap
Motion和NimbleVR這樣的深度感測器,第二種是將感測器戴在手上的數據手套。
光學跟蹤的優勢在於使用門檻低,場景靈活,用戶不需要在手上穿脫設備,未來在一體化移動VR頭顯上直接集成光學手部跟蹤用作移動場景的交互方式是一件很可行的事情。但是其缺點在於視場受局限,以及我們之前所提到的兩個基本問題:需要用戶付出腦力和體力才能實現的交互是不會成功的,使用手勢跟蹤會比較累而且不直觀,沒有反饋。這需要良好的交互設計才能彌補。
數據手套,一般在手套上集成了慣性感測器來跟蹤用戶的手指乃至整個手臂的運動。它的優勢在於沒有視場限制,而且完全可以在設備上集成反饋機制(比如震動,按鈕和觸摸)。它的缺陷在於使用門檻較高:用戶需要穿脫設備,而且作為一個外設其使用場景還是受局限:就好比說在很多移動場景中不太可能使用滑鼠。不過這些問題都沒有技術上的絕對門檻,完全可以想像類似於指環這樣的高度集成和簡化的數據手套在未來的VR產業中出現,用戶可以隨身攜帶隨時使用。
這兩種方式各有優劣,可以想見在未來這兩種手勢跟蹤在很長一段時間會並存,用戶在不同的場景(以及不同的偏好)使用不同的跟蹤方式。
6「方向追蹤」
方向追蹤除了可以用來瞄點,還可以用來控制用戶在VR中的前進方向。不過,如果用方向追蹤調整方向的話很可能會有轉不過去的情況,因為用戶不總是坐在能夠360度旋轉的轉椅上的,可能很多情況下都會空間受限。比如頭轉了90度接著再轉身體,加起來也很難轉過180度……所以,這里「空間受限無法轉身是一個需求」,於是交互設計師給出了解決方案——按下滑鼠右鍵則可以讓方向回到原始的正視方向或者叫做重置當前凝視的方向(就是你最初始時候面向的那個方向),或者可以通過搖桿調整方向,或按下按鈕回到初始位置。
但問題還是存在的,以用戶面朝的方向作為行走方向比起鍵鼠和gamepad,轉向和視覺相匹配極大地增強了沉浸感,但是卻有可能玩得很累,削弱了舒適性。
7「語音交互」
在VR中海量的信息淹沒了用戶,他不會理會視覺中心的指示文字,而是環顧四周不斷發現和探索。如果這時給出一些圖形上的指示還會干擾到他們在VR中的沉浸式體驗,所以最好的方法就是使用語音,和他們正在觀察的周遭世界互不幹擾。這時如果用戶和VR世界進行語音交互,會更加自然,而且它是無處不在無時不有的,用戶不需要移動頭部和尋找它們,在任何方位任何角落都能和他們交流。
8「感測器」
感測器能夠幫助人們與多維的VR信息環境進行自然地交互。比如,人們進入虛擬世界不僅僅是想坐在那裡,他們也希望能夠在虛擬世界中到處走走看看,比如萬向跑步機,目前Virtuix,Cyberith和國內的KAT都在研發這種產品。然而體驗過的人都反應過,這樣的跑步機實際上並不能夠提供接近於真實移動的感覺,目前體驗並不好。還有的想法是使用腳上的慣性感測器使用原地走代替前進,比如StompzVR。還比如全身VR套裝Teslasuit,戴上這套裝備,可以切身感覺到虛擬現實環境的變化,比如可感受到微風的吹佛,甚至是射擊游戲中還能感受到中彈的感覺。
這些都是由設備上的各種感測器產生的,比如智能感應環、溫度感測器、光敏感測器、壓力感測器、視覺感測器等,能夠通過脈沖電流讓皮膚產生相應的感覺,或是把游戲中觸覺、嗅覺等各種感知傳送到大腦。但是,目前已有的應用感測器的設備體驗度都不高,在技術上還需要做出很多突破。
9「一個真實場地」
就是造出一個與虛擬世界的牆壁、阻擋和邊界等完全一致的可自由移動的真實場地,比如超重度交互的虛擬現實主題公園The
Void就採用了這種途徑,它是一個混合現實型的體驗,把虛擬世界構建在物理世界之上,讓使用者能夠感覺到周圍的物體並使用真實的道具,比如手提燈、劍、槍等,中國媒體稱之為「地表最強娛樂設施」。
這種真實場地通過仔細的規劃關卡和場景設計就能夠給用戶帶來種種外設所不能帶來的良好體驗。但規模及投入較大,且只能適用於特定的虛擬場景,在場景應用的廣泛性上受限。
虛擬現實是一場交互方式的新革命,人們正在實現由界面到空間的交互方式變遷。未來多通道的交互將是VR時代的主流交互形態,目前,VR交互的輸入方式尚未統一,市面上的各種交互設備仍存在各自的不足。
業內專家表示,短期內VR發展仍靠技術紅利推動,交互技術將成關鍵。同時,在硬體性能趨同的背景下,交互技術將構成差異化競爭力。在產業鏈方面,「交互演算法是關鍵,下游應用空間廣」,整個輸入設備產業鏈主要由上游的元器件生產商(主要以感測器、晶元生產商為主),中游的輸入設備製造商、交互方案提供商組成,下游則以游戲、影視、主題公園及其他企業級應用為主。他們表示,未來感測器的供應問題將在國外廠商授權部分國內廠商生產等因素下得到部分解決,屆時具備領先自主演算法技術的交互解決方案提供商將日趨重要。