來源：新浪微博

今年春晚周董帶來的《mojito》節目由于過于精致炫酷而被懷疑是直接播放錄好的MV。

春晚節目《mojito》

由于疫情原因，周董本人當時真的在臺北，而節目方又辟謠說這不是MV，是周董現場直播的節目，那到底是什么魔法讓周董空降到央視春晚的呢？

要講清這項技術，就不得不介紹一下VR、AR和MR技術了。

VR

(Virtual Reality)

VR技術大家應該并不陌生，各大商場常設有VR體驗館，VR游戲也是不少玩家的心頭好，斯皮爾伯格導演的《頭號玩家》正是基于一款虛構的VR游戲展開劇情的。

《頭號玩家》海報

VR技術全稱虛擬現實技術，它是基于計算機模擬出虛擬環境給人三維環境沉浸感。

來源：amazon

VR最簡單的構造便是：一個殼+兩個鏡片+一個顯示屏。通過透鏡的成像原理將小范圍的圖像視角“放大”，形成大范圍的虛像。

來源：zhihu

由于人的雙眼有視覺差異、變焦功能等等，再通過軟硬件結合，符合人體結構，優化圖像通過人眼傳遞到大腦的感受，然后你就可以得到一臺：

PlayStation VR headset

大家玩VR游戲的時候可能都會沉浸在炫酷的3D世界中，忘記現實，以致于你以為你玩VR游戲的樣子：

來源：youtube

而其他人看到你們的樣子：

來源：微博

來源：澎湃新聞

當然，VR的應用遠不止于此，它可以給學生身臨其境的教育場景，給技術人員模擬工作的體驗，在教育、科普、醫療、旅游等很多方面都有優勢。

AR

(Augmented Reality)

AR技術全稱增強現實技術，是一種實時地計算攝影機影像的三維位置并加上相應圖像的技術。簡單來說就是在現實的場景中再擴充疊加信息，讓真實世界與虛擬世界“無縫”集成。

來源：zhihu

AR是人工智能和人機交互的交叉學科，基礎技術包括計算機視覺（CV）、機器學習、多模態融合等。

累壞你家狗子的游戲《Pokemon Go》便是一個典型的AR游戲。

AR游戲 《Pokemon Go》

AR技術的應用相比較而言更廣泛也更親民，有一部智能手機便可以享受AR技術，比如手機里可以進行測量的app：

找不到方向時給你指路的實景導航：

如今的AR設備可以是頭戴式顯示器（如Google Glass）、移動設備（如智能手機和平板）等。隨著軟硬件的升級，未來AR技術將會變得更加智能。

來源: IPCS

MR

(Mixed Reality)

MR技術全稱是混合顯示技術，比較像VR+AR混合，一邊利用虛擬環境展示出更多的信息，一邊利用真實環境帶來更好的沉浸感。因此為了讓人有逼真的MR體驗，離不開強大的計算能力，所以目前只有少量產品展問世，比如Microsoft HoloLens。

Microsoft HoloLens

說完這些，我們迎來今天的主角——XR技術。

XR

(Extended Reality)

XR技術全名為拓展現實技術，x也有變量的意思，現實世界與虛擬世界通過這個技術巧妙地結合在一起。它的實現離不開上文提到的VR、AR、MR技術，通過這些強大的工具，創造出新的“現實”。

來源：zhihu

目前，XR技術最為人所熟知的應用便是智能舞臺與虛擬制作(Smart Stage & Virtual Production) 。各種炫酷的背景，植物的枝葉，處于另一個空間的人，動物通通都可以通過XR技術放置在表演者的周圍。

來源：AED Studios

你可以在北京的演播室拍攝身處4000多公里以外的珠穆朗瑪峰的場景，甚至還可以躺在38萬公里外的月球之上，只有你想不到，沒有XR技術做不到。

XR技術的強大之處還在于，表演者和攝影機可以在舞臺上自由移動。XR技術會讓虛擬世界永遠以正確的視角實時展示在觀眾的面前，以確保屏幕前都是邏輯正確的圖像。因此，在觀眾看來，表演者或者主持人似乎實時地身處虛擬世界。

英雄聯盟S10開幕式表演直播版

如何在舞臺上創造XR世界？

在傳統的影視制作中，要想將一個實物放入設想的虛擬世界，可以用綠幕摳像與影視后期制作來完成。但是這個過程需要前后期準備，缺乏時效性。隨著人們獲得新奇視覺體驗的需求量越來越高，我們開始尋問：如果想實時地獲得這些效果該怎么辦？

實際上，構成我們眼前屏幕上畫面的元素包括背景，真實物體以及前景 (即空間邏輯關系在真實物體之前的虛擬物體)。

來源：bilibili

除了實物以外的畫面，都是通過3D渲染引擎渲染完成的。想要在攝影機運動的情況下得到實時的反饋，虛擬內容就需要跟隨著攝影機的位置時刻變化。這就要求3D渲染引擎擁有強大的實時渲染能力，如Notch、UE4等等，它們能在有限的時間內渲染大量的視頻畫面以適應攝影機時刻變換的位置。

來源：google

如何讓虛擬畫面出現在真實物體周圍呢？

不難想到，投影機加投影屏幕的組合或者搭建LED屏幕可以實現大部分的背景顯示，只要合理地搭建這些顯示設備，我們就能在一個有限的空間內達到沉浸式的顯示效果。

來源：google

將渲染引擎實時渲染完成的符合攝影機拍攝時空間透視關系的畫面實時地映射到這些顯示器上，就能得到一個三維的虛擬空間，再將另一個實時渲染出來的前景疊加在這個拍攝信號之上，觀眾便可以看到更符合認知的前中后關系的畫面。

來源：AED Studios

攝像機的運動則是通過一套追蹤系統完成追蹤的，攝影機的位置又包括固定機位，搖臂或者云臺控制的機位，它們通過特定的協議傳輸攝像機所在的空間位置信息以及鏡頭的某些參數，以幫助渲染引擎理解攝像機的位置。

有了攝像機追蹤系統，實時渲染系統和LED或者投影構成的顯示系統，我們還需要一個虛擬制作系統進行收發，解包，修整，對齊等工作，將三者配合起來，以完成我們眼前的畫面。

來源：bilibili

這其實是一個工作量巨大的任務：在半秒之內，追蹤系統將攝影機的位置信息傳輸給虛擬制作系統，信息被解讀和翻譯之后傳輸給實時渲染引擎，引擎再將渲染完成的畫面傳送回去，虛擬制作系統將其投送到搭建好的屏幕上。

當然，在強大的追蹤系統、渲染引擎、媒體處理器之外，實時的數據傳輸也是不可或缺的一環。要想XR技術真正走進日常生活中，在超高通量的數據傳輸任務要求下，5G技術的發展也是至關重要的。

但其實現在XR技術只能服務于屏幕前的觀眾，在現場的觀眾只能看到2D的效果，如下圖所示。

LOL S10開幕式表演現場版 | 來源：B站用戶

XR技術的前景

正如前文所說，目前XR技術的確只能服務于屏幕前的觀眾，但想象一下將來每個人都能在眼前有一塊“屏幕”，XR技術或許真的能給每一個人的生活帶來不一樣的改變。

在現實世界中玩帶有特效的真人cs，或是全方位的沉浸式音頻體驗，隨時隨地體驗周董在你耳旁唱聽媽媽的話哄你入睡。。。

來源：google

在教育和醫療上，XR技術的前景也是廣闊的，未來，老師在上課時也許能實時地把學生們帶到課文中的情景之中；醫生在做一些復雜的手術之前，或許還能通過XR技術模擬手術操作，機器學習和人工智能則可以提供咨詢服務，以提高手術的成功率等。

讓我們一起期待XR給我們的生活帶來更多改變！

參考資料：

[1] “V”來已來——淺談光學VR實現原理

[2] 虛擬現實（VR）和增強現實（AR）背后的核心技術是什么？

[3] 一文看懂XR科技（擴展現實）——人類交互方式的終極形態零日情報局

[4] Extended Reality at AED Studios

[5] xR？虛擬制作？2020年最火爆的舞臺技術原理解析——hecoos虛擬制作系統

編輯：啵啵蟶&小林綠子

1. 2. 3. 4. 5. 6. 7. 8. 9. 10.