你可能不止一次，見過你的朋友們分享下面這些看上去很“哇”的表演瞬間。
比如一整屏的像素點(diǎn)仰面摔下:
比如呼啦圈的旋轉(zhuǎn)引起地面波紋:
比如用手擊碎這些屏幕顆粒:
經(jīng)過多輪刷屏，尤其是2016年年初，這幫幻覺制造者們還跑來北京天橋演出了。到現(xiàn)在為止，應(yīng)該有不少人都了解這個(gè)團(tuán)隊(duì)--來自法國的AdrienM&ClaireB。
為什么要提到他們呢?
因?yàn)椋@個(gè)法國團(tuán)隊(duì)，基本上是我的“新媒體舞蹈”啟蒙老師。2015年年初，我不幸看到了他們火遍朋友圈的作品Pixel，驚嚇之余立刻跑去墻外找了更多更多的信息，然后……就停不下來了。
先來說說他們是怎么“啟蒙”我的
大家都知道，現(xiàn)在在舞臺(tái)上使用投影或LED屏實(shí)在是一件太稀松平常的事情了。隨之而來的是一個(gè)常被詬病的問題--投影和表演之間往往并沒有太多聯(lián)系，呈現(xiàn)出“兩張皮”的尷尬狀況。
為解決“高科技”投影和“傳統(tǒng)”表演之間的關(guān)聯(lián)問題，各種打著“全息”名義的投影層出不窮--它們創(chuàng)造了一種3D視覺效果，使曾經(jīng)在表演者“背后”的投影，現(xiàn)在起碼看上去好像是在“身邊”了。
看上去像是環(huán)繞在演員身邊的紗幕投影效果
不過，大多數(shù)貼著“全息”標(biāo)簽的表演其實(shí)就是紗幕加投影，和真正的“全息”技術(shù)壓根沒啥關(guān)系。但是，至少前進(jìn)了一步。
Adrien M & Claire B當(dāng)然也這么做了。但這并不是我被“啟蒙”的原因。
就像舞臺(tái)上使用投影一樣稀松平常--當(dāng)使用投影時(shí)，演員與投影的視覺配合演出也同樣數(shù)不甚數(shù)。這一類表演精打細(xì)算地卡好時(shí)間節(jié)點(diǎn)，反復(fù)排練一個(gè)一個(gè)的Cue點(diǎn)，總能表演得像真的一樣，引來層出不窮的“哇”。
但是面對(duì)這種情況，我實(shí)在“哇”不出來。
明明沒有互動(dòng)機(jī)制，卻要裝得像有互動(dòng)。設(shè)計(jì)得再精細(xì)，時(shí)間點(diǎn)卡得再好，也還是假的。并且，隨著時(shí)間的發(fā)展，這個(gè)偽裝套路充其量越做越精致，但卻沒可能有質(zhì)的update。實(shí)在是太沒勁兒了。
所以，Adrien M & Claire B給我注入的第一個(gè)想法就是--他們有些細(xì)節(jié)，看上去不像是裝的啊!好像是真的，有交互!
咦，怎么做到的?!
他們?nèi)绾巫龅阶罨A(chǔ)的“不裝”?
我們且把一個(gè)基本的交互系統(tǒng)簡化為如下三個(gè)部分。
舞臺(tái)上也是這個(gè)道理。演員的動(dòng)作就是輸入，對(duì)動(dòng)作輸入進(jìn)行信號(hào)采集，由計(jì)算機(jī)進(jìn)行處理，最終通過屏幕或投影儀進(jìn)行輸出顯示。
那些“假”互動(dòng)的表演，就是沒有對(duì)演員的動(dòng)作進(jìn)行真正的“輸入”。因此，整個(gè)互動(dòng)機(jī)制就不成立--一旦演員慢半拍，或者位置跑偏，這個(gè)“造假”表演基本上就砸了。
后期“PS”上去的配合效果
那么，如何對(duì)演員的動(dòng)作進(jìn)行“真正”的輸入呢?
想要對(duì)動(dòng)作進(jìn)行真實(shí)的輸入，就需要用到動(dòng)作捕捉/追蹤技術(shù)。下面這個(gè)同樣來自Adrien M的小demo，使用了手部動(dòng)捕利器Leap Motion，來進(jìn)行實(shí)時(shí)的動(dòng)作交互。
也許不如“PS”效果炫，但“真實(shí)”的交互有不可思議的魅力
真實(shí)的動(dòng)作輸入:盤點(diǎn)常用的動(dòng)捕技術(shù)
有哪些常用方式，可以用來對(duì)演員的動(dòng)作進(jìn)行真實(shí)的“輸入”呢?
1.傳統(tǒng)光學(xué)動(dòng)作捕捉系統(tǒng)
最常用的是基于Marker(馬克點(diǎn))的光學(xué)動(dòng)作捕捉。在演員身上粘貼能夠反射紅外光的馬克點(diǎn)，通過攝像頭對(duì)反光馬克點(diǎn)的追蹤，來對(duì)演員的動(dòng)作進(jìn)行捕捉。有時(shí)也會(huì)通過演員身穿反射紅外光的緊身衣來完成。
來自光學(xué)動(dòng)捕大佬Vicon公司官網(wǎng)的宣傳圖
身上的小白點(diǎn)就是Marker，Truss架上是攝像頭
這種方式對(duì)動(dòng)作的捕捉精度高，但環(huán)境要求也高，并且還超級(jí)貴，屬于好萊塢大片拍攝利器之一。不過，如果只是自己想搗騰玩玩，不僅用不起，而且一般還用不好。
*代表產(chǎn)品:Vicon Motion System / Motion Analysis System
2.慣性動(dòng)作捕捉系統(tǒng)
這一類主要是基于IMU(慣性測量單元)來完成對(duì)人體動(dòng)作的捕捉。把集成了加速度計(jì)，陀螺儀和磁力計(jì)的IMU綁在人體的特定骨骼節(jié)點(diǎn)上，通過算法對(duì)測量數(shù)值進(jìn)行計(jì)算，從而完成動(dòng)作捕捉。
聽起來好像有點(diǎn)兒難懂，但其實(shí)我們每個(gè)人每天都會(huì)接觸--我們的智能手機(jī)里都內(nèi)置了IMU。這就是為什么當(dāng)你把手機(jī)橫屏?xí)r，正在播放的視頻也會(huì)跟著橫過來。
來自國內(nèi)慣性動(dòng)作捕捉公司Noitom的動(dòng)捕案例
綁在演員身上的小紅塊就是IMU，一共需要綁17個(gè)
傳統(tǒng)光學(xué)動(dòng)捕來說，這種慣性動(dòng)作捕捉方案相對(duì)價(jià)格低廉，適合小型工作室或預(yù)算不太高的團(tuán)隊(duì)完成動(dòng)作捕捉。
*代表產(chǎn)品:XSENS / Noitom
3.基于計(jì)算機(jī)視覺的動(dòng)作捕捉
前兩種常用的動(dòng)作捕捉方式都已經(jīng)有很長的發(fā)展歷史了，但這種基于計(jì)算機(jī)視覺的動(dòng)作捕捉卻是近些年才興起的。不過，對(duì)于藝術(shù)創(chuàng)作和表演來說，這種方式因其簡單、易用、低價(jià)，目前使用的頻率可以說是最高的。
這種捕捉方式主要是通過采集及計(jì)算深度信息來完成對(duì)動(dòng)作的捕捉。
比如，前文所提到，Adrien M做的手部交互小demo就是使用了以這類方式進(jìn)行手部動(dòng)作捕捉的產(chǎn)品Leap Motion。
Adrien M使用Leap Motion作為手部動(dòng)作輸入端
Leap Motion官方操作指南，非常簡易，插上即用
Leap Motion只能捕捉手部動(dòng)作，應(yīng)用范圍相對(duì)窄一點(diǎn)。畢竟除了“手舞”，我們還需要“足蹈”。因此，另外一個(gè)能捕捉身體動(dòng)作的產(chǎn)品Kinect，基本上遍布各種需要交互的創(chuàng)作場景。
使用Kinect進(jìn)行實(shí)時(shí)交互，可以與另一個(gè)形態(tài)的自己互動(dòng)
尤其是那些出現(xiàn)在商場、影院、劇場里的可交互裝置，如果你湊上前去看一眼，里面多半藏著一個(gè)Kinect。
*代表產(chǎn)品:Kinect/Leap Motion
不那么好的“真”，和看上去很好的“假”
當(dāng)然，我的“啟蒙老師”AdrienM&ClaireB也并非每一次都用了“真”交互。
在現(xiàn)階段，令絕大部分看客在第一時(shí)間感到激動(dòng)也不一定是“真”交互。就像神秘的AR(增強(qiáng)現(xiàn)實(shí))產(chǎn)品Magic Leap最廣為人知的，不就是那個(gè)鯨魚躍出地面的特效“假”視頻么。
Magic Leap早期宣傳視頻中最“激動(dòng)人心”的一幕
然而，和人們的期待不太一樣，新技術(shù)在發(fā)展的早期，往往是笨拙的。但是，卻是極具啟發(fā)的。這種啟發(fā)，主要發(fā)生在觀念的轉(zhuǎn)化和思考的路徑上。
因此，只有真的--真正的動(dòng)作輸入，才有那么一點(diǎn)可能帶來創(chuàng)作方式、展演形式和思考路徑上的革新。
即使它第一眼看上去可能會(huì)麻煩、難用或不那么友好，但所能帶來的變革，是一萬個(gè)“假”互動(dòng)加起來也沒辦法做到的。
