歡迎注冊會員! 注冊  |  登錄  加入收藏

tsgg.gif

當前位置:首頁 > 行業資訊 > 產業信息 >
如何運用Isadora進行舞臺表演中交互媒體設計與創作
時間:2019-04-12 08:16:11   來源:中國演藝科技網   作者:張敬平

1 引言

21世紀以來,數字媒體技術發展日新月異,影響著人們的生活方式,并滲透到更廣泛的領域。伴隨舞臺上新形態的人機融合表演,改變了存在體驗,激勵很多跨界藝術家與科技人員研究人類與新技術之間日益深化的融合,創作表演者與各種裝置互動的作品。這其中不乏劇場舞臺上的交互設計應用,如投影與表演的交互視覺設計、交互裝置與表演交互的實驗藝術形式等。

舞臺表演中的交互設計著重建立與表演者的關系或互動,與表演藝術結合,形成新的戲劇與展演形式、觀演關系、感官經驗,可以創造更多的表現可能性和更大的創作空間。

由于交互設計與表演越來越被重視,用于交互媒體設計的創作工具應運而生,百花齊放。目前,被廣泛使用的交互多媒體設計與創作工具有Touchdesgner,VVVV,Max/Msp/Jitter,Quartz Composer和Isadora(伊莎多拉)等,這些軟件各有特點和優勢,各自相對適用不同的應用場合。

筆者針對舞臺表演領域,探討藝術家或設計師如何進行交互媒體設計與創作。相對而言,舞臺表演領域的藝術家或設計師們的藝術形象思維能力要優于邏輯思維能力;另外,舞臺藝術作品常常有場景和Cue點的概念,為了故事的敘事的要求,整個作品需要設計成若干個場景,根據敘事的需要,切換場景,需要設計與編寫Cue點,實現舞臺表演時表演者、舞臺燈光和影像內容等的同步。根據在舞臺藝術領域中多年的交互媒體設計的教學與創作經驗,筆者認為,Isadora是一個適用于舞臺表演中交互設計與創作的軟件工具,將視頻和交互媒體添加到演出項目中,滿足藝術家的創作需求。

2 Isadora特性

Isadora的創始人Mark Coniglio,是一位媒體藝術家、作曲家和程序員,被公認為現場表演和互動數字技術整合的先驅。他和編舞家Dawn Stoppiello于1994年創立了一家德國公司Troika Ranch,創作的作品都是將舞蹈、音樂和戲劇的傳統元素與交互數字媒體融合在一起,旨在探索藝術本體天然的刺激與電子刺激的內在聯系,嘗試通過表演者的運動交互控制視頻、聲音、燈光或投影等,并在舞臺上表現出來。Troika Ranch公司的藝術家們利用軟件工具為作品構建視覺和聽覺材料,為表演者在演出中提供新的表達手段,創作舞蹈、戲劇和新媒體的混合表演。


Isadora就是由Troika Ranch設計出來的,是供藝術家/設計師/表演者在表演項目中添加視頻和互動媒體的創作工具。 該軟件結合媒體服務器的交互式媒體播放平臺,具有強大的實時視頻和音頻處理功能;可視化的編程環境,用戶界面友好且易于學習;開放硬件接口,提供完善的輸出能力;實時創建令人驚嘆的視聽仿真效果。

2.1基于場景的設計理念

Isadora與其他交互視覺藝術軟件不同,基于場景(Scence)的結構,貼近舞蹈表演或戲劇演出時按Cue點邏輯展開的思維模式,實現場景(Scence)間跳轉非常容易,而且有淡入淡出(Fade In/Fade Out)以及CrossFade功能。

以圖1 所示的演出項目為例, 包括5 個場景(Scene),分別為“Black”“Greenraw”“ChromeKey”“Feedback”和“Particles”,對應演出播放時5個Cue,分別為“Q1” “Q2” “Q3” “Q4”和“Q5”(見圖1)。

圖1 Isadora的場景設置

場景(Scene)的刪除、復制、插入以及命名等操作非常方便,選中當前Scene(選中的Scene背景為藍色),點擊右鍵,即可顯示相應的彈出菜單,選擇操作,也可以使用對應的快捷鍵操作,如圖2所示。

圖2 Isadora的場景操作

演出播放時,不同場景間的Q點跳轉也非常容易實現,Isadora提供了“Jump”、“Jump to cue”和“Jump++”3個Actor(Isadora的官方文檔將每一個功能節點模塊稱之為Actor,演員),實現不同場景間的跳轉。通過設置其trigger參數進行跳轉觸發,設置jump參數設置跳轉目標,還可設置fade參數實現場景間的淡入淡出效果。如圖3所示。

圖3 實現Isadora場景跳轉

2.2直觀可視化的創作流程

Isadora擁有直觀友好的用戶界面?;诠濣c的編程提供了深度定制,也可以拖放目標對象(視頻或圖片)進行快速原型設計,多個功能節點間通過連線就可完成各節點功能的組合實現特定的功能;節點的輸入輸出數據都可以隨時直觀地察看,將鼠標懸停在視頻的連接線上,即可看到視頻的輸出圖像效果,給使用者呈現所見即所得的視覺效果。

(1)用戶只需要簡單將視頻(或圖片)拖入到編輯窗口,即完成播放視頻的原型設計。軟件將自動建立“Movie Player”和“Projector”兩個Actor,并鏈接好了兩個Actor(“Movie Player”的輸出端口video out鏈接到“Projector”的輸入端口video),同時視頻處在播放狀態,可以通過舞臺(Stage1)預覽,如圖4所示。

圖4 播放視頻的原型

(2)在上述基礎上,用戶可以根據創作的需要,在兩個節點之間加入視頻效果處理節點,可以采用節點串聯的方式實現視頻效果迭代。比如,在兩節點間先后加入動感模糊(“Motion Blur”)Actor和反射鏡像(“Reflector”)Actor,如圖5所示,其結果是“MoviePlayer”Actor播放輸出的原視頻經過“Motion Blur”Actor進行動感模糊處理,可以修改accum amt和decay amt兩個參數實現不同的動感模糊效果;然后“Motion Blur”Actor處理的模糊圖像輸出給“Reflector”Actor,進行視頻的反射鏡像效果處理,可以修改mode、src和dest 3個參數改變反射的模式和相對距離,實現不同的效果。當鼠標停留在某個Actor輸出的連接線上,即可顯示該Actor的視頻處理結果,圖6、圖7、圖8依次是將鼠標停留在“Movie Player”、“Motion Blur”和“Reflector”三個Actor的輸出段video out后面的連接線上顯示的結果。

圖5 迭代動感模糊和反射鏡像的特效

圖6 鼠標懸停Movie Player輸出的顯示效果

圖7 鼠標懸停Motion Blur輸出的顯示效果

圖8 鼠標懸停Reflector輸出顯示的效果

2.3交互實時的視頻處理

Isadora具有強大的實時視頻處理能力,視頻圖層合成理論上是無限的;很多視頻特效節點是基于GPU(圖形處理器)的快速視頻效果處理與渲染(如上述圖中節點的輸入或輸出參數中帶有vid-gpu,表示該節點的視頻處理是采用和支持GPU處理),同時還支持FreeFrameGL;并提供GPU處理的HAP視頻解碼器的支持。這些強大的視頻處理能力,通過豐富的視頻效果(Video Effects)功能節點來體現,滿足使用者的可視化藝術創作需要。Isadora提供了很多Video Effect Actor,如圖9所示,除了功能節點串聯實現視覺特效多次迭代之外,還可以通過“Multimix”類似的Actor實現多效果圖層疊加與混合。

圖9 與幽靈共舞的藝術效果

以圖9項目為例,從原始視頻播放“Movie Player”到舞臺輸出“Projector”,一共有兩條視頻處理鏈路。其中,上面一條鏈路,原始視頻通過動感模糊“Motion Blur”、反射鏡像“Reflector”、對比度調整“Contrast Adjust”、顏色效果處理“HSL Adjust”和“Colorizer”5個視頻效果Actor處理并迭代后,實現了兩個鏡像的藍色幽靈似的的藝術效果,并將結果輸入到多視頻混合Actor“MultiMix”的video in1;下面一條鏈路在本示例中,是直接將“Movie Player”播放結果輸出都“MultiMix”的video in2;最后,由“MultiMix”實現2條鏈路視頻圖層的疊加,輸出到“Projector”。

另外,Isadora 3增加了一個功能節點“Get Stage Image”,允許使用者將圖像從任何Stage輸出內容拉回到Isadora程序中并使用它,這為路由和合成提供了更多的可能性,實現了反饋循環(Feedback),為創作者創造了更大的創意空間,可以實現無限的疊加效果。其實,在以前的版本中,也可以巧妙地利用“Syphon Stage Output”和“Syphon Receiver”兩個Actor配合使用該功能(之所以說巧妙利用,是因為Syphon的功能,原本是用于程序間視頻幀共享的,后面會再次提及)。如圖10所示,在圖9所示的程序基礎上,添加一個“Syphon Stage Output”Actor,將“Projector”Actor輸出內容通過Syphon輸出(注意:“Projector”和“Syphon Stage Output”兩個Actor的stage參數的值相同,都為1,即stage1);再添加一個“Syphon Reciever”Actor,并將其server參數選為“stage-1:::Isadora USB”,這樣“Projector”Actor輸出的內容又通過Syphon反饋回來,再在其后添加“Shimmer” Actor實現發微光的效果,輸出到“MultiMix”Actor視頻圖層疊加,再通過“Projector”輸出。從而實現了輸入到輸出再到輸入的無限迭代的藝術效果。

圖10 實現Feedback無限迭代效果

Isadora還具有強大的Live Video處理能力。Isadora 2支持同時從4個設備中捕獲Live Video,并進行實時處理,其處理方式與上述的播放視頻文件一樣。支持常見的視頻捕捉卡,如外置的Blackmagic視頻采集卡,可以方便鏈接攝像機進行視頻捕獲(如圖11所示)。在Isadora 3中,Live Video處理的能力更大,可以同時支持8個實時捕獲視頻的通道。

圖11 視頻捕捉設置

另外,Isadora還提供了“GLSL Shader”Actor,通過OpenGl Shader(GLSL)語言編輯實現強大的圖像處理能力。

2.4輸出顯示能力

從Isadora 2開始,集成了投影映射(Mapping)工具,可以進行任意形狀的視頻輸出投影映射,也可以實現多屏邊緣融合。Isadora 3最多可以有48個舞臺(Stage)和16個獨立的視頻投影儀或顯示器的輸出,在舞臺布局編輯器里,可以創建視頻,進行簡單地圖像渲染后輸出到單個顯示器,也可以做拼接與邊緣融合(如圖12所示)投射至多個顯示器。

圖12 Isadora舞臺輸出編輯界面(圖片摘自Isadora官網)

Isadora還集成了Syphon(Mac OS環境下)和Spout(Windows環境下)的視頻幀流共享技術,將Isadora渲染結果共享給其他程序,也可以接受其他程序采用同樣技術分享的視頻幀流。如上圖12中底部Syphon復選框所示,可以勾選該復選框,通過Syphon或Spout從任何舞臺(沒有邊緣融合)或任何單獨的顯示(帶邊緣融合)發送視頻。此外,使用舞臺布局編輯(Stage Layout Editor)上的Syphon的復選框和彈出窗口將舞臺或顯示器上的任何內容發送到任何Blackmagic設備或通過NDI協議共享遠程網絡或設備;實現與其他軟件的整合,完成更復雜更強大的舞臺藝術創作任務。

2.5開放易用的擴展能力

Isadora具有很強大的擴展能力,支持常見的Open Sound Control(OSC)、MIDI、串行(Serial)、TCP/IP和Human Interface Device(HID)等數據通信協議,而且集成到面板中。為了降低使用者獲取數據的門檻,還集成了自動檢測輸入(Auto-Detect Input)與數據分析的功能,使用者只需要驅動并簡單設置硬件,采用自動檢測輸入的方式,即可快速獲得數據;并且屏蔽了很多獲取數據的實現細節以及采用不同通信協議數據格式不同等因素。

如圖13、圖14所示,該界面顯示Isadora通過自動檢測OSC數據的輸入,獲取Kinect捕獲到的人的骨骼15個關鍵點的三維坐標數據。Isadora獲取Kinect數據之后,可以點擊“Renumbers Ports”即可自動分配通道(Chan)編號,如圖14所示,使用者可以在編輯窗口中通過“OSCMulti Listener”Actor讀取到相對應的數值。

圖13 Kinect人體骨骼識別

圖14 自動檢測Kinect獲取的人骨骼數據

Isadora 3硬件集成度更高,進一步簡化了上述相關操作,集成了高級的身體跟蹤功能,即將開源的NiTE人體跟蹤模塊嵌入,直接支持從Kinect 1、Kinect 2、Orbbec Astra和Intel Realsense攝像機讀取深度圖圖像(與這4個硬件對應4個不同的攝像機Actor),這些硬件對應的Actor可與NiTE Body Tracking Actor配對。使用時,只需將如圖15所示的4個Actor中的一個連接到NiTE Actor,就可以獲得15點身體跟蹤(如圖13所示)信息,以靈活的方式來選擇輸出其中出現的點的坐標等相關信息,可以利用表演者的深度(灰度)圖像作為Mask實現一些特殊的視覺效果(如圖15所示),同時可以利用跟蹤人體骨骼的3維坐標信息,實現表演者與數字內容間非常有趣的互動藝術效果。

圖15 表演者的深度圖像(摘自Isadora官網)

除此之外,Isadora支持開源硬件,使用者通過串口,實現與開源硬件微控制器(Arduino)的通信,聯通各種設備,構建一個交互的表演舞臺。

3 結語

從Isadora使用流程看,集成度高,用戶界面友好,創作者的使用技術門檻低。最后引用一位使用Isadora的舞臺藝術家的感言來概括說明,Isadora是在舞臺表演領域中適合藝術家使用的交互媒體設計與創作的利器。

贏得了2012年的格蕾絲王妃獎( the Princess Grace Award )的杰瑞德(Jared Mezzocchi),在馬里蘭大學(University of Maryland)MFA設計系講授《投影設計》課程時強調使用Isadora進行設計與創作實踐:“Isadora讓你以靈活和自然的方式思考視頻設計,是一個很好的模式。Isadora不是躲在電腦后面,感覺他們只是在修補代碼,而是讓設計師的眼睛遠離顯示器,更多地關注舞臺。 這種設計就像在某種空間中自然地存在和流暢地移動,因此戲劇創作中的每個人都能感受到一種共享的體驗。”


選自《演藝科技》2019年第3期 張敬平《運用Isadora進行舞臺表演中交互媒體設計與創作》,轉載請標注:演藝科技傳媒。更多詳細內容請參閱《演藝科技》。

上一篇: 科技助力 文化為本——旅游演藝迎來發展新...
下一篇: 優秀的舞美設計評價標準?首先看對舞臺空間...

版權所有 北京《演藝科技》雜志社

網站運作 北京中演藝科文化傳媒有限公司

電話: 010-64097040

京ICP證150470號 京公網安備11010102001494號

十一运夺金实战技巧1胆n拖妙投任选3