第二章 模擬真實
第一節 模擬對象
虛擬真實是從科技工具以及藝術的角度,用立體動畫模擬真實人生,設計成為一種程式控制的環境。在這個環境中,不論人、物,都具有兩種性質,一為點線面所組成的虛擬實體,可經由繪圖程式,呈現其「色相」。另一性質為參數及資料組成的虛擬環境,在動態關係中,經由自然語言的闡釋,使之產生各種必然的因果變化。
舉例來説,人有必然的形象特徵,是為共性,而每個人又都有其不同的變化,可謂特徵。如果能由繪圖技巧中,分析出共性的基礎,再加上變化的因素,自然能形成各種不同的特徵。似此,將共性的基礎作為繪圖的資料,再以變化的特徵作為個人參數。只要畫一個共用的人形,再設計無數個具有不同特徵的個體,透過程式控制,就可以得到各式各樣虛擬的真實人物。
以上所言,除了形象特徵外,尚包括動作變化特徵。同理,人的習慣、心理、思想、行為都有其共性與特徵。既然靜態可以控制,變化若干靜態,加上時間參數,使成動態,此即為虛擬真實。
更進一步,虛擬的資料亦可為電腦程式所接收,根據分析的共性與特徵,程式很容易加以辨識。在理論上,人之所以能認識他人,絶不可能是對所有的細節加以記錄,而是基於已知(即共性),再與新增的分別性(即特徵)結合。
人經常會誤認別人,且各人所誤認的因素皆不相同。因各人所記憶的共性未必相同,雖不相同,仍無損於人的辨識能力。由此可知,只要能分析出一種共性與特徵的定義方式,就可以據之作圖,並且於逆向用程式達到辨識的雙重目的。
有了形象的繪製與辨識,就可以藉由程式的控制,予以調整變化,使之符合真實環境。同時,繪圖與辨識的雙向設計,正是未來產品需求與技術發展的主流。所以,虛擬真實不僅可以在當前為多媒體提供多種產品,進而兼顧未來走向,日新又新。
除了人物以外,更重要的是虛擬的真實環境。人生存在大自然中,一舉一動無不受到嚴格的限制,人們習以為常,絲毫沒有感覺自然規律的存在。既然要模擬真實,就必須瞭解真實,使之成為虛擬的一部分。而且還要能繼續發揮其真實的作用,務求虛擬真實與自然真實完全一致。
第一節 模擬對象
利用電腦繪圖工具,要想做到真實景象的重現,其工程的浩大不言可喻。然而,只要具備控制電腦的功力,就知道這是絶對可行、而且是唯一可行的方案。
這種模擬真實的技術,其成敗關鍵在於對應用的瞭解與認知,以及針對目的,事先做好完整而實際的規劃。
當前市面上有很多三維繪圖及應用軟體,但都只著眼於市場需要的表象,能夠畫些動態的卡通漫畫,就算不錯了。此外,為了嘩眾取寵,各式各樣的特效、變形等功能,反而成為訴求的重點,本末倒置,將立體繪圖降格成了玩具。
在我們的計劃中,虛擬真實的最終目的,是提供另類人生的舞台,使人略為排解生活中的困惑無奈。因此,真實的重要性遠大於虛擬與誇張。同時,基於人力物力及觀念,我們也僅能考慮當前的需要。
目前是以戲劇的攝製為目的,範圍有限,只要能滿足視覺、聽覺的需求,就足夠了。下面是我們第一階段的模擬對象:
甲、物理環境
利用物理公式,分別賦與虛擬的參數,在運作中模擬自然真實,使人物變化符合人們所認識的表象。
一、物質:
物質是人類感官接觸的本體,是以物質應該具備必然性質,在模擬狀況下,應該用電腦程式以及該物質所假設的性質參數,代表其性質。
三維模型是一種虛擬的結構,具有三維座標空間值。此三維座標建立在點、線、面上,使之在光源下,呈現表面著色的虛擬形像。
這種虛擬形像在接近真實的彩色效應下,再加上材質處理,絶對可以做到真假難辨,令人目迷五色,心馳神移。
二、力:
力是真實環境中各種變化的根源,「力」能做「功」,功才是我們日常生活中見到的各種現象。
在虛擬真實的設計立場,只要能控制「力」,在時空和物質的正常作用下,就可以得到「功」,也就是模擬的真實。
自然界的各種變化無非能量的相互作用,而人對能量作用的認識,不外是重力、電磁力、浮力、摩擦力、作用力、反作用力、合力、分力、應力、抗力、張力、凝聚力、附著力等。只要將這些力的公式與環境中預設的變化參數互動,再加上虛擬模型的座標值改變,在視訊上,就相當於力所做的功了。
利用F=MA,再賦與前述虛擬物質一定的質量。在程式控制下,虛擬的物質體之間,就會遵循自然力,形成一個與真實無差異的環境。
三、空間:
空間是能量運作的環境,其基本性質有位置、方向、距離,只要對這三者有明確的定義,就可以應用無礙。
物質佔有空間,在三維繪圖系統中,任意一點皆具xyz三個座標值。兩點連成一線,三線相連成一封閉形,稱之為面。在任一封閉面上,可以假定各種曲度,或在表面附加影像的材料。經過「著色」後,人所見為面上的光影,但卻不具實質,故名「虛擬」。
其實,只要再加一段程式,模擬空間的性質,令面與面間不能交錯,且遵循力學原理,如此一來,真假就難以分辨了。
四、時間:
時間只是一種測量速度及動態的參數,是在程式控制下的必然步驟,在此係指一種主、客觀之錯覺,令人分不清真實與虛擬的各種技巧。
從理論上説,人生最大的敵人就是時間。時間不夠,人會急燥不安,心慌意亂。
但若時間多了,人就不知何去何從,無聊煩愁,坐立難安。其基本原理在於感官對動態信息的依存性,也是戲劇張力所在。
換一個角度看,時間值的多少,時間變化的強度,事件發生的緊密度以及感受前後的比較性,正是影響人心的絶對因素。
戲劇就是調和時間之道,利用觀者多餘的時間,將之導入一個精密操控的時空領域中,免除觀者的痛苦煩惱和無聊。再若能在這段時間中,灌注一些值得思考的課題,令觀者回到真實人生後,仍能回味思索,則其價值更高。
從技術上來看,在真實世界中,時間是連續不可分的,事件也不可逆。但人卻能利用視覺暫留原理,在短時間中,提供若干連續的靜態畫面,形成一種擬真的假象。只要將這種假象精心設計,就可以利用時間,成為可逆的幻境。
對人而言,至少每秒鐘要看到十六格靜止的畫面,才能領略這種幻境。如果格數越多,畫面的精密度就越高。一般影片是每秒二十四格,而電腦的三維動畫則是每秒三十格。根據實驗,三十格已經到了視覺效應的邊際值,再多只是浪費貯存空間了。
五、運動:
在模擬狀況下,運動有主動及被動兩種。主動者有動力及動能,若係人,又有目的與動作、行為等變化參數。被動是一應物體在力所做的「功」之下,產生了運動的結果者。總之,運動因應物質的性質與力的作用而定,又涉及時間、空間,最後產生位移、慣性及速度,都有必然因果。
戲劇中的主體是人,而人的動作行為另有「生理模組」加以規範,在此不贅言。
六、物體:
物質構成物體,對人而言,物體才是接觸的對象。而物體有名稱、形狀、性質、數量、結構、功能等,皆應設定參數,以便應用。
原則上,物體都應事先設計在資料庫中,以便隨時取用。所謂的劇本,就是調用物體的藍圖,應該説明所需物體的各種條件,同時,這些條件也必須與資料庫的格式符合。
乙、身心環境
人因安全需求與感官特性,動態辨識恆為第一優先。連續性的動態,是為變化。其中又以新奇最能吸引人的注意力,這完全基於生命安全的考量。
在生理條件上,物質刺激的利害因果,直接導致需求或嗜好。然而人因受經驗行為的支配,自有其個別的主觀反應。
在設定角色的身心環境時,我們可以絶對掌控,也可以容許若干主觀的自由。不過人性因素是操控的基礎,也就是説,一些定律在人性環境中,具有決定性的地位,不容變更(如同萬有引力之於物埋環境,貪生怕死是人性的基礎)。
在此不擬討論人性(有興趣者請參考拙著《智慧學九論》人性論),但有必要概略介紹人性與環境的互動法則。雖然劇中人並不真正具有身體,其感受如何也不重要,可是在擬真環境中,為了使戲劇的發展流暢,一些限制的條件卻是不可或缺的要素。諸如各種生理、心理的條件,都要加以規範:
一、自私本性:
感官辨識刺激,心智決定利害,行為趨利避害,概念表達利害。
人因生理對利害的感知而有需求,如食、色等。
人因心理對利害的感知而有欲望,如財、氣等。
人因經驗而有壓迫解放、美麗醜惡、成敗得失等認知。
二、環境影響:
時代因素,地緣因素,文化因素,家庭因素等。
技術程度,觀念思維,處事能力,待人態度等。
刺激反應,學習認知,利害累積,行為極限等。
習慣行為,個性態度,服飾外表,生活趣味等。
三、感覺認知:
光影變化,邊緣效應,強弱對比,因果體用等。
感情因素,安危因素,辨識參考,概念應用等。
接觸距離,壓力變化,溫度訊息,動作種類等。
痛苦快樂,情緒態度,反應行為,判斷思維等。
四、條件接續:
基於人生的連續性,人的身心條件常來自前一段時間的環境變化。然因戲劇出自人的構思,連續的時間已被中斷,如果未能妥善處理,則將失真。
例如在上一場戲中,甲因事大發雷霆,下一場戲的情緒就應接續延伸。即令是真人演出,這種難度也非常高,只有優秀的演員能夠成功地詮釋。
是以在虛擬環境中,各場戲之間,有一「條件接續」的模組,詳細保留了環境因子的各種參數,以存其真。
丙、概念模組
人是戲劇的主角,如果劇中的角色不能真實地反映人性,將很難獲得觀者的共鳴。
唯因人性的探討屬於哲學範疇,是一個非常嚴肅的課題,不容任意扭曲。兼以戲劇是一種全面的溝通行為,更不應有所誤會。為了防止劇情發展過於離譜,必須借助文字概念的定義,略供程式判斷的參考。
舉例説,描述人的個性詞,是根據人的行為而得。同理,當任何人被賦與這類個性後,則可解釋其人某些行為的合理性。也就是説,在自然語言中,這些分類的概念所運用的資料結構,已經與人的相關行為連接成一個複雜的概念網絡。如此一來,在劇中具某種個性的人,必然會有某種必然的行為反應。自然語言模組即按照概念定義的規律,檢查其行為恰當與否。如:
良性:澹泊樸馴婉謙乖懇穆藹 活潑 淘氣 體貼 隨和
惡性:奸狡猾殘酷驕傲兇狠蠻悍淫佻苛刻暴戾 自私
率性:嚴肅耿率豪獷浮躁刁頑猖狂妄愎亢倔 固執 坦白
膽性:畏懼駭怕驚悸恐怖慌張怯懦奮勇敢
在劇本寫作時,首先要定義劇中人的身份、背景,特徵、個性。設若某人個性澹泊,在電腦理解模組中,其行為表現必然是消極的(假定正常人是中間值,消極者則為負值,消極程度則另有參數)。比如工作不認真,對名利無動於衷,不與他人爭執等,都屬澹泊者的特徵。對劇作者而言,有時基於疏忽,有時限於經驗,有可能安排了一種與其個性相反、極其積極的行為後果,諸如犯下不赦之罪等。
當然,這種情況也有可能,但卻絶非常態。理解模組對不合情理的情節,會要求劇作者解釋,務使劇作與真相契合。
不僅是人的個性,人類其他的認知無不如此,尤其在漢字結構上,不論根據字首分類或結構分類,都很容易找到人類認知形成的蛛絲馬跡。經過分析整理後,理解模組便具有擬人的認知能力。
環境的變化、各種情況的發展等,都有可能影響到人的認知。既然人能透過概念而認知事務,程式亦得利用概念的分析歸類,提供相關的意義,以為劇作者發展劇情時的理解判斷。諸如:
變化:變化破碎斷裂分解消溶綻脱鏽爛銷蝕 變之策
得失:得失賺賠勝敗贏輸虧損耗遺忘順逆 變之果
力態:威猛狂厲劇烈昌旺勃興盛熾絶衰竭盡 變之態
時態:久暫老少長幼新舊先後遲早晚耽徐緩 變之時
視線:彰顯現曝露蒙蔽遮蓋隱藏屏罩 出現 知之狀
地位:貧窮卑鄙賤富裕尊貴榮闊平凡 普通 人之狀
處事:警惕懈怠殷勤勞謹慎魯莽懶惰 草率 人之態度
才能:聰敏愚笨拙呆傻精湛平庸卓獃 糊塗 人之能力
度態:多少大小輕重快慢長短濃淡貴賤綽約 人之認知
感態:強弱好壞歹簡繁齊亂聚散優劣良窳佳 人之感知
判態:真假對錯誤艱難易詳陋巧妙妥適宜準 人之判知
容態:深淺光空虛鮮寡充實盈豐滿瀰漫擁擠 空間容態
視態:高低遠近龐闊廣恢宏洪弘博遼遙狹渺 空間視態
再以事件的發展規律而論,概念中凡是具備起始及終止,且其間有變化者,皆可歸納出一定的規律。中國人傳統的認知中,此規律可用二分法歸納之,再加上事件的交錯,若以正及負兩種相對因素,則有多樣變化,足供戲劇發揮:
這種規律是中華文化發展至今所得之精髓,劇作者若以之為指導思想,則於世道人心必有大益。然而這些絶不能視為僵化的公式,需要靈活應用。話説回來,僅以人生的素材而言,其變化已無窮無盡。
丁、形像造型
依形狀分類,每類統一規格,以供程式控制用。
生命體-左右對稱。有形體如:
人-頭、頸、胸、臂、手、腰、腹、腿、腳。
特徵:兩腳行走,身體直立,有語言、表情。
猿-較人多一尾,有體毛,無語言能力。
獸-特徵:四腳行走,身體水平,有尾。
鳥-特徵:兩腳,有翅,能飛。
蟲-特徵:六腳,或更多,體小。爬行,成蟲或能飛。
魚-特徵:無腳,有鰭,生活水中。
草-植物,矮小,有根葉花莖。
樹-植物,高大,有根葉花幹枝,輪生叢生對生等。
無生物-自然物-不對稱,亂數形,有引力特徵。如:山水石土等。
人造物-多對稱,幾何形,如:房屋,家具,用具等。
戊、生理模組
生理是「體」,機能是「用」,有體必有用。設計妥當後,悉由程式控制。其控制之法是以「漢字基因」之字義分類為根據,置於常識模組中。鍵盤或語音輸入時,由倉頡碼即可得知字義分類,立可啟動模組。
以人為例,有體如手,其用為「拿、取」,在漢字中,所有屬手部之字皆為手之「用」。手之用必以眼見者為「目標」,手之趨近目標有各種相關之動作,而動作之達成全靠判斷。此知體而用,由因得果之過程,即為「理解」。
又有體如腳,其用為「走、辵」。所有足部之字,皆為其用。足之用必有方向、位置、距離,其「因」為需求,其「果」則是位移、運動,運動必有力、速度。
身體尚有其他各部位,可如以上二例,一一據其聯結關係,動作方式,運動部位,著力位置,旋轉中心等等設計相關參數後,即可根據概念、參數隨意應用。
己、情緒表情
人類除了以代表認知性的語言概念相互溝通外,面部表情、手勢以及頭部動作等,亦屬個體情感溝通的一部份。
表情語言的應用,是戲劇表演生動與否的關鍵。而虛擬真實中最大的挑戰,就在從人的內心世界,模倣到顯現於外的行為動作,以及表情語言等。
由於中國傳統文化的規範,行為受到禮教嚴格的限制,再加上語言的主觀特性,以致情緒詞完全可以代表表情及動作。
情緒詞就是一種標準的表情語言,見詞知意,見意知形。在三維動畫中,若將情緒詞、圖形資料、動態控制三者結合,歸類建檔。不僅可作為辨識的依據,更可供作自然語言與戲劇製作之介面。如概念與動態參數之關係,在繪圖上都有定義。
現就肢體動作上,心態動機上以及肌肉控制三個項目,概略介紹如下:
以下情緒概念皆有三種定義,一是肌肉有鬆、緊,順、逆兩種。動作則有快、慢及激、緩程度之分。心態則有利、害,喜、惡與要、否之別。這些定義皆由程式判讀文字後執行之。
好感:寵愛好嗜賴戀憐憫恤惜恭
肌肉:鬆,順。動作:慢,緩。心態:利,喜,要。
惡感:厭惡憎嫌嫉妒恨忿憤怒慍
肌肉:緊,逆。動作:快,激。心態:害,惡,拒。
喜感:恬喜樂歡欣愉悅怡奮安慰
肌肉:不定。動作:快,不定。心態:利,喜,要。
悲感:怨愁憂哀戚悲悽慘悶鬱頹
肌肉:鬆,逆。動作:慢,緩。心態:害,不喜,拒絶。
愧感:懊惱悔恥愧慚憾疚羞惶窘
肌肉:緊,順。動作:慢,緩。心態:害,不喜,拒絶。
心感:慨忙閑安逸虔猶豫悵惘急
肌肉:無關。動作:視各字而定。心態:承襲過去狀況。
懷感:愐懷羨慕享希望冀盼願惦
肌肉:無關。動作:慢,緩。心態:利,喜,要。
庚、語音發聲
包括語音辨識及合成兩種技術,而兩者皆可利用模擬方式完成,下面略述語音與模擬的內容(以下子母音中小寫英文字母為漢語拚音符號):
辛、機構區別
自然類:有生物及無生物兩類,又各分為界門綱目科屬種等。
人造類:如工具,房屋,車船等。
兹以人為例,人體可見之機構概分兩類,一為關節,一為肌肉。
當文字輸入後,舉凡有此名稱之概念,將優先處理,在適合且正確的情況下(由概念模組檢視),程式便控制此區域,並按照動作、心態等條件參數,再配合動機、目的等,選擇適當的動作。
在物體的資料結構中,先將動態控制的點陣群或線面區域選定,命名後分類定義,並儲存在資料庫中,以供程式控制。控制時根據定義之內容,如表達性,材質性,物理性及機構性等處理。
如前述之情緒概念即為表達性,動作之程度決定於心態,心態則來自概念理解,表達卻賴肌肉運動完成。因此面部肌肉之定義區域至關緊要,不僅要正確,且需符合各種正常的面型。
變化方式依區域之機構定義而有別,皆由程式控制。區域選定後,針對目的方向,再檢查動力大小,以決定本區域的動作。
以人體為例,若是關節則用轉動,以設定之關節中心為軸,並計算應有之角度,再轉動之。
若係肌肉,其運動因表皮之牽扯,運動區呈級數向邊緣遞減。
不論是關節或肌肉運動,皆涉及表皮的變化,是以生物的機構性尚應檢查其外表的材質性。例如新生嬰兒之表皮材質設為1,各人以其年齡為度(善於保養之人,其參數除以一常數)。是以由程式可以計算出,表皮移動時表面的扭曲值,在著色後,即為皺紋。
壬、控制模組(凡涉及自然界物理現象者,皆由物理環境模組控制。)
一、基本運動模組
以選區之部位、位移、方向、速度等,各以適當之參數定義。
1,部位:任何一種運動的機構體,不論整體或局部,皆名之部位。部位為一整體者又稱「全部」,意謂此運動對所有部位皆有效。反之,當運動僅對局部有效時,此局部稱為「機構關係」。
2,位移:運動產生之功稱位移,舉凡位移必有相對的系統。以常識論,人生活在地球上,運動概以地球或地表為參考系統。若與地球無相對位移,則係旋轉,或簡諧運動等。
3,方向:在作用力下,運動方向經常指作用方向。在本模組中,兩眼的交點代表方向的重點。在文字定義中,以「前、目標」代表意識;「下」為自然現象;「上」為努力意識;「後」有負面價值;「中」代表交集、折衷、重點、全體等。
4,速度:在時間參數下,「快」代表能量大;「慢」則小;「緩」代表心態能接受;「急」指超過心理負荷之上限。
二、多層運動模組
以概念為索引,調用一個或多個基本運動模組。
如部首為「手」之動作,多為意識性行為,涉及視覺方向、身體位置、目標標的、對象特性等。
「足、辵、走」字旁,多為位移動作。涉及環境、位置、重心、方向、及阻礙等因素。
三、空間位置
以三維空間分配圖供程式偵測,以客觀、主觀立場關係取代視覺辨識過程。再由對劇情概念的理解分析,決定動作模組。
四、參數定義
與運動有關之動作參數,在概念表中分256級,應用時視實際需要取若干級次。此類參數供動作之速度、強度等控制用。
五、心理狀態
由環境變化條件、前後延續關係以及動作者的心態決定之,這三者皆為參數,而參數值相互影響,最後的影響值決定個體的心理狀況。
六、生理狀態
環境條件及的變化,功率效應作用於動作體,經過程式控制,驅動生理機構的運作,讓每個動作體的生理狀態自然發生。
七、表情説白
由人物個性及當前狀況決定,在製作過程中,應先配音(目前因語音合成尚未實現,仍需人為配音)。控制模組利用語音識別的軟體將發音時間定妥,著色時以前述的發音時間定格,再求出各格肌肉運動參數。
這種方法最適於多種語言的攝製,蓋只要備妥各種不同語音的配音腳本,就可以自動著色,而得到大同小異的成果。
第二章 模擬真實
第一節 模擬對象