電影《魔戒》里的咕嚕姆、《泰迪熊》里的毛絨熊、《阿凡達(dá)》里的部落公主……電影里那些經(jīng)典虛擬形象生動的表演總能深深打動觀眾，而它們被賦予生命的背后都源于一項(xiàng)重要的科技技術(shù)——動作捕捉。

動作捕捉（Motion capture），簡稱動捕（Mocap），是指記錄并處理人或其他物體動作的技術(shù)。多個攝影機(jī)捕捉真實(shí)演員的動作后，將這些動作還原并渲染至相應(yīng)的虛擬形象身上。這個過程的技術(shù)運(yùn)用即動作捕捉，英文表述為Motion Capture。

動作捕捉技術(shù)涉及尺寸測量、物理空間里物體的定位及方位測定等方面可以由計算機(jī)直接理解處理的數(shù)據(jù)。在運(yùn)動物體的關(guān)鍵部位設(shè)置跟蹤器，由Motion capture系統(tǒng)捕捉跟蹤器位置，再經(jīng)過計算機(jī)處理后得到三維空間坐標(biāo)的數(shù)據(jù)。當(dāng)數(shù)據(jù)被計算機(jī)識別后，可以應(yīng)用在動畫制作，步態(tài)分析，生物力學(xué)，人機(jī)工程等領(lǐng)域。

動作捕捉技術(shù)的背景

動作捕捉的起源普遍被認(rèn)為是費(fèi)舍爾（Fleischer）在1915年發(fā)明的影像描摹（rotoscope）。這是一個在動畫片制作中產(chǎn)生出的一種技術(shù)。藝術(shù)家通過精細(xì)的描繪播放給他們的真人錄影片段當(dāng)中的每一幀靜態(tài)畫面來模擬出動畫人物在虛擬世界中的具備真實(shí)感的表演。

這個過程本身是枯燥乏味的。但是對于這些動畫師來說，幸運(yùn)且具有紀(jì)念意義的是，1983年麻省理工學(xué)院（MIT）研發(fā)出了一套圖形牽線木偶。

這套系統(tǒng)使用了早期的光學(xué)動作捕捉系統(tǒng)，叫做“Op-Eye”，它依賴于一系列的發(fā)光二極管，通過制定動 作，來生成動畫腳本（Sturman,1999）。本質(zhì)上，這個牽線木偶充當(dāng)了套“動作捕捉服裝”。它自帶非常有限數(shù)量的感應(yīng)球,這些球能粗略的定位人體結(jié)構(gòu)的關(guān)鍵骨骼點(diǎn)的位置。

這套技術(shù)的產(chǎn)生，迅速的奠定了動作捕捉在之后迅速發(fā)展的基礎(chǔ)，為后續(xù)各種動作捕捉提供了追尋的方向，也了之后動作捕捉技術(shù)的風(fēng)潮，包括今天的動作捕捉技術(shù)在內(nèi)。

動作捕捉技術(shù)基本原理

動作捕捉系統(tǒng)是指用來實(shí)現(xiàn)動作捕捉的專業(yè)技術(shù)設(shè)備。不同的動作捕捉系統(tǒng)依照的原理不同，系統(tǒng)組成也不盡相同。

總體來講，動作捕捉系統(tǒng)通常由硬件和軟件兩大部分構(gòu)成。硬件一般包含信號發(fā)射與接收傳感器、信號傳輸設(shè)備以及數(shù)據(jù)處理設(shè)備等；軟件一般包含系統(tǒng)設(shè)置、空間定位定標(biāo)、運(yùn)動捕捉以及數(shù)據(jù)處理等功能模塊。

信號發(fā)射傳感器通常位于運(yùn)動物體的關(guān)鍵部位，例如人體的關(guān)節(jié)處，持續(xù)發(fā)出的信號由定位傳感器接收后，通過傳輸設(shè)備進(jìn)入數(shù)據(jù)處理工作站，在軟件中進(jìn)行運(yùn)動解算得到連貫的三維運(yùn)動數(shù)據(jù)，包括運(yùn)動目標(biāo)的三維空間坐標(biāo)、人體關(guān)節(jié)的6自由度運(yùn)動參數(shù)等，并生成三維骨骼動作數(shù)據(jù)，可用于驅(qū)動骨骼動畫，這就是動作捕捉系統(tǒng)普遍的工作流程。

運(yùn)動捕捉技術(shù)組成

傳感器

所謂傳感器是固定在運(yùn)動物體特定部位的跟蹤裝置，它將向 motion capture 系統(tǒng)提供運(yùn)動物體運(yùn)動的位置信息，一般會隨著捕捉的細(xì)致程度確定跟蹤器的數(shù)目。

信號捕捉設(shè)備

這種設(shè)備會因 motion capture 系統(tǒng)的類型不同而有所區(qū)別，它們負(fù)責(zé)位置信號的捕捉。對于機(jī)械系統(tǒng)來說是一塊捕捉電信號的線路板，對于光學(xué) motion capture 系統(tǒng)則是高分辨率紅外攝像機(jī)。

數(shù)據(jù)傳輸設(shè)備

motion capture 系統(tǒng)，特別是需要實(shí)時效果的 motion capture 系統(tǒng)需要將大量的運(yùn)動數(shù)據(jù)從信號捕捉設(shè)備快速準(zhǔn)確地傳輸?shù)接嬎銠C(jī)系統(tǒng)進(jìn)行處理，而數(shù)據(jù)傳輸設(shè)備就是用來完成此項(xiàng)工作的。

數(shù)據(jù)處理設(shè)備

經(jīng)過 motion capture 系統(tǒng)捕捉到的數(shù)據(jù)需要修正、處理后還要有三維模型向結(jié)合才能完成計算機(jī)動畫制作的工作，這就需要我們應(yīng)用數(shù)據(jù)處理軟件或硬件來完成此項(xiàng)工作。軟件也好硬件也罷它們都是借助計算機(jī)對數(shù)據(jù)高速的運(yùn)算能力來完成數(shù)據(jù)的處理，使三維模型真正、自然地運(yùn)動起來。劇中湯姆漢克斯穿著一套布滿150個感應(yīng)器的黑色緊身衣，這樣電腦就能把他的眼瞼、嘴唇、眉毛、乃至每個身體的表情和動作捕捉到。

動作捕捉技術(shù)的種類

動作捕捉系統(tǒng)種類較多，一般地按照技術(shù)原理可分為：機(jī)械式、聲學(xué)式、電磁式、慣性傳感器式、光學(xué)式等五大類，其中光學(xué)式根據(jù)目標(biāo)特征類型不同又可分為標(biāo)記點(diǎn)式光學(xué)和無標(biāo)記點(diǎn)式光學(xué)兩類。近期市場上出現(xiàn)所謂的熱能式動作捕捉系統(tǒng)，本質(zhì)上屬于無標(biāo)記點(diǎn)式光學(xué)動作捕捉范疇，只是光學(xué)成像傳感器主要工作在近紅外或紅外波段。

機(jī)械式動作捕捉系統(tǒng)依靠機(jī)械裝置來跟蹤和測量運(yùn)動軌跡。典型的系統(tǒng)由多個關(guān)節(jié)和剛性連桿組成，在可轉(zhuǎn)動的關(guān)節(jié)中裝有角度傳感器，可以測得關(guān)節(jié)轉(zhuǎn)動角度的變化情況。裝置運(yùn)動時，根據(jù)角度傳感器所測得的角度變化和連桿的長度，可以得出桿件末端點(diǎn)在空間中的位置和運(yùn)動軌跡。

這里產(chǎn)品的普遍優(yōu)點(diǎn)是成本低，精度高，采樣頻率高，但較大的缺點(diǎn)是動作表演不方便，連桿式結(jié)構(gòu)和傳感器線纜對表演者動作約束和限制很大，特別是連貫的運(yùn)動受到阻礙，難以實(shí)現(xiàn)真實(shí)的動態(tài)還原。

聲學(xué)式

聲學(xué)式動作捕捉系統(tǒng)一般由發(fā)送裝置、接收系統(tǒng)和處理系統(tǒng)組成。發(fā)送裝置一般是指超聲波發(fā)生器，接收系統(tǒng)一般由三個以上的超聲探頭陣列組成。通過測量聲波從一個發(fā)送裝置到傳感器的時間或者相位差，確定到接受傳感器的距離，由三個呈三角排列的接收傳感器得到的距離信息解算出超聲發(fā)生器到接收器的位置和方向。其較大優(yōu)點(diǎn)是成本低，但缺點(diǎn)是精度較差，實(shí)時性不高，受噪聲和多次反射等因素影響較大。

 電磁式

電磁式動作捕捉系統(tǒng)一般由發(fā)射源、接收傳感器和數(shù)據(jù)處理單元組成。發(fā)射源在空間產(chǎn)生按一定時空規(guī)律分布的電磁場；接收傳感器安置在表演者身體的關(guān)鍵位置，隨著表演者的動作在電磁場中運(yùn)動,接收傳感器將接收到的信號通過電纜或無線方式傳送給處理單元，根據(jù)這些信號可以解算出每個傳感器的空間位置和方向。

這類產(chǎn)品特點(diǎn)是使用簡單、魯棒性和實(shí)時性好，缺點(diǎn)是對金屬物體敏感，金屬物引起的電磁場畸變對精度影響大，采樣率較低，不利于快速動作的捕捉，線纜式的傳感器連接同樣對動作表演形成束縛和障礙，不利于復(fù)雜動作的表演。

慣性式

慣性傳感器式動作捕捉系統(tǒng)由姿態(tài)傳感器、信號接收器和數(shù)據(jù)處理系統(tǒng)組成。姿態(tài)傳感器固定于人體各主要肢體部位，通過藍(lán)牙等無線傳輸方式將姿態(tài)信號傳送至數(shù)據(jù)處理系統(tǒng)，進(jìn)行運(yùn)動解算。其中姿態(tài)傳感器集成了慣性傳感器、重力傳感器、磁感應(yīng)計等元素，得到各部分肢體的姿態(tài)信息，再結(jié)合骨骼的長度信息和骨骼層級連接關(guān)系，計算出關(guān)節(jié)點(diǎn)的空間位置信息。

這類產(chǎn)品主要的優(yōu)點(diǎn)是便攜性強(qiáng)，操作簡單，表演空間幾乎不受限制，便于進(jìn)行戶外使用，但由于技術(shù)原理的局限，缺點(diǎn)也比較明顯，一方面?zhèn)鞲衅鞅旧聿荒苓M(jìn)行空間絕對定位，通過各部分肢體姿態(tài)信息進(jìn)行積分運(yùn)算得到的空間位置信息造成不同程度的積分漂移，空間定位不準(zhǔn)確；另一方面原理本身基于單腳支撐和地面約束假設(shè)，系統(tǒng)無法進(jìn)行雙腳離地的運(yùn)動定位解算；此外，傳感器的自身重量以及線纜連接也會對動作表演形成一定的約束，并且設(shè)備成本隨捕捉對象數(shù)量的增加成倍增長，有些傳感器還會受周圍環(huán)境鐵磁體影響精度。

光學(xué)式

光學(xué)式動作捕捉系統(tǒng)基于計算機(jī)視覺原理，由多個高速相機(jī)從不同角度對目標(biāo)特征點(diǎn)的監(jiān)視和跟蹤來完成運(yùn)動捕捉的任務(wù)。理論上對于空間中的任意一個點(diǎn)，只要它能同時為兩部相機(jī)所見，就可以確定這一時刻該點(diǎn)在空間中的位置。當(dāng)相機(jī)以足夠高的速率連續(xù)拍攝時，從圖像序列中就可以得到該點(diǎn)的運(yùn)動軌跡。

這類系統(tǒng)采集傳感器通常都是光學(xué)相機(jī)，不同的是目標(biāo)傳感器類型不一，一種是在物體上不額外添加標(biāo)記，基于二維圖像特征或三維形狀特征提取的關(guān)節(jié)信息作為探測目標(biāo)，這類系統(tǒng)可統(tǒng)稱為無標(biāo)記點(diǎn)式光學(xué)動作捕捉系統(tǒng)，另一種是在物體上粘貼標(biāo)記點(diǎn)作為目標(biāo)傳感器，這類系統(tǒng)稱為標(biāo)記點(diǎn)式光學(xué)動作捕捉。

1、無標(biāo)記式光學(xué)

無標(biāo)記點(diǎn)式光學(xué)動作捕捉原理大致有三種：第一種是基于普通視頻圖像的運(yùn)動捕捉，通過二維圖像人形檢測提取關(guān)節(jié)點(diǎn)在二維圖像中的坐標(biāo)，再根據(jù)多相機(jī)視覺三維測量計算關(guān)節(jié)的三維空間坐標(biāo)。由于普通圖像信息冗雜，這種計算通常魯棒性較差，速度很慢，實(shí)時性不好，且關(guān)節(jié)缺乏定量信息參照，計算誤差較大，這類技術(shù)目前多處于實(shí)驗(yàn)室研究階段。

第二種是基于主動熱源照射分離前后景信息的紅外相機(jī)圖像的運(yùn)動捕捉，即所謂的熱能式動作捕捉，原理與種類似，只是經(jīng)過熱光源照射后，圖像前景和背景分離使得人形檢測速度大幅提升，提升了三維重建的魯棒性和計算速率，但熱源從固定方向照射，導(dǎo)致動作捕捉時人體運(yùn)動方向受限，難以進(jìn)行360度多方位的動作捕捉，例如轉(zhuǎn)身、俯仰等動作并不適用，且同樣無法突破因缺乏明確的關(guān)節(jié)參照信息導(dǎo)致計算誤差大的技術(shù)壁壘。

第三種是三維深度信息的運(yùn)動捕捉，系統(tǒng)基于結(jié)構(gòu)光編碼投射實(shí)時獲取視場內(nèi)物體的三維深度信息，根據(jù)三維形貌進(jìn)行人形檢測，提取關(guān)節(jié)運(yùn)動軌跡，這類技術(shù)的代表產(chǎn)品是微軟公司的kinect傳感器，其動作識別魯棒性較好，采樣速率高，價格非常低廉，有不少愛好者嘗試使用kinect進(jìn)行動作捕捉，效果并不盡如人意，這是因?yàn)閗inect的應(yīng)用定位是一款動作識別傳感器，而不是準(zhǔn)確捕捉，同樣存在關(guān)節(jié)位置計算誤差大，層級骨骼運(yùn)動累積變形等問題。

總體來講，無標(biāo)記點(diǎn)式動作捕捉普遍存在的問題是動作捕捉精度低，并且由于原理固有的局限導(dǎo)致運(yùn)動自由度解算缺失（如骨骼的自旋信息等）造成動作變形等問題。

2、標(biāo)記式光學(xué)
標(biāo)記點(diǎn)式光學(xué)動作捕捉系統(tǒng)一般由光學(xué)標(biāo)識點(diǎn)（Markers）、動作捕捉相機(jī)、信號傳輸設(shè)備以及數(shù)據(jù)處理工作站組成，人們常稱的光學(xué)式動作捕捉系統(tǒng)通常是指這類標(biāo)記點(diǎn)式動作捕捉系統(tǒng)。在運(yùn)動物體關(guān)鍵部位（如人體的關(guān)節(jié)處等）粘貼Marker點(diǎn)，多個動作捕捉相機(jī)從不同角度實(shí)時探測Marker點(diǎn)，數(shù)據(jù)實(shí)時傳輸至數(shù)據(jù)處理工作站，根據(jù)三角測量原理準(zhǔn)確計算Marker點(diǎn)的空間坐標(biāo)，再從生物運(yùn)動學(xué)原理出發(fā)解算出骨骼的6自由度運(yùn)動。

這里根據(jù)標(biāo)記點(diǎn)發(fā)光技術(shù)不同還分為主動式和被動式光學(xué)動作捕捉系統(tǒng)：

（1）主動式光學(xué)

主動式光學(xué)動作捕捉系統(tǒng)的Marker點(diǎn)由LED組成，LED粘貼于人體各個主要關(guān)節(jié)部位，LED之間通過線纜連接，由綁在人體表面的電源裝置供電。

其主要優(yōu)點(diǎn)是采用高亮LED作為光學(xué)標(biāo)識，可在一定程度上進(jìn)行室外動作捕捉，LED受脈沖信號控制明暗，以此對LED進(jìn)行時域編碼識別，識別魯棒性好，有較高的跟蹤準(zhǔn)確率；

（2）被動光學(xué)式

被動式光學(xué)動作捕捉系統(tǒng)，也稱反射式光學(xué)動作捕捉系統(tǒng)，其Marker點(diǎn)通常是一種高亮回歸式反光球，粘貼于人體各主要關(guān)節(jié)部位，由動作捕捉鏡頭上發(fā)出的LED照射光經(jīng)反光球反射至動捕相機(jī)，進(jìn)行Marker的檢測和空間定位。

該類動作捕捉以O(shè)ptitrack動作捕捉系統(tǒng)為代表，技術(shù)成熟，精度高、采樣率高、動作捕捉準(zhǔn)確，表演和使用靈活快捷，Marker點(diǎn)可以很低成本地隨意增加和布置，適用范圍很廣。且因其使用不可見反射光進(jìn)行識別，即便是在戶外環(huán)境下也可以很好的使用，適用場景并不局限在室內(nèi)穩(wěn)定光照環(huán)境。

動作捕捉技術(shù)主要應(yīng)用領(lǐng)域

動畫制作

將運(yùn)動捕捉技術(shù)用于動畫制作，可較大地提高動畫制作的水平。它較大地提高了動畫制作的效率，降低了成本，而且使動畫制作過程更為直觀，效果更為生動。

虛擬現(xiàn)實(shí)系統(tǒng)

為實(shí)現(xiàn)人與虛擬環(huán)境及系統(tǒng)的交互，需要確定參與者的頭部、手、身體等的位置與方向，準(zhǔn)確地跟蹤測量參與者的動作，將這些動作實(shí)時檢測出來，以便將這些數(shù)據(jù)反饋給顯示和控制系統(tǒng)。這些工作對虛擬現(xiàn)實(shí)系統(tǒng)是必不可少的，這也正是運(yùn)動捕捉技術(shù)的研究內(nèi)容。

機(jī)器人遙控

機(jī)器人將危險環(huán)境的信息傳送給控制者，控制者根據(jù)信息做出各種動作，運(yùn)動捕捉系統(tǒng)將動作捕捉下來，實(shí)時傳送給機(jī)器人并控制其完成同樣的動作。與傳統(tǒng)的遙控方式相比，這種系統(tǒng)可以實(shí)現(xiàn)更為直觀、細(xì)致、復(fù)雜、靈活而快速的動作控制，大大提高機(jī)器人應(yīng)付復(fù)雜情況的能力。在當(dāng)前機(jī)器人全自主控制尚未成熟的情況下，這一技術(shù)有著特別重要的意義。

互動式游戲

可利用運(yùn)動捕捉技術(shù)捕捉游戲者的各種動作，用以驅(qū)動游戲環(huán)境中角色的動作，給游戲者以一種全新的參與感受，加強(qiáng)游戲的真實(shí)感和互動性。

體育訓(xùn)練

運(yùn)動捕捉技術(shù)可以捕捉運(yùn)動員的動作，便于進(jìn)行量化分析，結(jié)合人體生理學(xué)、物理學(xué)原理，研究改進(jìn)的方法，使體育訓(xùn)練擺脫純粹的依靠經(jīng)驗(yàn)的狀態(tài)，進(jìn)入理論化、數(shù)字化的時代。還可以把成績差的運(yùn)動員的動作捕捉下來，將其與良好運(yùn)動員的動作進(jìn)行對比分析，從而幫助其訓(xùn)練。

另外，在人體工程學(xué)研究、模擬訓(xùn)練、生物力學(xué)研究等領(lǐng)域，動作捕捉技術(shù)同樣大有可為。可以預(yù)計，隨著技術(shù)本身的發(fā)展和相關(guān)應(yīng)用領(lǐng)域技術(shù)水平的提高，動作捕捉技術(shù)將會得到越來越廣泛的應(yīng)用。凌云作為國內(nèi)3D視覺解決方案提供商，愿為行業(yè)用戶提供更多、更較好的視覺器件整體解決方案，助力行業(yè)客戶勇攀行業(yè)高峰！