電影《魔戒》里的咕嚕姆、《泰迪熊》里的毛絨熊、《阿凡達》里的部落公主……電影里那些經(jīng)典虛擬形象生動(dòng)的表演總能深深打動(dòng)觀(guān)眾，而它們被賦予生命的背后都源于一項重要的科技技術(shù)——動(dòng)作捕捉。

動(dòng)作捕捉（Motion capture），簡(jiǎn)稱(chēng)動(dòng)捕（Mocap），是指記錄并處理人或其他物體動(dòng)作的技術(shù)。多個(gè)攝影機捕捉真實(shí)演員的動(dòng)作后，將這些動(dòng)作還原并渲染至相應的虛擬形象身上。這個(gè)過(guò)程的技術(shù)運用即動(dòng)作捕捉，英文表述為Motion Capture。

動(dòng)作捕捉技術(shù)涉及尺寸測量、物理空間里物體的定位及方位測定等方面可以由計算機直接理解處理的數據。在運動(dòng)物體的關(guān)鍵部位設置跟蹤器，由Motion capture系統捕捉跟蹤器位置，再經(jīng)過(guò)計算機處理后得到三維空間坐標的數據。當數據被計算機識別后，可以應用在動(dòng)畫(huà)制作，步態(tài)分析，生物力學(xué)，人機工程等領(lǐng)域。

動(dòng)作捕捉技術(shù)的背景

動(dòng)作捕捉的起源普遍被認為是費舍爾（Fleischer）在1915年發(fā)明的影像描?。╮otoscope）。這是一個(gè)在動(dòng)畫(huà)片制作中產(chǎn)生出的一種技術(shù)。藝術(shù)家通過(guò)精細的描繪播放給他們的真人錄影片段當中的每一幀靜態(tài)畫(huà)面來(lái)模擬出動(dòng)畫(huà)人物在虛擬世界中的具備真實(shí)感的表演。

這個(gè)過(guò)程本身是枯燥乏味的。但是對于這些動(dòng)畫(huà)師來(lái)說(shuō)，幸運且具有紀念意義的是，1983年麻省理工學(xué)院（MIT）研發(fā)出了一套圖形牽線(xiàn)木偶。

這套系統使用了早期的光學(xué)動(dòng)作捕捉系統，叫做“Op-Eye”，它依賴(lài)于一系列的發(fā)光二極管，通過(guò)制定動(dòng) 作，來(lái)生成動(dòng)畫(huà)腳本（Sturman,1999）。本質(zhì)上，這個(gè)牽線(xiàn)木偶充當了套“動(dòng)作捕捉服裝”。它自帶非常有限數量的感應球,這些球能粗略的定位人體結構的關(guān)鍵骨骼點(diǎn)的位置。

這套技術(shù)的產(chǎn)生，迅速的奠定了動(dòng)作捕捉在之后迅速發(fā)展的基礎，為后續各種動(dòng)作捕捉提供了追尋的方向，也了之后動(dòng)作捕捉技術(shù)的風(fēng)潮，包括今天的動(dòng)作捕捉技術(shù)在內。

動(dòng)作捕捉技術(shù)基本原理

動(dòng)作捕捉系統是指用來(lái)實(shí)現動(dòng)作捕捉的專(zhuān)業(yè)技術(shù)設備。不同的動(dòng)作捕捉系統依照的原理不同，系統組成也不盡相同。

總體來(lái)講，動(dòng)作捕捉系統通常由硬件和軟件兩大部分構成。硬件一般包含信號發(fā)射與接收傳感器、信號傳輸設備以及數據處理設備等；軟件一般包含系統設置、空間定位定標、運動(dòng)捕捉以及數據處理等功能模塊。

信號發(fā)射傳感器通常位于運動(dòng)物體的關(guān)鍵部位，例如人體的關(guān)節處，持續發(fā)出的信號由定位傳感器接收后，通過(guò)傳輸設備進(jìn)入數據處理工作站，在軟件中進(jìn)行運動(dòng)解算得到連貫的三維運動(dòng)數據，包括運動(dòng)目標的三維空間坐標、人體關(guān)節的6自由度運動(dòng)參數等，并生成三維骨骼動(dòng)作數據，可用于驅動(dòng)骨骼動(dòng)畫(huà)，這就是動(dòng)作捕捉系統普遍的工作流程。

運動(dòng)捕捉技術(shù)組成

傳感器

所謂傳感器是固定在運動(dòng)物體特定部位的跟蹤裝置，它將向 motion capture 系統提供運動(dòng)物體運動(dòng)的位置信息，一般會(huì )隨著(zhù)捕捉的細致程度確定跟蹤器的數目。

信號捕捉設備

這種設備會(huì )因 motion capture 系統的類(lèi)型不同而有所區別，它們負責位置信號的捕捉。對于機械系統來(lái)說(shuō)是一塊捕捉電信號的線(xiàn)路板，對于光學(xué) motion capture 系統則是高分辨率紅外攝像機。

數據傳輸設備

motion capture 系統，特別是需要實(shí)時(shí)效果的 motion capture 系統需要將大量的運動(dòng)數據從信號捕捉設備快速準確地傳輸到計算機系統進(jìn)行處理，而數據傳輸設備就是用來(lái)完成此項工作的。

數據處理設備

經(jīng)過(guò) motion capture 系統捕捉到的數據需要修正、處理后還要有三維模型向結合才能完成計算機動(dòng)畫(huà)制作的工作，這就需要我們應用數據處理軟件或硬件來(lái)完成此項工作。軟件也好硬件也罷它們都是借助計算機對數據高速的運算能力來(lái)完成數據的處理，使三維模型真正、自然地運動(dòng)起來(lái)。劇中湯姆漢克斯穿著(zhù)一套布滿(mǎn)150個(gè)感應器的黑色緊身衣，這樣電腦就能把他的眼瞼、嘴唇、眉毛、乃至每個(gè)身體的表情和動(dòng)作捕捉到。

動(dòng)作捕捉技術(shù)的種類(lèi)

動(dòng)作捕捉系統種類(lèi)較多，一般地按照技術(shù)原理可分為：機械式、聲學(xué)式、電磁式、慣性傳感器式、光學(xué)式等五大類(lèi)，其中光學(xué)式根據目標特征類(lèi)型不同又可分為標記點(diǎn)式光學(xué)和無(wú)標記點(diǎn)式光學(xué)兩類(lèi)。近期市場(chǎng)上出現所謂的熱能式動(dòng)作捕捉系統，本質(zhì)上屬于無(wú)標記點(diǎn)式光學(xué)動(dòng)作捕捉范疇，只是光學(xué)成像傳感器主要工作在近紅外或紅外波段。

機械式動(dòng)作捕捉系統依靠機械裝置來(lái)跟蹤和測量運動(dòng)軌跡。典型的系統由多個(gè)關(guān)節和剛性連桿組成，在可轉動(dòng)的關(guān)節中裝有角度傳感器，可以測得關(guān)節轉動(dòng)角度的變化情況。裝置運動(dòng)時(shí)，根據角度傳感器所測得的角度變化和連桿的長(cháng)度，可以得出桿件末端點(diǎn)在空間中的位置和運動(dòng)軌跡。

這里產(chǎn)品的普遍優(yōu)點(diǎn)是成本低，精度高，采樣頻率高，但較大的缺點(diǎn)是動(dòng)作表演不方便，連桿式結構和傳感器線(xiàn)纜對表演者動(dòng)作約束和限制很大，特別是連貫的運動(dòng)受到阻礙，難以實(shí)現真實(shí)的動(dòng)態(tài)還原。

聲學(xué)式

聲學(xué)式動(dòng)作捕捉系統一般由發(fā)送裝置、接收系統和處理系統組成。發(fā)送裝置一般是指超聲波發(fā)生器，接收系統一般由三個(gè)以上的超聲探頭陣列組成。通過(guò)測量聲波從一個(gè)發(fā)送裝置到傳感器的時(shí)間或者相位差，確定到接受傳感器的距離，由三個(gè)呈三角排列的接收傳感器得到的距離信息解算出超聲發(fā)生器到接收器的位置和方向。其較大優(yōu)點(diǎn)是成本低，但缺點(diǎn)是精度較差，實(shí)時(shí)性不高，受噪聲和多次反射等因素影響較大。

 電磁式

電磁式動(dòng)作捕捉系統一般由發(fā)射源、接收傳感器和數據處理單元組成。發(fā)射源在空間產(chǎn)生按一定時(shí)空規律分布的電磁場(chǎng)；接收傳感器安置在表演者身體的關(guān)鍵位置，隨著(zhù)表演者的動(dòng)作在電磁場(chǎng)中運動(dòng),接收傳感器將接收到的信號通過(guò)電纜或無(wú)線(xiàn)方式傳送給處理單元，根據這些信號可以解算出每個(gè)傳感器的空間位置和方向。

這類(lèi)產(chǎn)品特點(diǎn)是使用簡(jiǎn)單、魯棒性和實(shí)時(shí)性好，缺點(diǎn)是對金屬物體敏感，金屬物引起的電磁場(chǎng)畸變對精度影響大，采樣率較低，不利于快速動(dòng)作的捕捉，線(xiàn)纜式的傳感器連接同樣對動(dòng)作表演形成束縛和障礙，不利于復雜動(dòng)作的表演。

慣性式

慣性傳感器式動(dòng)作捕捉系統由姿態(tài)傳感器、信號接收器和數據處理系統組成。姿態(tài)傳感器固定于人體各主要肢體部位，通過(guò)藍牙等無(wú)線(xiàn)傳輸方式將姿態(tài)信號傳送至數據處理系統，進(jìn)行運動(dòng)解算。其中姿態(tài)傳感器集成了慣性傳感器、重力傳感器、磁感應計等元素，得到各部分肢體的姿態(tài)信息，再結合骨骼的長(cháng)度信息和骨骼層級連接關(guān)系，計算出關(guān)節點(diǎn)的空間位置信息。

這類(lèi)產(chǎn)品主要的優(yōu)點(diǎn)是便攜性強，操作簡(jiǎn)單，表演空間幾乎不受限制，便于進(jìn)行戶(hù)外使用，但由于技術(shù)原理的局限，缺點(diǎn)也比較明顯，一方面傳感器本身不能進(jìn)行空間絕對定位，通過(guò)各部分肢體姿態(tài)信息進(jìn)行積分運算得到的空間位置信息造成不同程度的積分漂移，空間定位不準確；另一方面原理本身基于單腳支撐和地面約束假設，系統無(wú)法進(jìn)行雙腳離地的運動(dòng)定位解算；此外，傳感器的自身重量以及線(xiàn)纜連接也會(huì )對動(dòng)作表演形成一定的約束，并且設備成本隨捕捉對象數量的增加成倍增長(cháng)，有些傳感器還會(huì )受周?chē)h(huán)境鐵磁體影響精度。

光學(xué)式

光學(xué)式動(dòng)作捕捉系統基于計算機視覺(jué)原理，由多個(gè)高速相機從不同角度對目標特征點(diǎn)的監視和跟蹤來(lái)完成運動(dòng)捕捉的任務(wù)。理論上對于空間中的任意一個(gè)點(diǎn)，只要它能同時(shí)為兩部相機所見(jiàn)，就可以確定這一時(shí)刻該點(diǎn)在空間中的位置。當相機以足夠高的速率連續拍攝時(shí)，從圖像序列中就可以得到該點(diǎn)的運動(dòng)軌跡。

這類(lèi)系統采集傳感器通常都是光學(xué)相機，不同的是目標傳感器類(lèi)型不一，一種是在物體上不額外添加標記，基于二維圖像特征或三維形狀特征提取的關(guān)節信息作為探測目標，這類(lèi)系統可統稱(chēng)為無(wú)標記點(diǎn)式光學(xué)動(dòng)作捕捉系統，另一種是在物體上粘貼標記點(diǎn)作為目標傳感器，這類(lèi)系統稱(chēng)為標記點(diǎn)式光學(xué)動(dòng)作捕捉。

1、無(wú)標記式光學(xué)

無(wú)標記點(diǎn)式光學(xué)動(dòng)作捕捉原理大致有三種：第一種是基于普通視頻圖像的運動(dòng)捕捉，通過(guò)二維圖像人形檢測提取關(guān)節點(diǎn)在二維圖像中的坐標，再根據多相機視覺(jué)三維測量計算關(guān)節的三維空間坐標。由于普通圖像信息冗雜，這種計算通常魯棒性較差，速度很慢，實(shí)時(shí)性不好，且關(guān)節缺乏定量信息參照，計算誤差較大，這類(lèi)技術(shù)目前多處于實(shí)驗室研究階段。

第二種是基于主動(dòng)熱源照射分離前后景信息的紅外相機圖像的運動(dòng)捕捉，即所謂的熱能式動(dòng)作捕捉，原理與種類(lèi)似，只是經(jīng)過(guò)熱光源照射后，圖像前景和背景分離使得人形檢測速度大幅提升，提升了三維重建的魯棒性和計算速率，但熱源從固定方向照射，導致動(dòng)作捕捉時(shí)人體運動(dòng)方向受限，難以進(jìn)行360度多方位的動(dòng)作捕捉，例如轉身、俯仰等動(dòng)作并不適用，且同樣無(wú)法突破因缺乏明確的關(guān)節參照信息導致計算誤差大的技術(shù)壁壘。

第三種是三維深度信息的運動(dòng)捕捉，系統基于結構光編碼投射實(shí)時(shí)獲取視場(chǎng)內物體的三維深度信息，根據三維形貌進(jìn)行人形檢測，提取關(guān)節運動(dòng)軌跡，這類(lèi)技術(shù)的代表產(chǎn)品是微軟公司的kinect傳感器，其動(dòng)作識別魯棒性較好，采樣速率高，價(jià)格非常低廉，有不少愛(ài)好者嘗試使用kinect進(jìn)行動(dòng)作捕捉，效果并不盡如人意，這是因為kinect的應用定位是一款動(dòng)作識別傳感器，而不是準確捕捉，同樣存在關(guān)節位置計算誤差大，層級骨骼運動(dòng)累積變形等問(wèn)題。

總體來(lái)講，無(wú)標記點(diǎn)式動(dòng)作捕捉普遍存在的問(wèn)題是動(dòng)作捕捉精度低，并且由于原理固有的局限導致運動(dòng)自由度解算缺失（如骨骼的自旋信息等）造成動(dòng)作變形等問(wèn)題。

2、標記式光學(xué)
標記點(diǎn)式光學(xué)動(dòng)作捕捉系統一般由光學(xué)標識點(diǎn)（Markers）、動(dòng)作捕捉相機、信號傳輸設備以及數據處理工作站組成，人們常稱(chēng)的光學(xué)式動(dòng)作捕捉系統通常是指這類(lèi)標記點(diǎn)式動(dòng)作捕捉系統。在運動(dòng)物體關(guān)鍵部位（如人體的關(guān)節處等）粘貼Marker點(diǎn)，多個(gè)動(dòng)作捕捉相機從不同角度實(shí)時(shí)探測Marker點(diǎn)，數據實(shí)時(shí)傳輸至數據處理工作站，根據三角測量原理準確計算Marker點(diǎn)的空間坐標，再從生物運動(dòng)學(xué)原理出發(fā)解算出骨骼的6自由度運動(dòng)。

這里根據標記點(diǎn)發(fā)光技術(shù)不同還分為主動(dòng)式和被動(dòng)式光學(xué)動(dòng)作捕捉系統：

（1）主動(dòng)式光學(xué)

主動(dòng)式光學(xué)動(dòng)作捕捉系統的Marker點(diǎn)由LED組成，LED粘貼于人體各個(gè)主要關(guān)節部位，LED之間通過(guò)線(xiàn)纜連接，由綁在人體表面的電源裝置供電。

其主要優(yōu)點(diǎn)是采用高亮LED作為光學(xué)標識，可在一定程度上進(jìn)行室外動(dòng)作捕捉，LED受脈沖信號控制明暗，以此對LED進(jìn)行時(shí)域編碼識別，識別魯棒性好，有較高的跟蹤準確率；

（2）被動(dòng)光學(xué)式

被動(dòng)式光學(xué)動(dòng)作捕捉系統，也稱(chēng)反射式光學(xué)動(dòng)作捕捉系統，其Marker點(diǎn)通常是一種高亮回歸式反光球，粘貼于人體各主要關(guān)節部位，由動(dòng)作捕捉鏡頭上發(fā)出的LED照射光經(jīng)反光球反射至動(dòng)捕相機，進(jìn)行Marker的檢測和空間定位。

該類(lèi)動(dòng)作捕捉以Optitrack動(dòng)作捕捉系統為代表，技術(shù)成熟，精度高、采樣率高、動(dòng)作捕捉準確，表演和使用靈活快捷，Marker點(diǎn)可以很低成本地隨意增加和布置，適用范圍很廣。且因其使用不可見(jiàn)反射光進(jìn)行識別，即便是在戶(hù)外環(huán)境下也可以很好的使用，適用場(chǎng)景并不局限在室內穩定光照環(huán)境。

動(dòng)作捕捉技術(shù)主要應用領(lǐng)域

動(dòng)畫(huà)制作

將運動(dòng)捕捉技術(shù)用于動(dòng)畫(huà)制作，可較大地提高動(dòng)畫(huà)制作的水平。它較大地提高了動(dòng)畫(huà)制作的效率，降低了成本，而且使動(dòng)畫(huà)制作過(guò)程更為直觀(guān)，效果更為生動(dòng)。

虛擬現實(shí)系統

為實(shí)現人與虛擬環(huán)境及系統的交互，需要確定參與者的頭部、手、身體等的位置與方向，準確地跟蹤測量參與者的動(dòng)作，將這些動(dòng)作實(shí)時(shí)檢測出來(lái)，以便將這些數據反饋給顯示和控制系統。這些工作對虛擬現實(shí)系統是必不可少的，這也正是運動(dòng)捕捉技術(shù)的研究?jì)热荨?/p>

機器人遙控

機器人將危險環(huán)境的信息傳送給控制者，控制者根據信息做出各種動(dòng)作，運動(dòng)捕捉系統將動(dòng)作捕捉下來(lái)，實(shí)時(shí)傳送給機器人并控制其完成同樣的動(dòng)作。與傳統的遙控方式相比，這種系統可以實(shí)現更為直觀(guān)、細致、復雜、靈活而快速的動(dòng)作控制，大大提高機器人應付復雜情況的能力。在當前機器人全自主控制尚未成熟的情況下，這一技術(shù)有著(zhù)特別重要的意義。

互動(dòng)式游戲

可利用運動(dòng)捕捉技術(shù)捕捉游戲者的各種動(dòng)作，用以驅動(dòng)游戲環(huán)境中角色的動(dòng)作，給游戲者以一種全新的參與感受，加強游戲的真實(shí)感和互動(dòng)性。

體育訓練

運動(dòng)捕捉技術(shù)可以捕捉運動(dòng)員的動(dòng)作，便于進(jìn)行量化分析，結合人體生理學(xué)、物理學(xué)原理，研究改進(jìn)的方法，使體育訓練擺脫純粹的依靠經(jīng)驗的狀態(tài)，進(jìn)入理論化、數字化的時(shí)代。還可以把成績(jì)差的運動(dòng)員的動(dòng)作捕捉下來(lái)，將其與良好運動(dòng)員的動(dòng)作進(jìn)行對比分析，從而幫助其訓練。

另外，在人體工程學(xué)研究、模擬訓練、生物力學(xué)研究等領(lǐng)域，動(dòng)作捕捉技術(shù)同樣大有可為?？梢灶A計，隨著(zhù)技術(shù)本身的發(fā)展和相關(guān)應用領(lǐng)域技術(shù)水平的提高，動(dòng)作捕捉技術(shù)將會(huì )得到越來(lái)越廣泛的應用。凌云作為國內3D視覺(jué)解決方案提供商，愿為行業(yè)用戶(hù)提供更多、更較好的視覺(jué)器件整體解決方案，助力行業(yè)客戶(hù)勇攀行業(yè)高峰！