首先要講的是虛擬制作，它是將計算機中虛擬場(chǎng)景與攝像機實(shí)景視頻進(jìn)行實(shí)時(shí)合成，使人物與虛擬場(chǎng)景能夠同步變化，從而輸出高真實(shí)感合成畫(huà)面的視頻制作方式，XR虛擬制作必須以L(fǎng)ED大屏為背景且有屏外擴展畫(huà)面。2021年春晚節目《牛起來(lái)》便是虛擬制作的典型案例。

本次直播，將攝像機跟蹤、數字人、動(dòng)作捕捉、LED大屏、UE5實(shí)時(shí)渲染等前沿技術(shù)或工具，有機結合到了一起。其中凌云光自主研發(fā)的FZMotion光學(xué)運動(dòng)捕捉系統部署在場(chǎng)地中，保障了現場(chǎng)“中之人”的動(dòng)作捕捉與真實(shí)攝像機的跟蹤，是連接虛擬與現實(shí)世界的橋梁。

為了讓真實(shí)攝像機在運動(dòng)的時(shí)候，LED大屏上的畫(huà)面以及屏外拓展畫(huà)面能夠發(fā)生相應的準確變化，FZMotion快速精準的跟蹤真實(shí)攝像機6自由度（6DoF, 6 degree of freedom）變化，結合鏡頭信息，傳輸至UE5虛擬攝像機實(shí)時(shí)渲染引擎。不同于機械跟蹤或機身上安裝相機（InSide-Out）的跟蹤方式，當舞臺周?chē)嗯_真實(shí)攝像機同時(shí)需要被跟蹤時(shí)，一套FZMotion系統便能搞定，無(wú)需根據被跟蹤攝像機數量來(lái)增加跟蹤系統數量。

為了讓沐嵐動(dòng)起來(lái)，FZMotion實(shí)時(shí)捕捉 “中之人”的動(dòng)作，并融合面部捕捉與手指捕捉設備，將“中之人”的表情、手指動(dòng)作、身體動(dòng)作傳遞給沐嵐并對其進(jìn)行驅動(dòng)。

一套動(dòng)捕，多種跟蹤

觀(guān)眾看到的包含沐嵐的圖像，其實(shí)由多個(gè)畫(huà)面組合而成。一是真實(shí)攝像機拍攝到的，包含LED屏上的表演者、基于真實(shí)攝像機視角渲染而成的LED屏上畫(huà)面。二是數字人沐嵐，她被以AR前景的方式疊加到了畫(huà)面一上。當攝像機拍攝到LED屏外的時(shí)候，還需要渲染屏外拓展畫(huà)面，同畫(huà)面一和二拼接。多個(gè)畫(huà)面虛實(shí)融合，呈現給觀(guān)眾。而這一切，都離不開(kāi)FZMotion的攝像機跟蹤與真人動(dòng)作捕捉。

【彩蛋】

沐嵐與FZMotion同框解密直播黑科技，下期再會(huì )~