二十余年前上映的電影《黑客帝國(guó)》中，有一個(gè)慢鏡頭被深深地刻在人們的腦海里：當(dāng)脫膛的子彈高速?zèng)_向主角，主角向后仰身，子彈擦身而過(guò)。這個(gè)短暫得甚至不能用秒來(lái)計(jì)算的過(guò)程，最終被電影團(tuán)隊(duì)用特效技術(shù)360度無(wú)死角地呈現(xiàn)。著名的“子彈時(shí)間”也由此而來(lái)。

北京大學(xué)博雅特聘教授陳寶權(quán)把“子彈時(shí)間”從電影后期搬到了體育比賽的轉(zhuǎn)播中。陳寶權(quán)是“科技冬奧”重點(diǎn)專(zhuān)項(xiàng)——冰雪項(xiàng)目交互式多維度觀賽體驗(yàn)技術(shù)與系統(tǒng)項(xiàng)目負(fù)責(zé)人，“電影中‘子彈時(shí)間’這個(gè)畫(huà)面只有幾秒鐘，而且全部是后期完成的。我們把它用在了比賽的實(shí)時(shí)轉(zhuǎn)播上，實(shí)際上是一個(gè)非常大的挑戰(zhàn)。”陳寶權(quán)坦言。

北京大學(xué)博雅特聘教授陳寶權(quán)。受訪(fǎng)者供圖

在比賽中，全程實(shí)時(shí)的“子彈時(shí)間”在研發(fā)中有哪些困難？對(duì)于普通觀眾而言，這樣的技術(shù)與系統(tǒng)又將如何提升觀賽體驗(yàn)？后冬奧時(shí)代，它又將如何發(fā)揮其作用？

任意視角自由觀賽，實(shí)時(shí)呈現(xiàn)是最大挑戰(zhàn)

打開(kāi)手機(jī)里的APP，就看到了一場(chǎng)冰球比賽的畫(huà)面。與日常觀賽不同，在這個(gè)應(yīng)用程序里，觀看者可以來(lái)回滑動(dòng)、切換觀賽角度，甚至比人在比賽現(xiàn)場(chǎng)所能觀看到的角度還多，就像擁有了“上帝視角”一樣。

這樣獨(dú)特的觀賽體驗(yàn)正是自由交互式技術(shù)的應(yīng)用結(jié)果。“以往看比賽都是在固定的地方放幾臺(tái)相機(jī)拍攝比賽畫(huà)面，導(dǎo)播不停地切換機(jī)位，這樣就可以給觀眾呈現(xiàn)不同的視角。”陳寶權(quán)表示，傳統(tǒng)的觀賽模式下，觀眾所能看到的比賽畫(huà)面是統(tǒng)一的，也是相對(duì)固定的。

陳寶權(quán)介紹，“自由視角”技術(shù)下建立的交互式多維度觀賽體驗(yàn)系統(tǒng)，則可以幫助觀眾實(shí)現(xiàn)全新的觀賽體驗(yàn)，“在觀看比賽的過(guò)程中，你可以連續(xù)地改變觀看點(diǎn)位，選擇自己喜歡的角度去看同一場(chǎng)賽事活動(dòng)。相當(dāng)于每個(gè)觀眾看到的畫(huà)面，都是符合自己需求的，可以千差萬(wàn)別。”

從比賽畫(huà)面拍攝、云端渲染，再到數(shù)據(jù)傳輸、平臺(tái)呈現(xiàn)，獨(dú)特的觀賽體驗(yàn)背后，涉及畫(huà)面拍攝與制作、內(nèi)容設(shè)計(jì)與生成、編碼與傳輸平臺(tái)、交互式智能終端與系統(tǒng)建設(shè)多個(gè)內(nèi)容。

在陳寶權(quán)看來(lái)，項(xiàng)目最大的挑戰(zhàn)在于實(shí)時(shí)呈現(xiàn)比賽畫(huà)面。

“像電影特效都是后期制作完成的，可能一秒鐘的畫(huà)面需要幾個(gè)月的制作時(shí)間。但我們想在觀看比賽的時(shí)候能實(shí)時(shí)看這種效果，比賽轉(zhuǎn)播頂多有30秒的延時(shí)。”陳寶權(quán)表示，所有的內(nèi)容都在要30秒之內(nèi)完成，“對(duì)實(shí)時(shí)的要求很高。表面上看起來(lái)跟影視特效差不多，但實(shí)際上是一個(gè)巨大的挑戰(zhàn)。”

與此同時(shí)，體育比賽的特點(diǎn)對(duì)拍攝效率也有了更高的要求。

“拍電影要想實(shí)現(xiàn)這個(gè)畫(huà)面，可能就拍一個(gè)人，然后在他周?chē)茉O(shè)密密麻麻幾十臺(tái)相機(jī)，而且相機(jī)還會(huì)離拍攝對(duì)象非常近。”陳寶權(quán)表示，與電影拍攝在狹小的空間里架設(shè)數(shù)十臺(tái)相機(jī)拍攝不同，比賽場(chǎng)地空間廣闊，要拍攝的對(duì)象也多了很多。

陳寶權(quán)解釋?zhuān)粋€(gè)標(biāo)準(zhǔn)的冰球比賽場(chǎng)地可能有兩百多米的跑道，“每個(gè)相機(jī)放置的位置叫一個(gè)視點(diǎn)。一個(gè)視點(diǎn)可能覆蓋10度，那在場(chǎng)地外環(huán)一周360度拍攝就需要36臺(tái)相機(jī)。36臺(tái)相機(jī)架設(shè)在跑道上，每個(gè)相機(jī)之間的間隔幾十米。這樣畫(huà)面就銜接不起來(lái)，會(huì)卡頓。那就需要多架設(shè)相機(jī)。”

但如何布置相機(jī)、布置多少個(gè)相機(jī)，這些都要精準(zhǔn)計(jì)算。陳寶權(quán)表示，這其中既要考慮比賽場(chǎng)地大小，又要考慮相機(jī)所能覆蓋的拍攝范圍，同時(shí)還要兼顧傳輸畫(huà)面的數(shù)據(jù)量。

團(tuán)隊(duì)在進(jìn)行模擬測(cè)試。受訪(fǎng)者供圖

保障畫(huà)面流暢，利用虛擬相機(jī)“腦補(bǔ)”比賽畫(huà)面

不斷滑動(dòng)切換觀看視角、放大縮小查看運(yùn)動(dòng)員動(dòng)作……2021年12月31日，記者在北京大學(xué)前沿計(jì)算研究中心感受到了任意視角自由觀賽的神奇，也看到了視頻畫(huà)面的“行云流水”。

事實(shí)上，這些畫(huà)面并非全部都是相機(jī)拍攝而來(lái)。

陳寶權(quán)解釋?zhuān)僭O(shè)每一臺(tái)相機(jī)一個(gè)編號(hào)，畫(huà)面是由1號(hào)、2號(hào)、3號(hào)相機(jī)連接起來(lái)呈現(xiàn)的，要想實(shí)現(xiàn)360度無(wú)死角看清楚比賽，拍攝的畫(huà)面就要盡可能的多，這樣畫(huà)面才能流暢地連接起來(lái)，“但相機(jī)數(shù)量多了，傳輸?shù)臄?shù)據(jù)量就大了，傳輸、存儲(chǔ)壓力都會(huì)大，同時(shí)成本也會(huì)很高。”

如何兼顧畫(huà)面的流暢度與傳輸?shù)臄?shù)據(jù)量和成本？項(xiàng)目組成員選擇了在兩臺(tái)相機(jī)之間增加一個(gè)新視點(diǎn)，即設(shè)置一個(gè)“虛擬相機(jī)”，專(zhuān)門(mén)用來(lái)“腦補(bǔ)”兩臺(tái)相機(jī)之間可能的畫(huà)面，“1號(hào)相機(jī)拍到了鏡頭，2號(hào)相機(jī)也有鏡頭，我們就用‘虛擬相機(jī)’計(jì)算出來(lái)你可能會(huì)在1號(hào)、2號(hào)之間看到什么樣的場(chǎng)景。”

在播放時(shí)，這些由相機(jī)拍攝的畫(huà)面和虛擬相機(jī)“腦補(bǔ)”的畫(huà)面結(jié)合起來(lái)，即可實(shí)現(xiàn)畫(huà)面的流暢過(guò)渡。“那怎么保證‘虛擬相機(jī)’計(jì)算出來(lái)的畫(huà)面是準(zhǔn)確合理的呢？”陳寶權(quán)解釋?zhuān)?xiàng)目組為其配置一個(gè)“聰明大腦”——其中的關(guān)鍵是對(duì)已拍攝畫(huà)面實(shí)施“三維重建”從而讓新視點(diǎn)的合成變得可能。

有了平滑流暢的畫(huà)面，接下來(lái)便是如何讓觀眾實(shí)際享受到這種流暢。對(duì)此，項(xiàng)目組開(kāi)發(fā)了自適應(yīng)編碼與傳輸技術(shù)，能夠根據(jù)用戶(hù)視點(diǎn)改變的意圖來(lái)預(yù)測(cè)下一步趨勢(shì)，進(jìn)行有針對(duì)性的計(jì)算與數(shù)據(jù)傳送。

“通過(guò)實(shí)時(shí)預(yù)測(cè)，避免了簡(jiǎn)單粗暴式的計(jì)算與數(shù)據(jù)傳輸，也保證了8K數(shù)據(jù)的高效供給用在流暢觀看這個(gè)剛性需求的‘刀刃’上。”陳寶權(quán)表示，所有的計(jì)算都在云端完成，“數(shù)據(jù)傳輸?shù)皆贫耍?jì)算完成之后，再傳輸?shù)接^看平臺(tái)上。”

第一次在國(guó)家體育館按照U型架設(shè)相機(jī)、測(cè)試冰球項(xiàng)目，第二次測(cè)試花樣滑冰項(xiàng)目；第三次在五棵松體育中心按照O型架設(shè)相機(jī)，測(cè)試冰球項(xiàng)目……2021年4月起，陳寶權(quán)和項(xiàng)目團(tuán)隊(duì)成員在國(guó)家體育館、五棵松體育中心等不同場(chǎng)館，針對(duì)不同比賽項(xiàng)目開(kāi)展了測(cè)試。

“每次測(cè)試都有一些不一樣。”陳寶權(quán)回憶，第一次主要測(cè)試直播，看畫(huà)面?zhèn)鬏斒欠裼袉?wèn)題，“剛開(kāi)始每個(gè)相機(jī)的分辨率都設(shè)定在2K，后來(lái)慢慢提高到4K，這樣整體畫(huà)面會(huì)更清晰，當(dāng)然這對(duì)計(jì)算能力還有數(shù)據(jù)傳輸都有了更高的要求。”

改進(jìn)算法、智能追蹤，未來(lái)探索更多可能

場(chǎng)地水平度會(huì)影響相機(jī)的架設(shè)、分辨率會(huì)影響畫(huà)面質(zhì)量……在一次次測(cè)試中，冰雪項(xiàng)目交互式多維度觀賽體驗(yàn)技術(shù)與系統(tǒng)也在慢慢找到新的改進(jìn)點(diǎn)。從2019年12月23日項(xiàng)目正式啟動(dòng)至今，短短兩年多的時(shí)間，陳寶權(quán)帶領(lǐng)著團(tuán)隊(duì)成員已經(jīng)給項(xiàng)目畫(huà)上了近乎圓滿(mǎn)的句號(hào)。

陳寶權(quán)告訴記者，從系統(tǒng)升級(jí)的角度來(lái)講，未來(lái)機(jī)位可能會(huì)進(jìn)一步減少，“相機(jī)中間的畫(huà)面可以利用這些相機(jī)畫(huà)面重建，那從50個(gè)相機(jī)減少到40個(gè)相機(jī)甚至更少，也可能實(shí)現(xiàn)重建，只不過(guò)這對(duì)算法的‘聰明程度’有更高的期待。”

此外，陳寶權(quán)提出，目前設(shè)置的相機(jī)焦點(diǎn)都定位在場(chǎng)地中央，未來(lái)可能利用智能相機(jī)設(shè)備實(shí)現(xiàn)焦點(diǎn)移動(dòng)和追蹤，進(jìn)而更清楚地展現(xiàn)某個(gè)運(yùn)動(dòng)員的風(fēng)采，帶來(lái)更震撼的觀賽體驗(yàn)。

“未來(lái)我們還可能在這個(gè)基礎(chǔ)上做另一種形式的呈現(xiàn)。”陳寶權(quán)播放了一段模擬運(yùn)動(dòng)員打冰球的視頻，“其實(shí)相當(dāng)于做了一個(gè)運(yùn)動(dòng)員的‘替身’，這其中的動(dòng)作也都是從真實(shí)的比賽中提取出來(lái)的。轉(zhuǎn)播相機(jī)可以滿(mǎn)場(chǎng)追著運(yùn)動(dòng)員移動(dòng)，相比于現(xiàn)在相機(jī)的設(shè)置，位置更加靈活，拍攝到的畫(huà)面也更具吸引力。”

陳寶權(quán)表示，“倒不是說(shuō)把這個(gè)給觀眾看，因?yàn)檫@畢竟是虛擬的，觀眾可能覺(jué)得沒(méi)有真實(shí)感，像游戲。但對(duì)于裁判或者對(duì)于教練來(lái)說(shuō)，如果要做比賽分析、復(fù)盤(pán)，將非常有意義。”

還有不到30天，2022年北京冬奧會(huì)將拉開(kāi)帷幕，陳寶權(quán)帶領(lǐng)著團(tuán)隊(duì)仍在為系統(tǒng)不斷完善和升級(jí)。