2018年05月10日,大部分應(yīng)用都需要實(shí)時(shí)將用戶(hù)及其運(yùn)動(dòng)映射至3D空間。在以前,我們只能通過(guò)昂貴的所相機(jī)系統(tǒng),或者令用戶(hù)穿上特殊的傳感器套裝才能實(shí)現(xiàn)。昨天映維網(wǎng)報(bào)道了RADiCAL的技術(shù),現(xiàn)在據(jù)映維網(wǎng)了解(消息源:李今),馬克斯普朗克計(jì)算機(jī)科學(xué)研究所的計(jì)算機(jī)科學(xué)家開(kāi)發(fā)出了一種只需要單個(gè)攝像頭的系統(tǒng),而且它甚至可以預(yù)測(cè)用戶(hù)在預(yù)錄制視頻中的三維姿勢(shì),比如說(shuō)YouTube視頻。
博士后學(xué)生Dushyant Mehta表示:“這允許通過(guò)手機(jī)來(lái)捕捉視頻,同時(shí)實(shí)現(xiàn)身體追蹤。能夠?qū)崟r(shí)在3D中實(shí)現(xiàn)這一點(diǎn),而且只是借助移動(dòng)設(shè)備上的攝像頭,這是一個(gè)巨大的進(jìn)步。”
Mehta與同事研發(fā)了只需一個(gè)傳統(tǒng)攝像頭就可以實(shí)時(shí)捕捉用戶(hù)及其運(yùn)動(dòng)的軟件系統(tǒng)。研究人員Srinath Sridhar解釋說(shuō):“到目前為止,多攝像頭系統(tǒng),或者像Kinect這樣深度攝像頭對(duì)這項(xiàng)任務(wù)來(lái)說(shuō)都是必不可少的工具。”
新系統(tǒng)基于神經(jīng)網(wǎng)絡(luò),而研究人員將其稱(chēng)之為“卷積神經(jīng)網(wǎng)絡(luò)”(簡(jiǎn)稱(chēng)CNN),而這通常是與“深度學(xué)習(xí)”聯(lián)系在一起。馬克斯普朗克計(jì)算機(jī)科學(xué)研究所的研究人員開(kāi)發(fā)了一種新方法,其能夠借助神經(jīng)網(wǎng)絡(luò)從視頻流的二維信息中計(jì)算用戶(hù)的三維姿態(tài)。
他們?cè)诠倬W(wǎng)上公布了一個(gè)演示視頻。一位研究人員在后面玩雜耍,而前方的顯示器則播放相應(yīng)的視頻錄像。我們看到右邊的畫(huà)面疊加了一個(gè)簡(jiǎn)單的火柴人。另一個(gè)三維視圖則顯示了相應(yīng)的運(yùn)動(dòng),其用于說(shuō)明研究人員能夠?qū)崟r(shí)捕捉完整的三維姿態(tài)。無(wú)論研究人員移動(dòng)肢體的速度有多快,或者移動(dòng)幅度有多大,火柴人都會(huì)進(jìn)行相應(yīng)的三維運(yùn)動(dòng),而另一個(gè)顯示器中的虛擬角色同樣如此。
研究人員將他們的系統(tǒng)稱(chēng)為“VNect”。VNect既可以預(yù)測(cè)人物的三維姿態(tài),也可以定位圖人物的位置。這允許系統(tǒng)避免在不包含人類(lèi)的圖像區(qū)域上浪費(fèi)計(jì)算。在機(jī)器學(xué)習(xí)過(guò)程中,系統(tǒng)的神經(jīng)網(wǎng)絡(luò)通過(guò)數(shù)萬(wàn)個(gè)注釋圖像進(jìn)行訓(xùn)練。系統(tǒng)根據(jù)關(guān)節(jié)角度提供三維姿態(tài)信息,而這可以輕松用于控制虛擬角色。
Mehta補(bǔ)充說(shuō):“NVect令更廣泛的人群可以觸及虛擬現(xiàn)實(shí)的三維身體姿態(tài)追蹤,因?yàn)樗麄儾恍枰狵inect或其他攝像頭,無(wú)需要穿戴特殊的傳感器套件,只需使用十分普遍的網(wǎng)絡(luò)攝像頭即可。這同時(shí)可以為第一人稱(chēng)VR帶來(lái)全新的體驗(yàn)。”除了這種交互式角色控制之外,VNect還是第一個(gè)可以用來(lái)預(yù)測(cè)視頻中人物3D姿勢(shì)的系統(tǒng),比如說(shuō)YouTube視頻。馬克斯普朗克計(jì)算機(jī)科學(xué)研究所的Christian Theobalt教授接著說(shuō)道:“從人機(jī)交互到人類(lèi)與機(jī)器人交互,再到工業(yè)4.0,這還有其他許多的應(yīng)用。我們同時(shí)可以考慮自動(dòng)駕駛,汽車(chē)在未來(lái)或許可以通過(guò)攝像頭來(lái)預(yù)測(cè)人們的完整表達(dá)運(yùn)動(dòng),然后評(píng)估他們的行為。”
但VNect仍然存在局限性。姿態(tài)估計(jì)的準(zhǔn)確度比多相機(jī)系統(tǒng)或基于標(biāo)記的姿態(tài)估計(jì)系統(tǒng)更低。如果人臉被遮擋,運(yùn)動(dòng)速度太快,或者出現(xiàn)沒(méi)有訓(xùn)練過(guò)的姿勢(shì),系統(tǒng)將出現(xiàn)問(wèn)題。另外,多用戶(hù)場(chǎng)景也是一個(gè)問(wèn)題。盡管如此,Sridhar相信技術(shù)將會(huì)進(jìn)一步成熟,并且能夠處理越來(lái)越復(fù)雜的場(chǎng)景,從而可以在日常生活中使用。
榜單收錄、高管收錄、融資收錄、活動(dòng)收錄可發(fā)送郵件至news#citmt.cn(把#換成@)。
海報(bào)生成中...