2018年05月09日,如果動(dòng)畫(huà)角色要感動(dòng)我們,它們需要首先動(dòng)起來(lái)。然而,賦予虛擬角色生命從來(lái)不是一件易事。動(dòng)捕技術(shù)能夠記錄和數(shù)字化復(fù)制人體運(yùn)動(dòng)以創(chuàng)建3D動(dòng)畫(huà)。我們不妨聯(lián)想一下安迪·瑟金斯在《指環(huán)王》系列中所扮演的咕嚕。
傳統(tǒng)動(dòng)捕技術(shù)的問(wèn)題是,其需要依靠大量昂貴和笨重的硬件。這同時(shí)需要經(jīng)驗(yàn)豐富的專業(yè)人員操作多攝像機(jī)設(shè)置,演播室環(huán)境,以及演員身穿特制的傳感器套裝。
“所有這些費(fèi)用,技能和時(shí)間都令人對(duì)動(dòng)捕技術(shù)望而卻步。”RADiCAL的聯(lián)合創(chuàng)始人兼CEO Gavan Gravesen如是說(shuō)道。初創(chuàng)公司RADiCAL是一家位于紐約的NVIDIA Inception項(xiàng)目成員。Gravesen表示:“我們致力于提供全民易用性,無(wú)縫集成和快速完成,而所有這一切都是以低成本實(shí)現(xiàn)。”
他們基于AI的解決方案只需要游戲開(kāi)發(fā)商,3D圖形藝術(shù)家,電影制作人員和AR/VR愛(ài)好者提供一件物理硬件:一臺(tái)2D相機(jī),甚至是一臺(tái)手機(jī)。不需要其他硬件,工作室環(huán)境或精密的傳感器設(shè)備,這大大降低了所涉及的成本和工作量。
1. 更簡(jiǎn)單的動(dòng)捕
世界任何用戶都可以通過(guò)智能手機(jī)或網(wǎng)絡(luò)直接將視頻上傳到RADiCAL的云端中。該公司則利用人工智能和運(yùn)動(dòng)科學(xué)處理視頻,檢測(cè)其中的內(nèi)容,在3D空間中重現(xiàn)人類運(yùn)動(dòng),甚至是重建相機(jī)所無(wú)法看到的內(nèi)容。
RADiCAL的算法可以自動(dòng)適應(yīng)不同的人體比例和人體運(yùn)動(dòng),然后創(chuàng)建一個(gè)可以在3D映射視頻主體運(yùn)動(dòng)的模型。盡管模型的流暢運(yùn)動(dòng)使得該過(guò)程看起來(lái)十分簡(jiǎn)單,但底層卻非常復(fù)雜。
RADiCAL的聯(lián)合創(chuàng)始人兼CTO Anna-Chiara Bellini指出:”我們集成了深度學(xué)習(xí),機(jī)器人技術(shù),計(jì)算機(jī)視覺(jué)和生物力學(xué),這需要強(qiáng)大的人工智能開(kāi)發(fā)環(huán)境。”
2. 利用TensorFlow處理
Bellini表示,RADiCAL面臨的第一個(gè)挑戰(zhàn)就是需要處理的大量數(shù)據(jù)。對(duì)于他們的算法,單張靜止圖像可能需要分析多達(dá)6GB的數(shù)據(jù)。但對(duì)于每一秒的動(dòng)作,期間包含120幀內(nèi)容,從而帶來(lái)了驚人的720GB數(shù)據(jù)。
Bellini及其團(tuán)隊(duì)選擇了TensorFlow,將GPU編程集成到他們的研究過(guò)程中,從而為整個(gè)管道提供一個(gè)“單一執(zhí)行模型”。她解釋說(shuō):“通過(guò)使用CUDA編寫(xiě)的ad-hoc內(nèi)核來(lái)補(bǔ)充TensorFlow,一個(gè)只需數(shù)小時(shí)編寫(xiě)的簡(jiǎn)單內(nèi)核可以為我們節(jié)約數(shù)天的模擬時(shí)間。”
為了支持其運(yùn)動(dòng)模型,RADiCAL在多GPU系統(tǒng)上以交錯(cuò)方式處理多個(gè)幀。Bellini指出:“支持多個(gè)Tesla V100 GPU的最新一代NVIDIA NVLink等技術(shù)使這一切成為了可能。”
Bellini和她的團(tuán)隊(duì)使用了基于云端的多GPU設(shè)備,她們將從構(gòu)思到部署再到生產(chǎn)的開(kāi)發(fā)周期時(shí)間減少了10倍。
她說(shuō)道:“英偉達(dá)的顯卡提高了我們的工作速度,允許我們探索更多的選項(xiàng),以及更有效地利用我們機(jī)器學(xué)習(xí)工程師的時(shí)間。這是一個(gè)驚人的發(fā)現(xiàn)。”
3. 動(dòng)畫(huà)文件的應(yīng)用
在處理完視頻后,RADiCAL將通過(guò)網(wǎng)站及其MOTiON應(yīng)用程序提供與實(shí)際視頻片段并排呈現(xiàn)的實(shí)時(shí)3D預(yù)覽。用戶還可以下載適用于3D動(dòng)畫(huà),增強(qiáng)現(xiàn)實(shí),虛擬現(xiàn)實(shí),游戲引擎和其他3D圖形程序,以及內(nèi)容頻道格式的動(dòng)畫(huà)文件。
RADiCAL現(xiàn)在已經(jīng)向創(chuàng)意產(chǎn)業(yè)的早期采用者提供了一個(gè)公開(kāi)測(cè)試計(jì)劃(點(diǎn)擊前往),而他們目標(biāo)是在數(shù)周內(nèi)完成全面的商業(yè)發(fā)行。
榜單收錄、高管收錄、融資收錄、活動(dòng)收錄可發(fā)送郵件至news#citmt.cn(把#換成@)。
海報(bào)生成中...