2018年12月26日，F(xiàn)acebook旗下Instagram的研究人員提出了一種利用增強(qiáng)現(xiàn)實(shí)的創(chuàng)新方法，其可以在移動(dòng)設(shè)備上提供一系列不同的皮膚顏色，從而實(shí)現(xiàn)逼真的妝容疊加。

　　他們開(kāi)發(fā)的方法能夠模仿真人化妝師的真實(shí)世界化妝(疊加)技藝與手法。研究人員指出，應(yīng)用程序可以準(zhǔn)確地呈現(xiàn)商業(yè)化妝產(chǎn)品中最常用的五種材料：?jiǎn)」猓�天鵝絨，絲緞，亮澤和金屬光。Insagram團(tuán)隊(duì)同時(shí)采用了皮膚平滑功能來(lái)均勻自然膚色與色調(diào)映射，進(jìn)一步混合皮膚源與合成層。

　　研究團(tuán)隊(duì)在論文中指出，這個(gè)AR化妝流程依賴于實(shí)時(shí)移動(dòng)面部追蹤器，后者允許他們?yōu)閷?shí)時(shí)視頻流中每一幀的面部對(duì)齊網(wǎng)格運(yùn)行GPU著色器。他們提供了定義面部區(qū)域的構(gòu)造貼圖并將其作為輸入，如嘴唇，眼睛和臉頰，以及妝容屬性。然后再應(yīng)用Instagram研發(fā)的光線響應(yīng)妝容以生成目標(biāo)圖像。諸如睫毛這樣的妝容附件可以疊加至面部進(jìn)行呈現(xiàn)。最后，Instagram團(tuán)隊(duì)?wèi)?yīng)用了皮膚平滑和色調(diào)映射功能，進(jìn)一步融合了皮膚源層和合成層，從而增加逼真感。

　　1. 光線響應(yīng)妝容

　　Instagram的算法適用于RGB和LAB顏色空間，其中基礎(chǔ)反照率顏色應(yīng)用于RGB，而著色則在LAB中完成。以前的研究將妝容基色應(yīng)用于HSV[KIM和CHOI 2008]或LAB色彩空間[d.Campos和Morimoto 2014]。然而，相關(guān)方法在多種膚色(色調(diào))或光照條件下難以保持一致的顏色。

　　在Instagram的算法中，他們首先對(duì)輸入圖像進(jìn)行去飽和，并提取中低亮度頻率。接下來(lái)則將源妝容顏色與提取的頻率相結(jié)合，并使用中頻來(lái)突出顯示(在高頻進(jìn)行篩選，將低頻率變暗)，方法是在高頻進(jìn)行相乘。

　　他們的著色算法將妝容顏色與預(yù)先計(jì)算的環(huán)境遮擋貼圖相結(jié)合，并將結(jié)果轉(zhuǎn)換為L(zhǎng)AB空間。為了所需的外觀，他們提出了一種實(shí)證的Gloss和Shine模型。它主要是通過(guò)轉(zhuǎn)換LAB的亮度來(lái)實(shí)現(xiàn)相關(guān)效果。

　　最后，他們使用環(huán)境貼圖模擬非常光亮的妝容區(qū)域反射。貼圖包含一個(gè)低頻工作室照明設(shè)置，并根據(jù)用戶的移動(dòng)設(shè)備進(jìn)行3D定向。

　　2. 睫毛

　　對(duì)于睫毛，他們采用了帶有節(jié)點(diǎn)的條狀網(wǎng)格和用于睫毛圖案的紋理。團(tuán)隊(duì)使用4個(gè)節(jié)點(diǎn)來(lái)將網(wǎng)格可靠地附加到面部網(wǎng)格中的UV坐標(biāo)，而這個(gè)網(wǎng)格在運(yùn)行時(shí)可通過(guò)一系列混合形狀來(lái)進(jìn)行轉(zhuǎn)換，從而模仿用戶的面部表情。這使得他們可以控制睫毛的長(zhǎng)度，曲率和密度。

　　3. 皮膚平滑

　　Instagram團(tuán)隊(duì)采用了邊緣保留模糊濾波器來(lái)均衡自然膚色，并模仿粉底化妝產(chǎn)品。他們探索了一定的算法，包括雙邊濾波器[Barash和Comaniciu 2004]，低通濾波器和導(dǎo)向?yàn)V波器[He和Sun 2015]。雙邊濾波器提供了良好的視覺(jué)效果，但O(N2)復(fù)雜度使其在移動(dòng)設(shè)備上的計(jì)算成本很高。盡管存在一個(gè)近似的解決方案，但它經(jīng)常會(huì)產(chǎn)生偽影[Yoshizawa等人。2010]。

　　低通濾波器在計(jì)算成本更優(yōu)，但難以產(chǎn)生良好的視覺(jué)效果。為了實(shí)現(xiàn)所需的視覺(jué)效果與性能，研究人員選擇了快速引導(dǎo)濾波器，它主要是在子采樣空間中進(jìn)行大量計(jì)算，所以相當(dāng)高效。通過(guò)使用圖像的亮度來(lái)作為引導(dǎo)圖像，允許RGB和亮度打包在單個(gè)紋理中，他們進(jìn)一步優(yōu)化了系統(tǒng)。

　　4. 色調(diào)映射

　　他們使用了類(lèi)似于Reinhard運(yùn)算符[Reinhard等人。2002]的本地色調(diào)映射。在Instagram的實(shí)現(xiàn)中，他們首先利用GPU雙線過(guò)濾來(lái)將圖像下采樣到大小的1/16。為了定位色調(diào)映射，他們使用了4×8網(wǎng)格，并計(jì)算每個(gè)區(qū)域日志空間中的最小，最大和平均亮度。這種本地化提高了視覺(jué)質(zhì)量，并且更好地利用了GPU的并行性。最后，研究團(tuán)隊(duì)將每個(gè)像素的顏色重新映射成從計(jì)算值生成的s曲線。這使得渲染像素與實(shí)際環(huán)境匹配。

　　5. 結(jié)論

　　Instagram在一系列的移動(dòng)設(shè)備上進(jìn)行了測(cè)試，速度超過(guò)45fps，下表顯示的AR化妝的渲染時(shí)間。

　　Instagram團(tuán)隊(duì)在論文中總結(jié)說(shuō)：“我們已經(jīng)表明，我們的方法可以逼真地渲染化妝師常用的材料(圖1)，而在這一基礎(chǔ)上，我們?yōu)橐苿?dòng)用戶開(kāi)發(fā)了一個(gè)免費(fèi)的商業(yè)試裝平臺(tái)。”