2018年10月19日，說了一個很棒的笑話，但沒有看到有人在笑?別擔(dān)心，你應(yīng)該還是一個很幽默的人。原因是你仍在使用舊版本的Oculus Lipsync。Oculus希望無論身處何方的你我都能進行有意義的交互。眼神，手勢，身體姿勢和面部表情是非語言交流形式，其允許我們傳達情感并增加社交互動的意義。今天許多虛擬角色系統(tǒng)都缺乏情感，除非由用戶手動出發(fā)。為了解決這個問題，Oculus推出了Oculus Lipsync 1.30.0。這個版本包含了一個測試版的笑聲檢測功能，開發(fā)者將能夠從輸入音頻中實現(xiàn)笑聲動畫。另外，Oculus Lipsync 1.30.0增加了DSP加速，以及幫助更多開發(fā)者通過Unreal和本地支持來使用OVRLipSync的方法。

　　1. 新集成與DSP加速支持

　　Oculus收到了大量反饋，要求Oculus Lipsync增加Unreal和本地支持。對于Oculus LipSync 1.30.0，Oculus正式集成了Unreal引擎，以及C ++庫以實現(xiàn)本地集成。這些集成允許在更廣泛的平臺和應(yīng)用程序中開發(fā)富有表現(xiàn)力的嘴唇同步內(nèi)容。另外，Unity集成進一步簡化了易用性，同時對預(yù)先計算的viseme生成帶來了更多對開發(fā)者友好的支持。有關(guān)這三個集成的文檔請訪問開發(fā)者中心的Oculus Lipsync Guide。

　　最后，Oculus在所有集成中啟用了DSP支持，允許在支持的移動平臺上卸載Lipsync viseme預(yù)測和笑聲檢測的處理。將計算卸載到DSP允許在單個設(shè)備上處理更多音頻流，使你可以輕松構(gòu)建豐富的社交應(yīng)用程序。

　　2. 笑聲檢測（beta）

　　Oculus Lipsync的目標之一是實現(xiàn)富有表現(xiàn)力的面部動畫。Oculus Lipsync使得我們能夠為虛擬角色帶來面部表情。實時音頻驅(qū)動的笑聲檢測令我們更接近于在虛擬現(xiàn)實中實現(xiàn)豐富的社交臨場感和非語言交流。

　　正如你可能想象的那樣，笑聲是社交環(huán)境中非常常見的表達方式。自動檢測音頻中的笑聲使我們能夠為虛擬社交體驗帶來另一層表現(xiàn)力和樂趣。

　　為了設(shè)計一個笑聲檢測器，我們需要更好地理解什么是笑聲。笑是一種普遍的，熟悉的，重要的非語言視聽表達。笑聲也是一種多樣化的表達方式，通過口鼻或嘴巴的清音呼氣，包括咕嚕聲，褲子，嘎嘎聲和哼聲，聽起來像“哈哈哈”或“嘻嘻嘻”等豐富的元音般聲音。各種各樣的笑聲傳達著不同的社交線索和信息，如態(tài)度，情感，意圖，協(xié)議，接受，喜悅，甚至嘲笑或嘲弄。由于笑聲存在無數(shù)的聲音和意義，Oculus開發(fā)了一個笑臉檢測的測試版本，其能夠識別各種各樣的笑聲。

　　為了實現(xiàn)笑聲檢測，Oculus探索了各種深度學(xué)習(xí)架構(gòu)，并最終得出了輕量版的TCN introduced for high-quality Lipsync�；�于TCN的笑聲檢測與音素預(yù)測TCN非常相似。但是，它預(yù)測0到1范圍內(nèi)的單個浮點值，并表示在當前音頻幀發(fā)生笑聲的概率。與Lipsync模型一樣，笑聲檢測模型通過PyTorch進行訓(xùn)練，使用ONNX轉(zhuǎn)換為Caffe2，并使用類似于Fast WaveNet Generation Algorithm的高效緩存技術(shù)進行實時處理優(yōu)化。

　　輸出笑聲概率可以直接用于驅(qū)動混合形狀，或者你可以實現(xiàn)簡單的閾值來觸發(fā)笑聲動畫。Oculus在引擎集成演示內(nèi)容中引入了一種新的笑聲形狀，直接由笑聲概率驅(qū)動。這個演示內(nèi)容還通過在游戲視圖中顯示簡單的文本條形圖來說明笑聲概率。

　　對于Oculus LipSync 1.30.0，Oculus通過實時音頻驅(qū)動的笑聲檢測為社交增加了新的活力，個性和情感層，并朝著在VR中實現(xiàn)有意義的社交互動又邁出了一步。在技術(shù)方面，這個版本改進并擴展了集成支持，并通過將計算卸載到DSP來提供改善性能的機會。