李飛飛空間智能創(chuàng)業(yè)公司W(wǎng)orld Labs，開源一項(xiàng)核心技術(shù)!

　　Forge渲染器，可在桌面端、低功耗移動(dòng)設(shè)備、XR等所有設(shè)備上實(shí)時(shí)、流暢地渲染AI生成的3D世界。

　　具體來說，F(xiàn)orge是一款Web端3D高斯?jié)姙R渲染器，無縫集成three.js，實(shí)現(xiàn)完全動(dòng)態(tài)和可編程的高斯?jié)姙R。

　　Forge底層為GPU優(yōu)化設(shè)計(jì)，其地位相當(dāng)于傳統(tǒng)3D圖形領(lǐng)域的基礎(chǔ)組件“著色器”。

　　Forge只需極少的代碼即可啟動(dòng)和運(yùn)行。它支持多個(gè)splat對(duì)象、多個(gè)攝像頭以及實(shí)時(shí)動(dòng)畫/編輯。

　　World Labs聯(lián)創(chuàng)、NeRF作者Ben Mildenhall稱這項(xiàng)技術(shù)“讓開發(fā)者像處理三角形網(wǎng)格一樣輕松處理AI生成的3D世界。”

　　李飛飛表示，“它能做到的事情簡直令人難以置信”。

　　3D高斯濺射 (3D Gaussian Splatting) 已成為生成式人工智能和3D重建領(lǐng)域的主流方案。

　　這項(xiàng)技術(shù)通過將3D場景和對(duì)象表示為微小的高斯形狀斑點(diǎn)(又稱Spat)的集合，機(jī)器學(xué)習(xí)技術(shù)可用于創(chuàng)建可實(shí)時(shí)渲染的細(xì)致逼真的3D內(nèi)容。

　　然而，3D高斯濺射(3DGS)是一項(xiàng)相對(duì)較新的技術(shù)，許多傳統(tǒng)的基于三角形的3D網(wǎng)格渲染引擎尚無法使用，而網(wǎng)絡(luò)上*的3D圖形庫three.js無法直接渲染3DGS。

　　雖然有一些庫可以在網(wǎng)絡(luò)上渲染3DGS，但它們各自都存在不同的限制，如次只能渲染一個(gè) 3DGS 對(duì)象、3DGS對(duì)象之間的遮擋不正確、無法動(dòng)態(tài)修改對(duì)象、需要 WebGPU 或渲染速度慢/卡頓。

　　Forge被設(shè)計(jì)為一款可編程的3DGS引擎，能夠以前所未有的方式控制3DGS的生成、動(dòng)畫以及在場景中的渲染。

　　與現(xiàn)代3D圖形引擎中的著色器圖形系統(tǒng)類似，F(xiàn)orge允許將函數(shù)塊(稱為Dyno)組合成計(jì)算圖形，可以程序化地生成、任意修改Spalt，或執(zhí)行能想到的任何其他計(jì)算，并轉(zhuǎn)換為GLSL語言在GPU上運(yùn)行。

　　官網(wǎng)用一個(gè)菜單場景，很好地展示了Forge渲染器的實(shí)時(shí)交互能力。

　　實(shí)時(shí)高斯?jié)姙R渲染的*挑戰(zhàn)之一是對(duì)每個(gè)splat進(jìn)行排序，這被稱為畫家算法(Painter’s algorithm)，也是Forge系統(tǒng)設(shè)計(jì)的核心。

　　管理此過程的關(guān)鍵組件是ForgeRenderer，它遍歷并編譯Three.js場景中所有 splat 的完整列表。

　　每個(gè)ForgeRenderer都有一個(gè)默認(rèn)的ForgeViewpoint ，它會(huì)從GPU讀取所有splat視角列表，然后使用高效的bucket sort算法確定繪制順序，并通過SplatWorker在后臺(tái)工作線程中運(yùn)行。

　　通過生成額外的ForgeViewpoint對(duì)象，支持創(chuàng)建多視角同時(shí)渲染。

　　Forge還利用這個(gè)機(jī)會(huì)在GPU上的每個(gè)splat上運(yùn)行用戶可編程的數(shù)據(jù)流水線。標(biāo)準(zhǔn)流水線提供高級(jí)功能，例如應(yīng)用剛體變換、調(diào)整 RGB/不透明度和球諧函數(shù)，以及顏色編輯和擾動(dòng)以及雙四元數(shù)骨骼動(dòng)畫系統(tǒng)。

　　標(biāo)準(zhǔn)流水線還允許通過dyno著色器圖形系統(tǒng)注入任意代碼來修改每個(gè)splat。

　　Forge支持完全控制編寫任何以編程方式計(jì)算splat屬性(中心、比例、四元數(shù)、RGBA)的函數(shù)。這些屬性可以是無狀態(tài)的，也可以依賴于splat文件、紋理和其他全局參數(shù)的復(fù)雜組合進(jìn)行實(shí)時(shí)程序生成，并且可以隨時(shí)間變化以生成實(shí)時(shí)動(dòng)畫。

　　World Labs成立以來完成超過2.3億美元融資，投資方包括a16z、英特爾、AMD等。

　　他們的目標(biāo)是將多模態(tài)AI從二維像素平面提升到完整的三維世界，稱將于2025年推出*產(chǎn)品。

　　另外，World Labs曾透露還計(jì)劃打造一些對(duì)藝術(shù)家、設(shè)計(jì)師、開發(fā)者、電影制作人和工程師等專業(yè)人士有用的工具，目標(biāo)客戶涵蓋從視頻游戲開發(fā)商到電影工作室等各個(gè)領(lǐng)域。

　　從這一點(diǎn)看來，F(xiàn)orge渲染器更像是開發(fā)者工具中的一部分，真正的產(chǎn)品還在后面。