2023成都積分入學(xué)什么時(shí)候開始申請
2023-01-31
一塊GPU，每秒20個(gè)模型！英偉達(dá)新玩具用GET3D造元宇宙
更新時(shí)間：2022-09-25 16:05:33作者：智慧百科
新智元報(bào)道
編輯：拉燕 桃子
【新智元導(dǎo)讀】近日，英偉達(dá)發(fā)布了最新的GET3D模型，能快速生成虛擬世界的對象，而且只需要一塊GPU每秒就能產(chǎn)出大約20個(gè)模型。
Abracadabra！
在2D生成3D模型上，英偉達(dá)亮出了自稱「世界級」研究：GET3D。
通過2D圖像訓(xùn)練后，該模型可生成具有高保真紋理和復(fù)雜幾何細(xì)節(jié)的3D形狀。
究竟有多厲害？
形狀、紋理、材質(zhì)自定義
GET3D之所以得名，是因?yàn)樗軌蛏娠@式紋理3D網(wǎng)格（Generate Explicit Textured 3D meshes ）。
論文地址：https://arxiv.org/pdf/2209.11163.pdf
也就是說，它創(chuàng)建的形狀是三角形網(wǎng)格的形式，就像紙模型一樣，上面覆蓋著紋理材質(zhì)。
關(guān)鍵是，這個(gè)模型可以生成多種多樣，且高質(zhì)量的模型。
比如，椅子腿上的各種輪子；汽車的車輪，燈和車窗；動物的耳朵、角；摩托車的后視鏡，車輪胎上的紋理；高跟鞋，人類衣服...
街道兩旁的獨(dú)特建筑，不同的車輛呼嘯而過，還有不同的人群穿梭而過...
若想通過手動建模做出同樣的3D虛擬世界非常耗時(shí)。
盡管先前的3D生成AI模型雖然比手動建模更快，但它們在生成更多豐富細(xì)節(jié)模型的能力還是欠缺。
即便是，最新的逆向渲染方法也只能基于從各個(gè)角度拍攝的2D圖像生成3D對象，開發(fā)人員一次只能構(gòu)建一個(gè)3D物體。
GET3D可就不一樣了。
開發(fā)者可以輕松地將生成模型導(dǎo)入到游戲引擎、3D建模器和電影渲染器中，對它們進(jìn)行編輯。
當(dāng)創(chuàng)建者將GET3D生成的模型導(dǎo)出到圖形應(yīng)用程序，他們就可以在模型所在的場景中移動或旋轉(zhuǎn)時(shí)應(yīng)用逼真的照明效果。
如圖所示：
另外，GET3D還可以做到文本引導(dǎo)形狀生成。
通過使用英偉達(dá)的另一個(gè)AI工具StyleGAN-NADA，開發(fā)人員可以使用文本提示為圖像添加特定的風(fēng)格。
比如，可以將渲染后的汽車變成一輛燒毀的汽車或出租車
將一個(gè)普通的房子改造成磚房、著火的房子，甚至是鬼屋。
或者將老虎紋、熊貓紋、還有《辛普森一家》的特色應(yīng)用在任何動物身上...
簡直就是辛普森一家的「動物森友會」...
英偉達(dá)介紹，在單個(gè)英偉達(dá)GPU上訓(xùn)練，GET3D每秒可以生成大約20個(gè)對象。
在此，它所學(xué)習(xí)的訓(xùn)練數(shù)據(jù)集越大、越多樣化，輸出的多樣性和詳細(xì)程度就越高。
英偉達(dá)稱，研究團(tuán)隊(duì)僅用2天時(shí)間，就使用A100 GPU在大約100萬張圖像上訓(xùn)練了模型。
研究方法與過程
GET3D框架，主要作用是合成有紋理的三維形狀。
生成過程分為兩個(gè)部分：第一部分是幾何分支，可以輸出任意拓?fù)浣Y(jié)構(gòu)的表面網(wǎng)格。另一部分則是紋理分支，它會產(chǎn)生一個(gè)紋理場，由此可以在表面點(diǎn)上進(jìn)行查詢。
在訓(xùn)練過程中，一個(gè)可微分光柵化器被用來高效渲染所產(chǎn)生的紋理網(wǎng)格，并渲染成二維的高分辨率圖像。整個(gè)過程是可分的，允許通過傳播二維判別器的梯度，從圖像中進(jìn)行對抗性訓(xùn)練。
之后，梯度從二維判別器傳播到兩個(gè)發(fā)生器分支。
研究人員又進(jìn)行了廣泛的實(shí)驗(yàn)來評估該模型。他們首先將GET3D生成的三維紋理網(wǎng)格的質(zhì)量與現(xiàn)有的使用ShapeNet和Turbosquid數(shù)據(jù)集生成的做比較。
接下來，研究人員根據(jù)對比結(jié)果在之后的研究中對模型進(jìn)行了優(yōu)化，并做了更多實(shí)驗(yàn)。
GET3D模型在幾何形狀和紋理能夠?qū)崿F(xiàn)相分離。
如圖，在每一行中展示了由相同的幾何隱藏代碼生成的形狀，同時(shí)更改了紋理代碼。
在每一列中展示了由相同的紋理隱藏代碼生成的形狀，同時(shí)更改了幾何代碼。
另外，研究人員在每一行中相同的紋理隱藏代碼生成的形狀，從左到右插入幾何隱藏代碼。
并由相同的幾何隱藏代碼生成的形狀，同時(shí)從上到下插入紋理代碼。結(jié)果顯示，每個(gè)插值對生成模型都是有意義的。
在每個(gè)模型的子圖中，GET3D能夠在所有類別的不同形狀之間的生成實(shí)現(xiàn)平滑過渡。
在每一行中，通過添加一個(gè)小噪聲來局部擾亂隱藏代碼。通過這種方式，GET3D能夠在局部生成外觀相似但略有差異的形狀。
研究人員指出，未來版本的GET3D可以使用攝像機(jī)姿態(tài)估計(jì)技術(shù)，讓開發(fā)人員訓(xùn)練模型的現(xiàn)實(shí)世界的數(shù)據(jù)，而不是合成數(shù)據(jù)集。
未來，通過改進(jìn)，開發(fā)人員可以在各種3D形狀上一次性訓(xùn)練GET3D，而不需要一次在一個(gè)對象類別上訓(xùn)練它。
英偉達(dá)人工智能研究副總裁Sanja Fidler表示，
GET3D讓我們離人工智能驅(qū)動的3D內(nèi)容創(chuàng)作大眾化又近了一步。它即時(shí)生成帶紋理3D形狀的能力可能會改變開發(fā)人員的游戲規(guī)則，幫助他們用各種有趣的對象快速填充虛擬世界。
作者介紹
論文一作Jun Gao是多倫多大學(xué)機(jī)器學(xué)習(xí)小組的博士生，導(dǎo)師是Sanja Fidler。
除了學(xué)歷優(yōu)異以外，他還是英偉達(dá)多倫多人工智能實(shí)驗(yàn)室的研究科學(xué)家。
他的研究主要集中在深度學(xué)習(xí)（DL），目標(biāo)直指結(jié)構(gòu)化幾何表示學(xué)習(xí)。同時(shí)，他的研究還從人類對2D和3D圖像、視頻的感知中獲得見解。
這么一位優(yōu)秀的高材生，來自北京大學(xué)。他于2018年本科畢業(yè)，獲得學(xué)士學(xué)位。在北大期間，他和王立威教授一同工作。
畢業(yè)后他還在斯坦福大學(xué)、MSRA和英偉達(dá)進(jìn)行過實(shí)習(xí)。
http://www.cs.toronto.edu/~jungao/
Jun Gao的導(dǎo)師同樣是業(yè)內(nèi)翹楚。
Fidler是多倫多大學(xué)的副教授，Vector研究所的一名教師，同時(shí)，她還是該研究所的聯(lián)合創(chuàng)始成員之一。
教學(xué)之外，她還是英偉達(dá)公司的人工智能研究副總裁，領(lǐng)導(dǎo)著多倫多的一個(gè)研究實(shí)驗(yàn)室。
在來到多倫多之前，她是芝加哥豐田技術(shù)研究所的研究助理教授。該研究所位于芝加哥大學(xué)校園內(nèi)，算是個(gè)學(xué)術(shù)機(jī)構(gòu)。
Fidler的研究領(lǐng)域集中在計(jì)算機(jī)視覺（CV）和機(jī)器學(xué)習(xí)（ML），聚焦于CV和圖形學(xué)的交叉領(lǐng)域、三維視覺，以及三維重建與合成，還有圖像注釋的互動方法等等。
https://www.cs.toronto.edu/~fidler/
參考資料：
https://blogs.nvidia.com/blog/2022/09/23/3d-generative-ai-research-virtual-worlds/
https://nv-tlabs.github.io/GET3D/
https://www.engadget.com/nvidia-ai-model-get3d-virtual-worlds-objects-130021127.html