Piektdien pētnieki no NVIDIA paziņoja Magic3D – mākslīgā intelekta modeli, kas spēj ģenerēt 3D modeļus no tekstuāliem aprakstiem. Pēc pavediena ievadīšanas, piemēram, “Zilā indes šautriņu varde, kas sēž uz ūdensrozes”, Magic3D aptuveni 40 minūšu laikā ģenerē XNUMXD sieta modeli ar krāsu tekstūru. Ar modifikācijām iegūto modeli var izmantot videospēlēs vai mākslas ainās CGI formātā.
Savā zinātniskajā rakstā NVIDIA uzskata, ka Magic3D ir atbilde uz DreamFusion, teksta pārveides 3D modeli, par kuru Google pētnieki paziņoja septembrī. Tāpat kā DreamFusion izmanto teksta-attēla modeli, lai izveidotu 2D attēlu, kas pēc tam tiek optimizēts tilpuma NeRF (neirāla starojuma lauka) datos, Magic3D izmanto divpakāpju procesu, kas ņem aptuvenu modeli, kas izveidots ar zemu izšķirtspēju un optimizē to, lai. augstāka izšķirtspēja. Pēc raksta autoru domām, iegūtā Magic3D metode spēj ģenerēt trīsdimensiju objektus divreiz ātrāk nekā DreamFusion.
Magic3D var arī veikt 3D tīklu rediģēšanu lidojuma laikā. Izmantojot zemas izšķirtspējas 3D modeli un pamata rīka padomu, varat mainīt tekstu, lai mainītu iegūto modeli. Magic3D arī demonstrē viena un tā paša sižeta saglabāšanu vairākās paaudzēs (jēdziens, ko bieži sauc par saskaņotību) un 2D attēla stila (piemēram, kubisma gleznas) pielietošanu 3D modelī.
NVIDIA ar savu pētniecības darbu neizlaida nevienu Magic3D kodu.
Spēja ģenerēt 3D no teksta šķiet dabiska evolūcija mūsdienu difūzijas modeļos, kas izmanto neironu tīklus, lai sintezētu jaunu saturu pēc intensīvas apmācības par datu masīvu. Tikai 2022. gadā mēs redzējām jaudīgus teksta pārveides modeļus, piemēram, DALL-E un Stable Diffusion, kā arī elementārus Google un Meta teksta-video ģeneratorus.
Kas attiecas uz Magic3D, pētnieki cer, ka tas ļaus ikvienam izveidot 3D modeļus bez īpašas apmācības. Pēc pilnveidošanas iegūtā tehnoloģija varētu paātrināt videospēļu (un virtuālās realitātes) attīstību, un galu galā to var izmantot filmu un televīzijas specefektos. Sava raksta beigās viņi raksta: "Mēs ceram, ka ar Magic3D mēs varam demokratizēt 3D sintēzi un atraisīt ikviena radošo potenciālu 3D satura veidošanā."
Jūs varat palīdzēt Ukrainai cīnīties pret krievu iebrucējiem. Labākais veids, kā to izdarīt, ir ziedot līdzekļus Ukrainas bruņotajiem spēkiem Savelife vai izmantojot oficiālo lapu NBU.
Lasi arī:
- Zviedrijā viņi iemācījās drukāt mikroelektroniku uz 3D printeriem
- Putekļus var izmantot 3D drukāšanai uz Marsa