Humanoīdu robotu attīstība ir virzījusies lēnā tempā gandrīz divas desmitgades, taču pēdējā laikā mēs esam redzējuši arvien vairāk sasniegumu šajā jomā. Kā mēs nesen rakstījām, AI robots tika prezentēts MWC 2024 Amerikaun cita attīstība, Unitree H1, pārspēja ātruma rekordu starp humanoīdiem robotiem. Un tagad internetā ir parādījies iespaidīgs rezultāts sadarbībai starp Figure AI un OpenAI uzņēmumiem - satriecošs video ar humanoīdu robotu, kas tagad spēj sarunāties ar cilvēkiem.
Startup Figure AI izlaida video, kurā redzams, ka 01. fig. robots strādā ar jauno vizuālās valodas modeli (VLM). Tajā 01. attēls stāv pie galda, uz kura atrodas šķīvis, ābols un krūze. Kreisajā pusē ir žāvētājs. Un uz cilvēka jautājumu, ko robots redz sev priekšā, viņš atbild, sīki aprakstot visu, kas guļ uz galda.
Un tad vīrietis jautā, vai viņš var kaut ko ēst, un robots atbild: "Protams", un tad ar veiklu gludu kustību paņem ābolu un pasniedz to vīrietim. Pēc tam seko vēl viens satriecošs demonstrējums - vīrietis izlej saburzītus atkritumus no groza 01. attēla priekšā un lūdz robotam paskaidrot, kāpēc viņš tā rīkojās, un tajā pašā laikā savākt atkritumus grozā. Un viņš paskaidro savu "domu", liekot papīru atpakaļ miskastē. "Tāpēc es jums iedevu ābolu, jo tas ir vienīgais ēdamais priekšmets, ko es varētu jums nodot no galda," sacīja robots.
Uzņēmuma pārstāvji paskaidroja, ka 01. attēlā ir izmantots iepriekš apmācīts multimodāls modelis OpenAI, VLM, lai saprastu attēlus un tekstus, un paļaujas uz balss uzvednēm, lai ģenerētu atbildes. Tas atšķiras no, piemēram, OpenAI GPT-4, kas koncentrējas uz rakstiskām uzvednēm.
Tas arī izmanto to, ko uzņēmums sauc par "apgūtām zema līmeņa bimanuālajām manipulācijām". Sistēma koordinē precīzu attēla kalibrēšanu (līdz pikseļu līmenim) ar savu neironu tīklu kustības kontrolei. "Šie tīkli saņem attēlus ar frekvenci 10 Hz un ģenerē 24-DOF darbības (plaukstas pozas un pirkstu locītavu leņķi) ar 200 Hz," teikts AI paziņojumā.
Uzņēmums apgalvo, ka katra uzvedība videoklipā ir balstīta uz sistēmas mācīšanos, tāpēc neviens aizkulisēs nevelk 01. attēla auklas. Protams, ir kāda nianse – nav zināms, cik reizes robots izgāja šo procedūru. Varbūt tā bija simtā reize, kas izskaidro viņa precīzās kustības. Bet jebkurā gadījumā šis sasniegums izskatās iespaidīgs un nedaudz fantastisks.
Attēls 01 tagad pabeidz reālās pasaules uzdevumus
Viss ir autonoms:
-Autonomā navigācija un uz spēku balstītas manipulācijas
- Apgūts redzes modelis atkritumu tvertņu noteikšanai un prioritāšu noteikšanai
- Reaktīvās manipulācijas ar atkritumu tvertni (noturīga, lai mainītu pozu)
-Vispārināma citiem pick/place uzdevumiem attēlstwitter.com/0wFmYnq0GC— figūra (@Figure_robot) Februāris 26, 2024
Lasi arī: