Tim sa Univerziteta u Tokiju predstavio je Alter3, humanoidnog robota koji može da izvodi pokrete koristeći GPT-4 Large Language Model (LLM). Alter3 koristi najnoviji alat Otvori AI da dinamički zauzima različite poze, od selfie poze do duhova, sve bez potrebe za unaprijed programiranim unosima u bazu podataka.
"Alter3-ov odgovor na konverzacijski sadržaj koristeći izraze lica i geste je značajan napredak u humanoidnoj robotici koja se lako prilagođava drugim androidima uz minimalne promjene", rekli su istraživači.
U polju integracije LLM-a sa robotima, fokus je na poboljšanju osnovne komunikacije i modeliranju realnih odgovora. Istraživači se također bave LLM-ovim mogućnostima kako bi robotima omogućili razumijevanje i izvršavanje složenih instrukcija, čime se povećava njihova funkcionalnost.
Tradicionalno, upravljanje na niskom nivou roboti je vezan za hardver i nalazi se izvan djelokruga LLM korporacija. Ovo stvara poteškoće za direktno upravljanje radovima zasnovanim na LLM. Rješavajući ovaj problem, japanski tim je razvio metodu pretvaranja izraza ljudskih pokreta u kod razumljiv za Android. To znači da robot može samostalno generirati niz radnji tokom vremena bez potrebe da programeri pojedinačno programiraju svaki dio tijela.
Tokom interakcije, osoba može dati Alter3 komande kao što je „Snimi selfi sa svojim iPhone-om“. Nakon toga, robot pokreće niz zahtjeva GPT-4 kako bi dobio smjernice o potrebnim koracima. GPT-4 će to prevesti u Python kod koji omogućava radu da "razumije" i izvede potrebne pokrete. Ova inovacija omogućava Alter3 da pomjera gornji dio tijela dok mu donji dio tijela ostaje nepomičan, pričvršćen za postolje.
Alter3 je treća iteracija u Alterovoj seriji humanoidnih robota od 2016. godine, sa 43 aktuatora odgovorna za izraze lica i pokrete udova koje pokreće komprimirani zrak. Ova konfiguracija pruža širok spektar izražajnih gestova. Robot ne može hodati, ali može imitirati tipične pokrete hodanja i trčanja.
Alter3 je takođe pokazao sposobnost kopiranja ljudskih poza pomoću kamere i OpenPose okvira. Robot prilagođava svoje zglobove uočenim položajima i čuva uspješne imitacije za kasniju upotrebu. Interakcija s čovjekom dovela je do raznovrsnijih položaja, podržavajući ideju da različiti pokreti proizlaze iz imitacije čovjeka, slično onome kako novorođenčad uče kroz imitaciju.
Prije LLM-a, istraživači su morali pažljivo kontrolirati sva 43 aktuatora kako bi ponovo kreirali nečiju pozu ili simulirali ponašanje, kao što je posluživanje čaja ili igranje šaha. To je zahtijevalo brojna ručna podešavanja, ali AI pomogao da se tim oslobodi ove rutine. „Očekujemo da se Alter3 efikasno uključi u dijalog prikazujući izraze lica i gestove relevantne za kontekst. Pokazalo je sposobnost da odražava emocije, na primjer, da pokaže tugu ili sreću kao odgovor, dijeleći na taj način emocije s nama", kažu istraživači.
Pročitajte također: