Meta platforme na godišnjem događaju Meta Connect u Kaliforniji predstavljen nekoliko novih AI funkcija za njegove popularne aplikacije Facebook, Instagram i WhatsApp, ali najimpresivnija inovacija tehnološkog giganta možda je mnogima ostala neprimijećena. Govorimo o modelu Llama 2 Long AI.
Tim istraživača iz kompanije Meta nekako je tiho objavio članak u kojem su predstavili novi model umjetne inteligencije, Llama 2 Long, sposoban da generiše koherentne i relevantne odgovore na dugačke upite korisnika. Najviše, kažu, nadmašuje neke od najboljih konkurenata u industriji.
Llama 2 Long je proširenje Lama 2, AI model otvorenog koda Meta objavljen tokom ljeta koji može učiti iz različitih izvora podataka i obavljati razne zadatke kao što su kodiranje, matematika, razumijevanje jezika i još mnogo toga. Međutim, Llama 2 Long je bio obučen za više podataka koji sadrže duže tekstove, a ovaj algoritam je modificiran za rukovanje dužim nizovima informacija. Ovo mu omogućava da nadmaši OpenAI GPT-3.5 Turbo i Claude 2, koji imaju ograničenja u količini konteksta koji mogu koristiti za generiranje odgovora.
Istraživači Meta koristili različite verzije Llame 2 - od 7 milijardi do 70 milijardi parametara, odnosno vrijednosti koje AI model može promijeniti učenjem iz podataka. Dodali su još 400 milijardi tokena (jedinica teksta) podataka koji su sadržavali duži tekst od originalnog skupa podataka modela. Također su malo prilagodili arhitekturu AI modela koristeći tehniku Rotary Positional Embedding (RoPE) tako da model može generirati točne i korisne odgovore koristeći manje informacija i memorije od drugih metoda.
Tim je koristio učenje s pojačanjem iz povratnih informacija od ljudi (RLHF), metodu u kojoj se AI model nagrađuje za tačne odgovore i ispravljaju ga ocjenjivači, a sintetičke podatke generira sam Llama 2 chat. kako bi poboljšao svoje performanse u različitim zadacima. .
U radu se tvrdi da model može generirati visokokvalitetne odgovore na korisničke upite duge do 200 znakova, što je ekvivalentno oko 40 stranica teksta. Istraživači kažu da je Llama 2 Long korak ka stvaranju opštijih i svestranijih AI modela koji mogu zadovoljiti složene i raznolike potrebe korisnika. Oni također prepoznaju potencijalne etičke i društvene implikacije takvih modela i pozivaju na dalja istraživanja i dijalog o tome kako ih koristiti odgovorno i na korist.
Pročitajte također: