Phi model umjetne inteligencije od strane Microsoft - mali, jeftin i ne pati od "halucinacija". Tako kažu o novom jezičkom modelu kojem se predviđa velika budućnost.
GPT je apsolutno odličan, ali u isto vrijeme je užasno skup i ne može biti savršen za svakoga. Iz ovih i mnogih drugih razloga Microsoft eksperimentira sa mnogo manjim AI modelima. Za Phi-3-mini se kaže da čak posramljuje rad OpenAI inženjera.
Također zanimljivo: Tranzistori budućnosti: Očekuje nas nova era čipova
ChatGPT nije panaceja
ChatGPT je izum koji se finansira, kurira i poboljšava Microsoft. Zapravo, ne pripada Microsoft, te kompanija OpenAI, koja Microsoft nije vlasnik (ona je vodeći, iako ne i najveći investitor). GPT jezički model je dao Microsoft ogromnu prednost u odnosu na ostale velike tehnološke korporacije koje sada žure da sustignu. Međutim, postoji ogroman broj problema sa GPT-om, od kojih se mnogi još ne mogu riješiti.
Prije svega, ovo je jezički model koji zahtijeva mnogo resursa. Web oriented Microsoft OpenAI Copilot ili ChatGPT generišu veoma visoke operativne troškove za Microsoft. Ovo je karakteristika ne samo GPT-a, već i svih glavnih jezičkih modela. Osim toga, GPT je, kao i njegovi konkurenti, sklon "halucinacijama", odnosno može generirati odgovore na upite koji sadrže lažne ili obmanjujuće informacije. Što više podataka takav model apsorbuje, to više ima tendenciju da generiše sličan sadržaj. Dakle, halucinacije i lažne izjave nisu mit isisan iz digitalnog prsta. Korisnici često primjećuju da veliki jezički modeli često griješe, daju netačne podatke i rade na nepostojećim činjenicama.
Oba problema su veoma ozbiljna, zbog čega OpenAI, Microsoft, Meta, Google i drugi rade na razvoju ne samo tehnologije velikog jezičkog modela, već i modela malog jezika, koji u praksi može dati mnogo bolje rezultate.
Asistent digitalnog računovođe ne mora znati mnogo o kvantnoj fizici. Može biti mnogo manji i manje složen (a samim tim i jeftiniji), a treniranjem samo na podacima potrebnim za njegovu svrhu, teoretski bi trebao manje halucinirati. Mada, ovo je lakše reći nego učiniti. GenAI tehnologija je još uvijek divlji IT poduhvat. I iako posao napreduje neviđenim tempom, još uvijek je teško napraviti iskorak u fundamentalnim pitanjima. Ali kompanija Microsoft nedavno je najavio takav proboj. Govorimo o malom jezičkom modelu Microsoft Phi.
Također zanimljivo: Kako se Tajvan, Kina i SAD bore za tehnološku dominaciju: veliki rat čipova
O čemu se zna Microsoft Phi
Prije svega, treba napomenuti da je eksperiment proveden bez sudjelovanja kompanije OpenAI. Odnosno, to je razvoj inženjera Microsoft.
Modeli Microsoft Phi je serija malih jezičkih modela (SLM) koji postižu izuzetne rezultate u raznim testovima. Prvi model, Phi-1, imao je 1,3 milijarde parametara i postigao je najbolje rezultate kodiranja na Python-u među postojećim SLM-ovima.
Programeri su se zatim fokusirali na razumijevanje jezika i razmišljanje, kreirajući model Phi-1.5, koji je također imao 1,3 milijarde parametara i pokazao performanse uporedive s modelima sa pet puta većim parametrima.
Phi-2 je model od 2,7 milijardi parametara koji demonstrira izvanredne sposobnosti zaključivanja i razumijevanja jezika, na nivou najboljih osnovnih modela sa 13 milijardi parametara. Phi-2 se izdvaja od ostalih modela po svojim inovacijama u skaliranju modela i obuci za kuriranje podataka.
Dostupan je u katalogu modela Azure AI Studio, koji olakšava istraživanje i razvoj u oblasti jezičkih modela. Phi-2 je lansiran u decembru 2023. Programeri uvjeravaju da radi jednako dobro kao Mistral ili lama 2 iz Mete. A Phi-3 radi čak i bolje od prethodne verzije.
Međutim, upravo najavljeni model Phi-3 potpuno je nov po kvaliteti. Barem tako možete suditi iz dostavljenih informacija Microsoft. Prema navodima kompanije, prema pokazateljima svih poznatih benčmarka, Phi-3 radi bolje od bilo kojeg drugog modela slične veličine, uključujući analizu jezika, programiranje ili matematički rad.
Phi-3-mini, najmanja verzija ovog modela, upravo je postala dostupna svim zainteresovanima. Odnosno, dostupan je od 23. aprila. Phi-3-mini ima 3,8 milijardi parametara i, prema mjerenjima Microsoft, dvostruko efikasniji od bilo kojeg drugog modela iste veličine. Može se naći u katalogu AI modela cloud servisa Microsoft Azure, platforma modela za strojno učenje Hugging Face i Ollama, okvir za pokretanje modela na lokalnoj mašini.
Kako on tvrdi Microsoft, Phi-3-mini ne zahtijeva moćne čipove Nvidia. Model može raditi na običnim kompjuterskim čipovima. Ili stane čak i na telefon koji nije povezan na internet.
Manja snaga takođe znači da modeli neće biti tako precizni. Phi-3 neće biti prikladan za liječnike ili porezne računovođe, ali će pomoći u jednostavnijim zadacima. Na primjer, za ciljano oglašavanje ili sumiranje recenzija na Internetu.
Budući da manji modeli zahtijevaju manje obrade, privatnim kompanijama će biti jeftiniji za korištenje. To jest, u Microsoft Biće više kupaca koji bi želeli da uključe veštačku inteligenciju u svoj rad, ali smatraju da je to preskupo. Međutim, još nije jasno koliko će koštati.
Još nije poznato kada će se pojaviti mali i srednji modeli. Ali potonji će biti moćniji i skuplji. Iako je već poznato da će Phi-3-mali imati 7 milijardi parametara, a Phi-3-srednji čak 14 milijardi parametara.
Pročitajte također:
- Grafenski mikročipovi će učiniti telefone bržim i lakšim
- O kvantnim kompjuterima jednostavnim riječima
Kako koristiti Phi-3-mini?
GPT-4 Turbo zahteva moćne AI čipove, koji su i dalje veoma skupi. Phi-3 mali govorni model može raditi van mreže, bez oblaka, čak i uz pomoć čipa na mobilnom telefonu.
Phi-3 nije proizvod za krajnje korisnike, već tehnologija koju će programeri moći koristiti i implementirati u svoje aplikacije – kako u oblaku, odnosno udaljenim, tako i onima koje rade lokalno i offline. Očekuje se da će neometano raditi sa uređajima i njihovim komponentama, kao što su mobilni telefoni, automobili i njihovi infotainment sistemi, ili čak IoT senzori. U nekim scenarijima ova tehnologija može biti od neprocjenjive vrijednosti.
Microsoft čak daje i konkretan primjer da ne bismo morali naprezati maštu. Zamislite farmera koji pregleda svoje usjeve i vidi znakove bolesti na lišću, stabljikama i granama. Budući da je daleko od telekomunikacionih jarbola, moraće samo da izvadi telefon, uslika oštećenje, ubaci ga u aplikaciju koja koristi Phi-3 tehnologiju - a model će brzo i van mreže analizirati fotografiju i dati savet kako se tačno boriti protiv ove bolesti.
Kako on objašnjava Microsoft, ključ uspeha GPT-a bio je da se izvuče iz ogromne količine podataka za obuku. Sa tako velikim skupovima podataka, visok kvalitet podataka ne dolazi u obzir. U međuvremenu, prilikom obuke Phi modela, korišten je potpuno suprotan OpenAI pristup. Umjesto natrpavanja modela informacijama, fokus je bio na postepenom i temeljnom učenju.
Umjesto korištenja sirovih internetskih podataka, istraživači Microsoft stvorio skup podataka TinyStories, generirajući milione minijaturnih priča o "bebi". Ove priče su korištene za obuku vrlo malih jezičkih modela. Istraživači su zatim otišli dalje stvarajući skup podataka CodeTextbook, koji je koristio pažljivo odabrane, javno dostupne podatke koji su filtrirani prema obrazovnoj vrijednosti i kvalitetu sadržaja. Ovi podaci su zatim filtrirani nekoliko puta i vraćeni u veliki jezički model (LLM) za dalju sintezu.
Sve ovo je omogućilo stvaranje niza podataka dovoljnih za obuku sposobnijeg SLM-a. Pored toga, u razvoju Phi-3 modela korišćen je pristup na više nivoa upravljanja i ublažavanja rizika, uključujući procenu, testiranje i ručna prilagođavanja. Kao rezultat, kako on tvrdi Microsoft, programeri koji koriste porodicu modela Phi-3 mogu iskoristiti prednosti skupa alata koji je dostupan u Azure AI za izgradnju sigurnijih i pouzdanijih aplikacija.
Pročitajte također: Teleportacija sa naučne tačke gledišta i njena budućnost
Microsoft Hoće li Phi zamijeniti modele tipa ChatGPT?
Ne sve. Mali jezički modeli (SLM), čak i kada su obučeni na visokokvalitetnim podacima, imaju svoja ograničenja i nisu dizajnirani za duboko učenje. Modeli velikih jezika (LLM) nadmašuju SLM u složenom zaključivanju zbog svoje veličine i računarske snage. LLM su, i nastavit će biti, posebno korisni u poljima kao što je otkrivanje lijekova, gdje se mora pretraživati kroz ogromne zbirke naučnih radova i analizirati složene obrasce. S druge strane, SLM se može koristiti za jednostavnije zadatke, kao što je sumiranje glavnih tačaka dugog tekstualnog dokumenta, kreiranje sadržaja ili pokretanje chatbotova za korisničku podršku.
Microsoft, rekla je ona, već koristi hibridne skupove modela interno, gdje LLM preuzima vodstvo, usmjeravajući određene upite koji zahtijevaju manje računarske snage na SLM dok sam obrađuje druge, složenije upite. Phi je pozicioniran za računanje na uređajima, bez korištenja oblaka. Međutim, i dalje će postojati jaz između malih jezičkih modela i nivoa inteligencije koji se može dobiti s velikim modelima u oblaku. Ovaj jaz, zahvaljujući kontinuiranom razvoju LLM, vjerovatno neće uskoro nestati.
Fi-3 tek treba da bude verifikovan od strane spoljnih nezavisnih strana. Microsoft ponekad govori o 25 puta većoj efikasnosti ili energetskoj efikasnosti u ekstremnim slučajevima, u poređenju sa konkurentima, što zvuči prilično fantastično. Iako se, s druge strane, ne može zaboraviti da su ove godine prošle Microsoft malo nas je odviknuo od činjenice da je jasan lider u IT inovacijama, pa možda baš zato i ne vjerujemo u to. Programi zasnovani na veštačkoj inteligenciji koji reaguju trenutno i rade van mreže umesto da se generišu? Ovo bi bio dostojan vrhunac sadašnje revolucije. Nažalost, postoji jedan ključni problem.
Pročitajte također: Sve o Neuralink Telepathy čipu: šta je to i kako radi
Phi-3 iz Microsoft razumije samo engleski
Phi-3 nije progutao petabajte koji su mu bačeni masovno. Pažljiva i skrupulozna obuka modela uključuje jedan manji problem. Phi-3 je obučen sa informacijama na engleskom i još nema pojma ni o jednom drugom jeziku. Ne samo ukrajinski, već i njemački, španski, francuski ili kineski. Naravno, to uvelike smanjuje njegovu privlačnost većini korisnika širom svijeta.
Ali unutra Microsoft uvjeren da je u toku rad na njegovom razvoju i unapređenju. Iako se ne treba zavaravati činjenicom da je ukrajinsko tržište prioritet za bilo koju od velikih korporacija. Stoga ćemo morati dugo čekati na podršku ukrajinskom jeziku. Ali ta činjenica nikada nije zaustavila entuzijaste i one koji žele da idu u korak sa napretkom.
Pročitajte također: