Phi mākslīgā intelekta modelis Microsoft - mazs, lēts un necieš no "halucinācijām". Tā viņi saka par jauno valodas modeli, kuram tiek prognozēta liela nākotne.
GPT ir absolūti lielisks, taču tajā pašā laikā tas ir ļoti dārgs, un tas nevar būt ideāls visiem. Šo un daudzu citu iemeslu dēļ Microsoft eksperimentē ar daudz mazākiem AI modeļiem. Tiek uzskatīts, ka Phi-3-mini pat apkauno OpenAI inženieru darbu.
Interesanti arī: Nākotnes tranzistori: mūs sagaida jauns mikroshēmu laikmets
ChatGPT nav panaceja
ChatGPT ir izgudrojums, kas tiek finansēts, pārraudzīts un uzlabots Microsoft. Patiesībā tas nepieder Microsoft, un uzņēmums OpenAI, kas Microsoft nepieder (viņa ir vadošais, lai gan ne lielākais investors). GPT valodas modelis deva Microsoft milzīga priekšrocība salīdzinājumā ar pārējām lielajām tehnoloģiju korporācijām, kuras tagad steidzas panākt. Tomēr ar GPT ir ļoti daudz problēmu, no kurām daudzas vēl nevar atrisināt.
Pirmkārt, šis ir ļoti resursietilpīgs valodas modelis. Tīmeklī orientēts Microsoft OpenAI Copilot vai ChatGPT rada ļoti augstas darbības izmaksas Microsoft. Šī ir ne tikai GPT, bet arī visu galveno valodu modeļu iezīme. Turklāt GPT, tāpat kā tā konkurenti, ir pakļauts "halucinācijām", tas ir, tas var radīt atbildes uz vaicājumiem, kas satur nepatiesu vai maldinošu informāciju. Jo vairāk datu šāds modelis absorbē, jo vairāk tam ir tendence ģenerēt līdzīgu saturu. Tāpēc halucinācijas un nepatiesi apgalvojumi nav no digitālā pirksta izsūkts mīts. Lietotāji bieži atzīmē, ka lielie valodu modeļi bieži pieļauj kļūdas, sniedz neprecīzus datus un izmanto neesošus faktus.
Abas problēmas ir ļoti nopietnas, tāpēc OpenAI, Microsoft, Meta, Google un citi strādā, lai izstrādātu ne tikai Large Language Model tehnoloģiju, bet arī Small Language Model, kas praksē var dot daudz labākus rezultātus.
Digitālajam grāmatveža palīgam nav daudz jāzina par kvantu fiziku. Tas var būt daudz mazāks un mazāk sarežģīts (un tāpēc lētāks), un, apmācot tikai datus, kas nepieciešami tā mērķim, teorētiski vajadzētu mazāk halucinēt. Lai gan to ir vieglāk pateikt nekā izdarīt. GenAI tehnoloģija joprojām ir mežonīgs IT uzņēmums. Un, lai arī darbs rit nepieredzētā tempā, praktiski izrāvienus fundamentālos jautājumos tomēr ir grūti izdarīt. Bet uzņēmums Microsoft nesen paziņoja par šādu izrāvienu. Mēs runājam par mazu valodas modeli Microsoft Phi.
Interesanti arī: Kā Taivāna, Ķīna un ASV cīnās par tehnoloģiju dominējošo stāvokli: lielais mikroshēmu karš
Kas ir zināms par Microsoft Phi
Pirmkārt, jāatzīmē, ka eksperiments tika veikts bez OpenAI uzņēmuma līdzdalības. Tas ir, tā ir inženieru attīstība Microsoft.
Modeļi Microsoft Phi ir mazu valodu modeļu (SLM) sērija, kas nodrošina izcilus rezultātus dažādos testos. Pirmajam modelim Phi-1 bija 1,3 miljardi parametru, un tas sasniedza labākos Python kodēšanas rezultātus starp esošajiem SLM.
Pēc tam izstrādātāji koncentrējās uz valodas izpratni un domāšanu, izveidojot Phi-1.5 modeli, kuram arī bija 1,3 miljardi parametru un kas uzrādīja veiktspēju, kas salīdzināma ar modeļiem ar piecreiz lielākiem parametriem.
Phi-2 ir 2,7 miljardu parametru modelis, kas demonstrē izcilas argumentācijas un valodas izpratnes spējas, darbojoties labāko bāzes modeļu līmenī ar 13 miljardiem parametru. Phi-2 izceļas no citiem modeļiem, pateicoties jauninājumiem modeļu mērogošanas un datu pārraudzības apmācībā.
Tas ir pieejams Azure AI Studio modeļu katalogā, kas atvieglo izpēti un attīstību valodu modeļu jomā. Phi-2 tika palaists 2023. gada decembrī. Izstrādātāji apliecina, ka tas darbojas tikpat labi kā Mistral vai lama 2 no Meta. Un Phi-3 darbojas pat labāk nekā iepriekšējā versija.
Tomēr nupat izziņotais Phi-3 modelis ir pilnīgi jauns kvalitātes ziņā. Vismaz tā var spriest pēc sniegtās informācijas Microsoft. Pēc uzņēmuma domām, saskaņā ar visu zināmo etalonu rādītājiem Phi-3 darbojas labāk nekā jebkurš cits līdzīga izmēra modelis, ieskaitot valodas analīzi, programmēšanas darbu vai matemātisko darbu.
Visiem interesentiem nupat kļuvis pieejams Phi-3-mini, šī modeļa mazākā versija. Tas ir, tas ir pieejams kopš 23. aprīļa. Phi-3-mini ir 3,8 miljardi parametru un, saskaņā ar mērījumiem Microsoft, divreiz efektīvāks par jebkuru citu tāda paša izmēra modeli. To var atrast mākoņpakalpojuma AI modeļu katalogā Microsoft Azure, Hugging Face mašīnmācīšanās modeļu platforma un Ollama, ietvars modeļu palaišanai vietējā datorā.
Kā viņš apgalvo Microsoft, Phi-3-mini nav nepieciešamas jaudīgas mikroshēmas Nvidia. Modelis var darboties ar parastajām datora mikroshēmām. Vai der pat tālrunī, kas nav savienots ar internetu.
Mazāka jauda nozīmē arī to, ka modeļi nebūs tik precīzi. Phi-3 nederēs ne ārstiem, ne nodokļu grāmatvežiem, bet palīdzēs vienkāršākos darbos. Piemēram, lai mērķētu uz reklāmu vai apkopotu atsauksmes internetā.
Tā kā mazākiem modeļiem ir nepieciešama mazāka apstrāde, to izmantošana privātiem uzņēmumiem būs lētāka. Tas ir, iekšā Microsoft būs vairāk klientu, kuri vēlētos savā darbā iesaistīt AI, taču uzskatīja to par pārāk dārgu. Tomēr vēl nav skaidrs, cik tie maksās.
Pagaidām nav zināms, kad parādīsies mazie un vidējie modeļi. Bet pēdējais būs jaudīgāks un dārgāks. Lai gan jau zināms, ka Phi-3-small būs 7 miljardi parametru, bet Phi-3-medium — pat 14 miljardu parametru.
Lasi arī:
Kā lietot Phi-3-mini?
GPT-4 Turbo prasa jaudīgas AI mikroshēmas, kas joprojām ir ļoti dārgas. Phi-3 mazais runas modelis var darboties bezsaistē, bez mākoņa, pat ar mikroshēmu mobilajā tālrunī.
Phi-3 nav galalietotājiem paredzēts produkts, bet gan tehnoloģija, kuru izstrādātāji varēs izmantot un ieviest savās lietojumprogrammās – gan uz mākoņa bāzes, tas ir, attālināti izvietotās, gan tādās, kas darbojas lokāli un bezsaistē. Paredzams, ka tas nevainojami darbosies ar ierīcēm un to sastāvdaļām, piemēram, mobilajiem tālruņiem, automašīnām un to informācijas un izklaides sistēmām vai pat IoT sensoriem. Dažos gadījumos šī tehnoloģija var būt nenovērtējama.
Microsoft pat sniedz konkrētu piemēru, lai mums nebūtu jāpiepūlas iztēlei. Iedomājieties, ka lauksaimnieks pārbauda savas kultūras un redz slimības pazīmes uz lapām, kātiem un zariem. Atrodoties tālu no telekomunikāciju mastiem, viņam vajadzēs tikai izņemt tālruni, nofotografēt bojājumus, ievietot to lietojumprogrammā, kurā tiek izmantota tehnoloģija Phi-3 - un modelis ātri un bezsaistē analizēs fotoattēlu un sniegs padomu. kā tieši cīnīties ar šo slimību.
Kā viņš skaidro Microsoft, GPT panākumu atslēga bija liela datu apjoma izmantošana apmācībai. Ar tik lielām datu kopām par augstu datu kvalitāti nevar runāt. Tikmēr, apmācot Phi modeli, tika izmantota tieši pretēja OpenAI pieeja. Tā vietā, lai modeli pieblīvētu ar informāciju, galvenā uzmanība tika pievērsta pakāpeniskai un rūpīgai apmācībai.
Tā vietā, lai izmantotu neapstrādātus interneta datus, pētnieki Microsoft izveidoja TinyStories datu kopu, ģenerējot miljoniem miniatūru "mazuļu" stāstu. Šie stāsti tika izmantoti, lai apmācītu ļoti mazus valodu modeļus. Pēc tam pētnieki devās tālāk, izveidojot CodeTextbook datu kopu, kurā tika izmantoti rūpīgi atlasīti, publiski pieejami dati, kas tika filtrēti pēc izglītības vērtības un satura kvalitātes. Pēc tam šie dati tika vairākas reizes filtrēti un ievadīti atpakaļ lielā valodas modelī (LLM) turpmākai sintēzei.
Tas viss ļāva izveidot datu masīvu, kas bija pietiekams, lai apmācītu spējīgāku SLM. Turklāt Phi-3 modeļa izstrādē tika izmantota daudzlīmeņu pieeja riska pārvaldībai un mazināšanai, ieskaitot novērtēšanu, testēšanu un manuālas korekcijas. Rezultātā, kā viņš apgalvo Microsoft, izstrādātāji, kas izmanto Phi-3 modeļu saimi, var izmantot Azure AI pieejamo rīku komplektu, lai izveidotu drošākas un uzticamākas lietojumprogrammas.
Lasi arī: Teleportācija no zinātniskā viedokļa un tās nākotne
Microsoft Vai Phi aizstās ChatGPT tipa modeļus?
Nepavisam. Nelieliem valodu modeļiem (SLM), pat ja tie ir apmācīti, izmantojot augstas kvalitātes datus, ir ierobežojumi, un tie nav paredzēti dziļai apguvei. Lielo valodu modeļi (LLM) pārspēj SLM sarežģītā spriešanā to lieluma un skaitļošanas jaudas dēļ. LLM ir un arī turpmāk būs īpaši noderīgi tādās jomās kā zāļu atklāšana, kur ir jāmeklē plašas zinātnisko rakstu kolekcijas un jāanalizē sarežģīti modeļi. No otras puses, SLM var izmantot vienkāršākiem uzdevumiem, piemēram, gara teksta dokumenta galveno punktu apkopošanai, satura veidošanai vai klientu apkalpošanas tērzēšanas robotu darbināšanai.
Microsoft, viņa teica, jau iekšēji izmanto hibrīdu modeļu kopas, kur LLM uzņemas vadību, novirzot noteiktus vaicājumus, kuriem nepieciešama mazāka skaitļošanas jauda, uz SLM, kamēr tas pats apstrādā citus, sarežģītākus vaicājumus. Phi ir novietots skaitļošanai ierīcēs, neizmantojot mākoni. Tomēr joprojām būs plaisa starp mazo valodu modeļiem un intelekta līmeni, ko var iegūt ar lieliem modeļiem mākonī. Šī plaisa, pateicoties nepārtrauktai LLM attīstībai, visticamāk, drīz nepazudīs.
Phi-3 vēl ir jāpārbauda ārējām neatkarīgām pusēm. Microsoft dažreiz runā par 25 reizes lielāku efektivitāti vai energoefektivitāti ekstremālos gadījumos, salīdzinot ar konkurentiem, kas izklausās diezgan pasakaini. Lai gan, no otras puses, nevar aizmirst, ka šie gadi ir pagājuši Microsoft mūs nedaudz atradināja no tā, ka tā ir izteikta IT inovāciju līdere, un varbūt tāpēc mēs tam īsti neticam. AI balstītas programmas, kas reaģē uzreiz un darbojas bezsaistē, nevis ģenerē? Tā būtu pašreizējās revolūcijas cienīga kulminācija. Diemžēl ir viena galvenā problēma.
Lasi arī: Viss par Neuralink Telepathy mikroshēmu: kas tas ir un kā tas darbojas
Phi-3 no Microsoft saprot tikai angļu valodu
Phi-3 masveidā nesagrāva petabaitus. Rūpīga un skrupuloza modeļa apmācība ir saistīta ar vienu nelielu problēmu. Phi-3 ir apmācīts ar informāciju angļu valodā, un viņam vēl nav ne jausmas par citu valodu. Ne tikai ukraiņu, bet arī vācu, spāņu, franču vai ķīniešu. Protams, tas ievērojami samazina tā pievilcību lielākajai daļai lietotāju visā pasaulē.
Bet iekšā Microsoft apliecināja, ka notiek darbs pie tā izstrādes un uzlabošanas. Lai gan nevajadzētu sevi mānīt ar to, ka Ukrainas tirgus ir prioritāte jebkurai no lielajām korporācijām. Tāpēc uz ukraiņu valodas atbalstu būs jāgaida ļoti ilgi. Taču šis fakts nekad nav apturējis entuziastus un tos, kas vēlas sekot līdzi progresam.
Lasi arī: