Hiljuti on ChatGPT-st saanud tehisintellekti uus kuum koht, kus Microsoft ja Google Silicon Valleys investeerivad sellisesse tehnoloogiasse (Microsoftil on 10 miljardi dollari suurune osalus ChatGPT taga olevas ettevõttes OpenAI ja Google andis hiljuti välja oma BARD-mudeli). samas kui Hiina Interneti-tehnoloogia ettevõtted, mida esindavad Baidu ja teised, on samuti teatanud, et nad arendavad sellist tehnoloogiat ja hakkavad lähitulevikus tööle. Hiinas on Baidu ja teised Interneti-tehnoloogia ettevõtted samuti teatanud, et nad arendavad selliseid tehnoloogiaid ja lähevad lähitulevikus kasutusele.
ChatGPT esindatud generatiivsetel mudelitel on ühine omadus, see tähendab, et nad kasutavad eelkoolituse jaoks massiivseid andmeid ja on sageli seotud võimsama keelemudeliga. Keelemudeli põhiülesanne on õppida olemasolevast massiivsest korpusest ning pärast õppimist suudab see mõista kasutaja keelelisi juhiseid või lisaks genereerida kasutaja juhiste järgi asjakohast tekstiväljundit.
Generatiivsed mudelid võib laias laastus jagada kahte kategooriasse, millest üks on keelepõhised generatiivsed mudelid ja teine kujundipõhised generatiivsed mudelid. Keelepõhiseid generatiivseid mudeleid esindab ChatGPT, mille keelemudel ei saa mitte ainult õppida mõistma kasutaja käskude tähendust (nt "kirjuta luuletus, Li Bai stiilis"), vaid ka genereerida kasutaja põhjal asjakohast teksti. käsud pärast massiivsete andmetega treenimist (ülaltoodud näites luuletuse kirjutamine Li Bai stiilis). luuletus). See tähendab, et ChatGPT-l peab olema suur keelemudel (LLM), mis mõistab kasutaja keelt ja suudab toota kvaliteetset keeleväljundit – näiteks peab mudel mõistma, kuidas luua luuletusi, kuidas luua luuletusi Li Bai stiilis. , ja nii edasi. See tähendab ka seda, et keelepõhises generatiivses tehisintellektis on suured keelemudelid vaja väga suurt hulka parameetreid, et seda tüüpi keerulist õppimist teha ja nii palju teavet meelde jätta. Näiteks ChatGPT-l on 175 miljardit parameetrit (700 GB salvestusruumi standardsete ujukomanumbrite kasutamisel), mis näitab, kui "suur" on selle keelemudel.
Teine generatiivsete mudelite klass on kujutise genereerimise mudel, mida esindab Diffusion, tavaliselt Dalle OpenAI-st, ImaGen Google'ist ja praegu kõige populaarsem stabiilne difusioon Runway AI-st. Need pildilaadsed genereerimismudelid kasutavad ka keelemudelit, et mõista kasutaja keelelisi käske ja seejärel luua nende käskude põhjal kvaliteetseid pilte. Erinevalt keelepõhistest generatiivsetest mudelitest kasutab siin kasutatav keelemudel peamiselt keelt kasutaja sisendi mõistmiseks ilma keeleväljundit genereerimata, seega võib parameetrite arv olla üsna väike (suurusjärgus paarsada miljonit), samas kui parameetrite arv Pildipõhised difusioonimudelid on suhteliselt väikesed, üldiselt suurusjärgus paar miljardit, kuid arvutuslik pingutus ei ole väike, kuna loodud piltide või videote eraldusvõime võib olla väga kõrge.
Generatiivsed mudelid suudavad tohutu andmekoolituse abil toota enneolematult kvaliteetset väljundit ning juba on olemas mitmeid selgeid rakenduste turge, sealhulgas otsing, dialoogirobotid, piltide genereerimine ja redigeerimine jne. Tulevikus on oodata rohkem rakendusi, mis suurendab ka nõudlust seotud kiibid.
Vajadus kiipide järele klassimudelite genereerimiseks
Nagu varem mainitud, esindab ChatGPT generatiivset mudelit, mis peab kvaliteetse generatiivse väljundi saavutamiseks õppima suurtest koolitusandmetest. Tõhusa koolituse ja järelduste tegemise toetamiseks on generatiivsetel mudelitel seotud kiipide jaoks oma nõuded.
Esimene on hajutatud arvutuse vajadus; keelegeneratiivsete mudelite nagu ChatGPT parameetrite arv ulatub sadadesse miljarditesse ning ühe arvutiga treenimist ja järeldamist on peaaegu võimatu kasutada, kuid kasutada tuleb palju hajutatud arvutusi. Hajusandmetöötluses on masinate ja sellise hajutatud andmetöötluse jaoks mõeldud arvutuskiibi (näiteks RDMA) vahelise andmesideühenduse ribalaiusel suur nõudlus, sest sageli ei pruugi ülesande kitsaskoht olla mitte andmetöötluses, vaid ülaltoodud andmete vastastikuses ühenduses, eriti Sellise suuremahulise hajutatud andmetöötluse puhul on hajutatud andmetöötluse tõhusaks toetamiseks mõeldud kiip muutunud kriitilisemaks.
Järgmine on mälumaht ja ribalaius. Kuigi hajutatud väljaõpe ja järeldused on keelepõhiste generatiivsete mudelite puhul vältimatud, määrab iga kiibi kohalik mälu ja ribalaius suurel määral ühe kiibi täitmistõhususe (kuna iga kiibi mälu kasutatakse maksimaalselt). Pildipõhiste generatiivsete mudelite puhul on võimalik kõik mudelid (umbes 20 GB) paigutada kiibi mällu, kuid kuna pildipõhised generatiivsed mudelid arenevad tulevikus edasi, suureneb tõenäoliselt ka selle mäluvajadus. . Sellest vaatenurgast muutub HBM-i esindatud ülikiire ribalaiusega mälutehnoloogia seotud kiirendikiipide jaoks paratamatuks valikuks, samas kui generatiivse klassi mudelid kiirendavad ka HBM-i mälu, et veelgi suurendada mahtu ja ribalaiust. Lisaks HBM-ile võivad uued salvestustehnoloogiad, nagu CXL koos tarkvara optimeerimisega, suurendada sellistes rakendustes kohaliku salvestusruumi mahtu ja jõudlust ning arvatakse, et generatiivse klassi mudeli tõusu tõttu on see tööstuses rohkem kasutusele võetud.
Lõpuks, arvutustel, nii keele- kui ka pildipõhistel generatiivse klassi mudelitel on suur arvutuslik nõudlus ja pildipõhistel generatiivsetel mudelitel võib olla palju suurem nõudlus aritmeetilise võimsuse järele, kuna need genereerivad üha kõrgemat eraldusvõimet ja liiguvad videorakenduste poole – praegune peavoolu kujutise generatiivsete mudelite arvutusmaht on umbes 20 TFLOPS ning kõrge eraldusvõime ja piltide puhul on 100-1000 TFLOPS aritmeetiline nõudlus tõenäoliselt norm.
Kokkuvõttes usume, et generatiivsete mudelite nõuded kiipidele hõlmavad hajutatud andmetöötlust, salvestust ja arvutusi, mis hõlmavad kõiki kiibi disaini aspekte, ja mis veelgi olulisem, kuidas kõiki neid nõudeid mõistlikul viisil kombineerida. tagada, et ühest aspektist ei saaks kitsaskoht, millest saab ka kiibi projekteerimise süsteemitehniline probleem.
GPU ja uus AI kiip, kellel on paremad võimalused
Generatiivsetel mudelitel on uus nõudlus kiipide järele. Kellel on parem võimalus saavutada see uus nõudlus ja turg GPU-de (esindajad Nvidia ja AMD) ja uute AI-kiipide (esindajad Habana, GraphCore) järele?
Esiteks, keelepõhiste generatiivsete mudelite vaatenurgast on GPU müüjad, kellel on praegu selline ökoloogia täielik paigutus, soodsamad, kuna osalejate arv on suur ja vajadus hea hajutatud andmetöötluse toe järele. See on süsteemitehniline probleem, mis nõuab terviklikku tarkvara- ja riistvaralahendust ning sellega seoses on Nvidia ühendanud oma GPU-d, et käivitada Tritoni lahendus, mis toetab hajutatud koolitust ja hajutatud järeldusi, võimaldades mudeli jagada mitmeks osaks ja töödelda. erinevatel GPU-del, lahendades nii liiga paljude parameetrite probleemi, mida ühe GPU põhimälu ei mahuta. See lahendab liiga paljude parameetrite probleemi ühe GPU põhimälu jaoks. Olenemata sellest, kas kasutate Tritonit otse või teete tulevikus edasiarendust Tritoni baasil, on mugavam omada terviklikku ökoloogilist GPU-d. Arvutuslikust vaatenurgast, kuna keelepõhise genereerimismudeli peamiseks arvutuseks on maatriksarvutus, mis on GPU tugevus, ei ole uuel AI-kiibil sellest vaatenurgast GPU ees ilmset eelist.
Pildipõhiste generatsioonimudelite seisukohalt on ka selliste mudelite parameetrite arv suur, kuid keelepõhistest genereerimismudelitest üks kuni kaks suurusjärku väiksem, lisaks kasutatakse selle arvutamist endiselt suures konvolutsiooniarvutuste arv, seega järeldage rakendusi, kui saate teha väga hea optimeerimise, võib AI-kiipidel olla mõningaid võimalusi. Siin hõlmab optimeerimine suurt hulka kiibil asuvat salvestusruumi, et mahutada parameetreid ja vahepealseid arvutustulemusi, maatriksoperatsioonide konvolutsiooni ja tõhusat toetamist.
Üldiselt on praeguse põlvkonna tehisintellekti kiibid mõeldud väiksemate mudelite sihtimiseks (parameetrite arv miljardi tasemel, arvutus 1TOPS tasemel), samas kui nõudlus generatiivsete mudelite järele on endiselt suhteliselt suurem kui algne disainieesmärk. GPU-d on kavandatud olema paindlikumad tõhususe hinnaga, samas kui AI-kiibid on loodud vastupidiseks, taotledes sihtrakenduse tõhusust. Seetõttu usume, et GPU-d domineerivad järgmise aasta või paari jooksul endiselt sellises generatiivse mudeli kiirenduses, kuid kuna generatiivsed mudelid muutuvad stabiilsemaks ja tehisintellekti kiipide disainidel on aega generatiivsetele mudelite iteratsioonidele järele jõuda, on AI-kiipidel võimalus GPU-sid ületada. generatiivses mudeliruumis tõhususe vaatenurgast.
