Įmonių lyderiai, kovojantys su didelėmis DI modelių diegimo išlaidomis, dėl naujos architektūros dizaino gali rasti atgaivą.
Nors generatyvaus dirbtinio intelekto galimybės yra patrauklios, jų didžiulis skaičiavimo poreikis tiek mokymui, tiek išvadoms lemia pernelyg dideles išlaidas ir didėjančias aplinkosaugos problemas. Šio neefektyvumo centre yra modelių „pagrindinė autoregresyvaus proceso, kuris generuoja tekstą nuosekliai, po žetonų, kliūtis“.
Dėl šio apribojimo įmonėms, apdorojančioms didžiulius duomenų srautus, pradedant daiktų interneto tinklais ir baigiant finansų rinkomis, ilgalaikės analizės generavimas yra lėtas ir ekonomiškas. Tačiau naujame Tencent AI ir Tsinghua universiteto moksliniame darbe siūloma alternatyva.
Naujas požiūris į AI efektyvumą
Tyrime pristatomi nuolatiniai autoregresyvūs kalbos modeliai (CALM). Šis metodas iš naujo suprojektuoja generavimo procesą, kad būtų galima numatyti nuolatinį vektorių, o ne atskirą žetoną.
Didelio tikslumo automatinis kodavimo įrenginys „suspaudžia K žetonų dalį į vieną nenutrūkstamą vektorių“, kuriame yra daug didesnis semantinis pralaidumas.
Užuot apdorojęs tokius dalykus kaip „the“, „katė“, „sėdi“ trimis etapais, modelis juos suspaudžia į vieną. Šis dizainas tiesiogiai „sumažina generavimo žingsnių skaičių”, puola skaičiavimo apkrovą.
Eksperimentiniai rezultatai rodo geresnį našumo ir skaičiavimo kompromisą. CALM AI modelis, sugrupuojantis keturis žetonus, užtikrino įmonės našumą, „palyginantį su stipriomis atskiromis bazinėmis linijomis, tačiau už žymiai mažesnes skaičiavimo išlaidas“.
Pavyzdžiui, vienam CALM modeliui reikėjo 44 procentais mažiau treniruočių FLOP ir 34 procentais mažiau išvadų FLOP nei pradiniam panašios galimybės transformatoriui. Tai rodo, kad sutaupoma tiek pradinio kapitalo, tiek mokymo, tiek pasikartojančių išvadų veiklos išlaidų.
Nepertraukiamo domeno įrankių rinkinio atkūrimas
Perėjus nuo riboto, atskiro žodyno prie begalinės, ištisinės vektorinės erdvės, sulaužomas standartinis LLM įrankių rinkinys. Tyrėjai turėjo sukurti „išsamią sistemą be tikimybės“, kad naujasis modelis būtų gyvybingas.
Treniruotėms modelis negali naudoti standartinio softmax sluoksnio arba didžiausios tikimybės įvertinimo. Kad tai išspręstų, komanda naudojo „netikimybės“ tikslą su energijos transformatoriumi, kuris apdovanoja modelį už tikslias prognozes, neskaičiuojant aiškių tikimybių.
Šis naujas mokymo metodas taip pat reikalavo naujos vertinimo metrikos. Standartiniai etalonai, tokie kaip „Perplexity“, netaikomi, nes jie priklauso nuo tos pačios tikimybės, kurios modelis nebeapskaičiuoja.
Komanda pasiūlė BrierLM – naują metriką, pagrįstą Brier balu, kurį galima įvertinti tik iš modelio pavyzdžių. Patvirtinimas patvirtino, kad BrierLM yra patikima alternatyva, parodydama „Spirmeno rango koreliaciją –0,991“ su tradicine nuostolių metrika.
Galiausiai sistema atkuria valdomą generavimą, pagrindinę įmonės naudojimo funkciją. Standartinės temperatūros mėginių ėmimas neįmanomas be tikimybių pasiskirstymo. Straipsnyje pristatomas naujas „atrankos be tikimybės algoritmas“, įskaitant praktinį partijos aproksimavimo metodą, siekiant valdyti kompromisą tarp išvesties tikslumo ir įvairovės.
Sumažinti įmonės AI išlaidas
Šis tyrimas leidžia pažvelgti į ateitį, kurioje generatyvinis AI apibrėžiamas ne vien tik vis didesniu parametrų skaičiumi, bet ir architektūriniu efektyvumu.
Dabartinis modelių keitimo kelias atsitrenkia į mažėjančios grąžos ir didėjančių išlaidų sieną. CALM sistema nustato „naują projektavimo ašį LLM mastelio keitimui: padidina kiekvieno generavimo žingsnio semantinį pralaidumą“.
Nors tai yra mokslinių tyrimų sistema, o ne paruoštas produktas, jis rodo galingą ir keičiamo dydžio kelią link itin efektyvių kalbos modelių. Vertindami pardavėjų planus, technologijų lyderiai turėtų žiūrėti ne tik į modelio dydį ir pradėti klausinėti apie architektūrinį efektyvumą.
Galimybė sumažinti FLOP vienam sugeneruotam žetonui taps lemiamu konkurenciniu pranašumu, leidžiančiu ekonomiškiau ir tvariau diegti dirbtinį intelektą visoje įmonėje, siekiant sumažinti išlaidas – nuo duomenų centro iki didelių duomenų reikalaujančių programų.
Taip pat žiūrėkite: Netinkami AI etalonai kelia pavojų įmonių biudžetams
Norite daugiau sužinoti apie AI ir didelius duomenis iš pramonės lyderių? Peržiūrėkite „AI & Big Data Expo“, vykstančią Amsterdame, Kalifornijoje ir Londone. Išsamus renginys yra „TechEx“ dalis ir vyksta kartu su kitais pagrindiniais technologijų renginiais, įskaitant „Cyber Security Expo“. Norėdami gauti daugiau informacijos, spustelėkite čia.
AI naujienas teikia TechForge Media. Čia rasite kitus būsimus įmonių technologijų renginius ir internetinius seminarus.
