Įmonių dirbtinio intelekto diegimas susiduria su esmine įtampa: organizacijoms reikia sudėtingų kalbų modelių, tačiau jos didina infrastruktūros sąnaudas ir pasienio sistemų energijos suvartojimą.
Neseniai NTT pristatė tsuzumi 2 – lengvą didelės kalbos modelį (LLM), veikiantį viename GPU, – parodo, kaip įmonės išsprendžia šį suvaržymą – ankstyvas diegimas rodo, kad našumas atitinka didesnius modelius ir veikia už nedidelę veiklos sąnaudų dalį.
Verslo atvejis yra paprastas. Tradiciniams didelių kalbų modeliams reikia dešimčių ar šimtų GPU, todėl susidaro elektros suvartojimo ir eksploatacinių išlaidų kliūtys, dėl kurių dirbtinio intelekto diegimas daugeliui organizacijų tampa nepraktiškas.
Įmonėms, veikiančioms rinkose, kuriose yra ribota energijos infrastruktūra arba nedidelis veiklos biudžetas, šie reikalavimai pašalina AI kaip perspektyvų pasirinkimą. NTT pranešime spaudai iliustruojami praktiniai sumetimai, skatinantys lengvą LLM pritaikymą diegiant Tokijo internetinį universitetą.
Universitetas naudoja vietinę platformą, kurioje studentų ir darbuotojų duomenys saugomi savo miestelių tinkle – duomenų suverenumo reikalavimas yra įprastas švietimo įstaigose ir reguliuojamose pramonės šakose.
Patvirtinus, kad tsuzumi 2 tvarko sudėtingą konteksto supratimą ir ilgalaikį dokumentų apdorojimą gamybai paruoštais lygiais, universitetas panaudojo jį kurso klausimų ir atsakymų tobulinimui, mokomosios medžiagos kūrimo palaikymui ir asmeniniam studentų vadovavimui.
Vieno GPU veikimas reiškia, kad universitetas išvengia kapitalo išlaidų GPU klasteriams ir nuolatinių elektros energijos sąnaudų. Dar svarbiau, kad vietinis diegimas sprendžia duomenų privatumo problemas, dėl kurių daugelis švietimo įstaigų negali naudoti debesyje pagrįstų AI paslaugų, kurios apdoroja jautrią studentų informaciją.
Veikimas be masto: techninė ekonomika
NTT atliktas vidinis finansų sistemos užklausų apdorojimo vertinimas parodė, kad tsuzumi 2 atitiko arba viršija pirmaujančius išorinius modelius, nepaisant žymiai mažesnių infrastruktūros reikalavimų. Našumo ir išteklių santykis lemia AI pritaikymo galimybes įmonėms, kuriose sprendimus lemia bendros nuosavybės išlaidos.
Modelis suteikia tai, ką NTT apibūdina kaip „geriausius rezultatus tarp panašaus dydžio modelių“ japonų kalbos našumo srityje, ypač verslo srityse, kuriose pirmenybė teikiama žinioms, analizei, nurodymų laikymasis ir sauga.
Įmonėms, veikiančioms daugiausia Japonijos rinkose, šis kalbos optimizavimas sumažina poreikį diegti didesnius daugiakalbius modelius, kuriems reikia žymiai daugiau skaičiavimo išteklių.
Sustiprintos žinios finansų, medicinos ir viešajame sektoriuose, sukurtos atsižvelgiant į klientų poreikius, leidžia pritaikyti konkrečias sritis be išsamaus koregavimo.
Modelio RAG (Retrieval-Augmented Generation) ir koregavimo galimybės leidžia efektyviai kurti specializuotas programas įmonėms, turinčioms patentuotą žinių bazę arba specifinę pramonės terminologiją, kai bendrieji modeliai neveikia.
Duomenų suverenumas ir saugumas kaip verslo varikliai
Be išlaidų, duomenų suverenumas skatina lengvą LLM pritaikymą reguliuojamose pramonės šakose. Konfidencialią informaciją tvarkančios organizacijos susiduria su rizika, kai apdoroja duomenis naudodamos išorines AI paslaugas, priklausančias užsienio jurisdikcijai.
NTT pozicionuoja tsuzumi 2 kaip „grynai vietinį modelį“, sukurtą nuo nulio Japonijoje, veikiantį vietoje arba privačiuose debesyse. Tai sprendžia Azijos ir Ramiojo vandenyno rinkose vyraujančius susirūpinimą dėl duomenų buvimo vietos, reikalavimų laikymosi ir informacijos saugumo.
FUJIFILM Business Innovation partnerystė su NTT DOCOMO BUSINESS parodo, kaip įmonės sujungia lengvus modelius su esama duomenų infrastruktūra. FUJIFILM REiLI technologija nestruktūrizuotus įmonės duomenis – sutartis, pasiūlymus, mišrų tekstą ir vaizdus – paverčia struktūrizuota informacija.
Integravus „tsuzumi 2“ generavimo galimybes, galima išplėsti dokumentų analizę, neperduodant slaptos įmonės informacijos išoriniams AI teikėjams. Šis architektūrinis požiūris – lengvų modelių derinimas su vietiniu duomenų apdorojimu – yra praktiška įmonės AI strategija, subalansuojanti pajėgumų reikalavimus su saugumu, atitiktimi ir sąnaudų apribojimais.
Multimodalinės galimybės ir įmonės darbo eigos
„tsuzumi 2“ apima integruotą daugiarūšį teksto, vaizdų ir balso palaikymą įmonės programose. Temos, skirtos verslo darbo eigoms, kai dirbtinis intelektas turi apdoroti kelių tipų duomenis, nenaudojant atskirų specializuotų modelių.
Gamybos kokybės kontrolė, klientų aptarnavimo operacijos ir dokumentų apdorojimo darbo eigos paprastai apima tekstą, vaizdus ir kartais balso įvestį. Pavieniai modeliai, valdantys visus tris, sumažina integravimo sudėtingumą, palyginti su kelių specializuotų sistemų su skirtingais veikimo reikalavimais valdymu.
Rinkos kontekstas ir įgyvendinimo svarstymai
Lengvas NTT metodas kontrastuoja su hiperskalerio strategijomis, pabrėžiančiomis masyvius modelius su plačiomis galimybėmis. Įmonėms, turinčioms didelį AI biudžetą ir pažangias technines komandas, pažangiausi OpenAI, Anthropic ir Google modeliai užtikrina pažangiausią našumą.
Tačiau šis metodas neapima organizacijų, kurioms trūksta šių išteklių – tai didelė įmonių rinkos dalis, ypač Azijos ir Ramiojo vandenyno regionuose, kuriuose infrastruktūros kokybė skiriasi. Regioniniai sumetimai yra svarbūs.
Energijos patikimumas, interneto ryšys, duomenų centrų prieinamumas ir reguliavimo sistemos rinkose labai skiriasi. Lengvi modeliai, leidžiantys diegti vietoje, geriau prisitaiko prie šių variantų nei metodai, kuriems reikalinga nuosekli debesų infrastruktūros prieiga.
Organizacijos, vertinančios lengvą LLM diegimą, turėtų atsižvelgti į kelis veiksnius:
Domeno specializacija: Sustiprintos tsuzumi 2 žinios finansų, medicinos ir viešajame sektoriuose apima konkrečias sritis, tačiau kitų pramonės šakų organizacijos turėtų įvertinti, ar turimos srities žinios atitinka jų reikalavimus.
Kalbos svarstymai: Japonų kalbos apdorojimo optimizavimas naudingas Japonijos rinkos operacijoms, tačiau gali netikti daugiakalbėms įmonėms, kurioms reikia nuoseklaus kelių kalbų veikimo.
Integravimo sudėtingumas: Vietiniam diegimui reikia vidinių techninių diegimo, priežiūros ir naujinimų galimybių. Organizacijoms, kurioms trūksta šių galimybių, debesijos pagrindu veikiančios alternatyvos gali būti paprastesnės, nepaisant didesnių sąnaudų.
Kompromisai dėl našumo: Nors tsuzumi 2 atitinka didesnius modelius tam tikrose srityse, ribiniai modeliai gali būti geresni, kai naudojami kraštutiniai atvejai arba naujos programos. Organizacijos turėtų įvertinti, ar pakanka konkrečios srities veiklos, ar platesnės galimybės pateisina didesnes infrastruktūros išlaidas.
Praktinis kelias į priekį?
NTT „tsuzumi 2“ diegimas rodo, kad sudėtingam AI diegimui nereikia didelės apimties infrastruktūros – bent jau organizacijoms, kurių reikalavimai atitinka lengvo modelio galimybes. Ankstyvas įmonės pritaikymas rodo praktinę verslo vertę: sumažinamos veiklos sąnaudos, patobulintas duomenų suverenumas ir gamybai paruoštas našumas konkrečiose srityse.
Įmonėms įsisavinant dirbtinį intelektą, įtampa tarp pajėgumų reikalavimų ir veiklos suvaržymų vis labiau skatina efektyvių, specializuotų sprendimų, o ne bendros paskirties sistemų, kurioms reikalinga didelė infrastruktūra, paklausą.
Organizacijoms, vertinančioms dirbtinio intelekto diegimo strategijas, klausimas yra ne tai, ar lengvi modeliai yra „geresni“ už pasienio sistemas, o tai, ar jų pakanka konkretiems verslo reikalavimams, kartu sprendžiant sąnaudų, saugumo ir veiklos apribojimus, dėl kurių alternatyvūs metodai tampa nepraktiški.
Atsakymas, kaip rodo Tokijo internetinis universitetas ir FUJIFILM verslo inovacijų diegimas, vis dažniau yra „taip“.
Taip pat žiūrėkite: Kaip Levi Strauss naudoja dirbtinį intelektą savo DTC pirmajame verslo modelyje
Norite daugiau sužinoti apie AI ir didelius duomenis iš pramonės lyderių? Peržiūrėkite „AI & Big Data Expo“, vykstančią Amsterdame, Kalifornijoje ir Londone. Išsamus renginys yra TechEx dalis ir vyksta kartu su kitais pagrindiniais technologijų renginiais. Norėdami gauti daugiau informacijos, spustelėkite čia.
AI naujienas teikia TechForge Media. Čia rasite kitus būsimus įmonių technologijų renginius ir internetinius seminarus.
