DI išlaidos Azijos Ramiojo vandenyno regione ir toliau didėja, tačiau daugelis įmonių vis dar stengiasi gauti naudos iš savo AI projektų. Didžioji dalis to priklauso nuo infrastruktūros, palaikančios AI, nes dauguma sistemų nėra sukurtos taip, kad padarytų išvadas tokiu greičiu ar masto, kokio reikia tikroms programoms. Pramonės tyrimai rodo, kad daugelis projektų nepasiekia IG tikslų net ir po didelių investicijų į GenAI įrankius dėl problemos.
Atotrūkis rodo, kiek AI infrastruktūra turi įtakos našumui, sąnaudoms ir galimybei pritaikyti realų pasaulį regione.
„Akamai“ bando išspręsti šį iššūkį naudodama „Inference Cloud“, sukurtą naudojant NVIDIA ir maitinamą naujausių „Blackwell“ GPU. Idėja paprasta: jei daugumai dirbtinio intelekto programų reikia sprendimus priimti realiuoju laiku, tai tie sprendimai turėtų būti priimami arti vartotojų, o ne tolimuose duomenų centruose. Akamai teigia, kad šis pokytis gali padėti įmonėms valdyti išlaidas, sumažinti vėlavimus ir palaikyti AI paslaugas, kurios priklauso nuo sekundės atsakymų.
Jay Jenkins, „Akamai“ debesų kompiuterijos technologijų vadovas, paaiškino AI naujienos kodėl ši akimirka verčia įmones permąstyti, kaip jos diegia dirbtinį intelektą, ir kodėl išvados, o ne mokymas, tapo tikra kliūtimi.
Kodėl AI projektai kovoja be tinkamos infrastruktūros
Jenkinsas sako, kad atotrūkis tarp eksperimentavimo ir viso masto diegimo yra daug didesnis, nei tikisi daugelis organizacijų. „Daugelis AI iniciatyvų nesuteikia laukiamos verslo vertės, nes įmonės dažnai neįvertina atotrūkio tarp eksperimentavimo ir gamybos“, – sako jis. Net ir esant dideliam susidomėjimui GenAI, didelės infrastruktūros sąskaitos, didelė delsa ir modelių paleidimo sudėtingumas dažnai blokuoja pažangą.
Dauguma įmonių vis dar remiasi centralizuotais debesimis ir didelėmis GPU grupėmis. Tačiau augant naudojimui šios sąrankos tampa per brangios, ypač regionuose, nutolusiuose nuo pagrindinių debesų zonų. Vėlavimas taip pat tampa pagrindine problema, kai modeliai turi atlikti kelis išvados žingsnius dideliais atstumais. „AI yra tik tiek galinga, kiek ji veikia infrastruktūra ir architektūra“, – sako Jenkinsas ir priduria, kad delsa dažnai susilpnina vartotojo patirtį ir vertę, kurią verslas tikėjosi suteikti. Jis taip pat nurodo kelių debesų sąranką, sudėtingas duomenų taisykles ir augančius atitikties poreikius kaip įprastas kliūtis, lėtinančias perėjimą nuo bandomųjų projektų prie gamybos.
Kodėl išvadoms dabar reikia daugiau dėmesio nei mokymui?
Visame Azijos Ramiojo vandenyno regione dirbtinis intelektas pradedamas taikyti nuo mažų bandomųjų versijų prie realių programų ir paslaugų diegimo. Jenkinsas pažymi, kad taip nutinka kasdieniai išvados, o ne atsitiktinis treniruočių ciklas, sunaudoja daugiausiai skaičiavimo galios. Daugeliui organizacijų diegiant kalbos, vizijos ir multimodalinius modelius keliose rinkose, greitų ir patikimų išvadų poreikis auga greičiau nei tikėtasi. Štai kodėl išvados tapo pagrindiniu regiono apribojimu. Dabar modeliai turi veikti skirtingomis kalbomis, taisyklėmis ir duomenų aplinkomis, dažnai realiuoju laiku. Tai daro didžiulį spaudimą centralizuotoms sistemoms, kurios niekada nebuvo sukurtos tokiam reagavimo lygiui.
Kaip krašto infrastruktūra pagerina AI našumą ir kainą
Jenkinsas sako, kad išvadų perkėlimas arčiau vartotojų, įrenginių ar agentų gali pakeisti sąnaudų lygtį. Taip sutrumpėja atstumas, kurį turi nukeliauti duomenys, o modeliai gali greičiau reaguoti. Taip pat išvengiama didelių duomenų srautų nukreipimo tarp pagrindinių debesų centrų išlaidų.
Fizinės AI sistemos – robotai, autonominės mašinos ar išmanieji miesto įrankiai – priklauso nuo sprendimų, priimtų per milisekundes. Kai išvados daromos toli, šios sistemos neveikia taip, kaip tikėtasi.
Taip pat gali būti daug sutaupyta dėl labiau lokalizuoto diegimo. Jenkinsas sako, kad Akamai analizė rodo, kad Indijos ir Vietnamo įmonės pastebi, kad vaizdų generavimo modelių vykdymo sąnaudos labai sumažėja, kai darbo krūviai yra pakraščiuose, o ne centralizuoti debesys. Geresnis GPU naudojimas ir mažesni išėjimo mokesčiai suvaidino svarbų vaidmenį sutaupant.
Ten, kur kraštais pagrįstas AI įgauna trauką
Ankstyvas pranašumo išvados poreikis yra didžiausias tose pramonės šakose, kuriose net nedideli vėlavimai gali turėti įtakos pajamoms, saugai ar vartotojų įsitraukimui. Mažmeninė prekyba ir elektroninė prekyba yra vieni pirmųjų, nes pirkėjai dažnai atsisako lėtos patirties. Suasmenintos rekomendacijos, paieška ir daugiarūšio apsipirkimo įrankiai veikia geriau, kai daroma vietinė ir greita išvada.
Finansai yra kita sritis, kurioje delsimas tiesiogiai veikia vertę. Jenkinsas teigia, kad tokie darbo krūviai kaip sukčiavimo patikrinimai, mokėjimų patvirtinimas ir operacijų įvertinimas priklauso nuo AI sprendimų grandinės, kurios turėtų įvykti per milisekundes. Išvadų vykdymas arčiau duomenų kūrimo vietos padeda finansų įmonėms judėti greičiau ir išlaikyti duomenis reguliavimo ribose.
Kodėl debesies ir GPU partnerystė dabar svarbesnė
Didėjant AI darbo krūviui, įmonėms reikia infrastruktūros, kuri galėtų neatsilikti. Jenkinsas teigia, kad tai paskatino debesų tiekėjus ir GPU gamintojus glaudžiau bendradarbiauti. „Akamai“ darbas su NVIDIA yra vienas iš pavyzdžių, kai GPU, DPU ir AI programinė įranga yra įdiegta tūkstančiuose kraštutinių vietų.
Idėja yra sukurti „AI pristatymo tinklą“, kuris paskleistų išvadas daugelyje svetainių, o ne viską sutelktų keliuose regionuose. Tai padeda pagerinti našumą, bet taip pat palaiko atitiktį. Jenkins pažymi, kad beveik pusė didelių APAC organizacijų kovoja su skirtingomis duomenų taisyklėmis įvairiose rinkose, todėl vietinis apdorojimas tampa svarbesnis. Besiformuojančios partnerystės dabar formuoja kitą AI infrastruktūros etapą regione, ypač darbo krūviams, kurie priklauso nuo mažo vėlavimo atsakymų.
Saugumas yra integruotas į šias sistemas nuo pat pradžių, sako Jenkinsas. Nulinio pasitikėjimo valdikliai, duomenis žinantis maršrutas ir apsauga nuo sukčiavimo bei robotų tampa standartinėmis siūlomų technologijų dalimis.
Infrastruktūra, reikalinga agentiniam AI ir automatizavimui palaikyti
Veikiančios agentinės sistemos, kurios iš eilės priima daugybę sprendimų, reikalauja infrastruktūros, kuri galėtų veikti milisekundžių greičiu. Jenkinsas mano, kad dėl regiono įvairovės tai padaryti sunkiau, bet ne neįmanoma. Šalys labai skiriasi jungiamumu, taisyklėmis ir techniniu pasirengimu, todėl AI darbo krūviai turi būti pakankamai lankstūs, kad galėtų veikti ten, kur prasmingiausia. Jis atkreipia dėmesį į tyrimus, rodančius, kad dauguma regiono įmonių jau naudoja viešąjį debesį gamyboje, tačiau daugelis tikisi iki 2027 m. pasikliauti ypatingomis paslaugomis. Tam reikės infrastruktūros, kurioje būtų galima laikyti duomenis šalyje, nukreipti užduotis į artimiausią tinkamą vietą ir toliau veikti, kai tinklai yra nestabilūs.
Kam įmonės turi ruoštis toliau
Kai išvados pereina prie krašto, įmonėms reikės naujų būdų valdyti veiklą. Jenkinsas sako, kad organizacijos turėtų tikėtis labiau paskirstyto AI gyvavimo ciklo, kai modeliai atnaujinami daugelyje svetainių. Tam reikalingas geresnis orkestravimas ir geras pagrindinių ir kraštinių sistemų veikimo, sąnaudų ir klaidų matomumas.
Duomenų valdymas tampa sudėtingesnis, bet ir lengviau valdomas, kai apdorojimas išlieka vietinis. Pusė didžiųjų regiono įmonių jau kovoja su reglamentų skirtumais, todėl gali padėti išvadų pateikimas prie duomenų generavimo vietos.
Saugumui taip pat reikia daugiau dėmesio. Nors išvados paskleidimas iki krašto gali pagerinti atsparumą, tai taip pat reiškia, kad kiekviena svetainė turi būti apsaugota. Įmonės turi apsaugoti API, duomenų vamzdynus ir apsisaugoti nuo sukčiavimo ar robotų atakų. Jenkinsas pažymi, kad daugelis finansinių institucijų šiose srityse jau pasitiki „Akamai“ kontrole.
(Igorio Omilajevo nuotrauka)
Norite daugiau sužinoti apie AI ir didelius duomenis iš pramonės lyderių? Peržiūrėkite „AI & Big Data Expo“, vykstančią Amsterdame, Kalifornijoje ir Londone. Išsamus renginys yra TechEx dalis ir vyksta kartu su kitais pagrindiniais technologijų renginiais. Norėdami gauti daugiau informacijos, spustelėkite čia.
AI naujienas teikia TechForge Media. Čia rasite kitus būsimus įmonių technologijų renginius ir internetinius seminarus.
