Prieš AI ir didžiųjų duomenų parodą San Chosė McEnery konferencijų centre, gegužės 18–19 d., kalbėjomės su Jerome Gabryszewski, bendrovės AI ir duomenų mokslo verslo plėtros vadovu, apie AI, duomenų apdorojimą dirbtinio intelekto perdavimui ir vietinį bei debesų kompiuterijos kūrimą.
Technologijų žiniasklaida mėgsta cituoti, kad duomenys yra „naujoji nafta“, tačiau tikrovė yra tokia, kad nepaisant to, kad turima daug pirmosios šalies informacijos, iš tikrųjų ją panaudoti verslo naudai gali būti sudėtinga, ypač įmonės mastu.
Ar turėtumėte pasirinkti debesyje priglobtą AI modelį ar vietinį skaičiavimą? Kaip sutvarkyti savo „duomenų namus“, kad išmanieji modeliai galėtų duoti reikšmingų rezultatų? Ir kaip visada, norime paskatinti pašnekovus padėti mums numatyti kitą sparčiai besikeičiančios verslo IT istorijos skyrių šiame verslo aplinkoje, kurioje dominuoja dirbtinis intelektas.
Dirbtinio intelekto naujienos: perėjimas nuo rankinio prie automatinio duomenų gavimo teoriškai skamba puikiai, tačiau žinoma, kad tai sunku. Kur HP mato, kad įmonės šiuo metu įstrigo?
Vienas nuosekliausių trinties taškų, kurį matome, yra tai, kad organizacijos nepakankamai įvertina organizacinę ir architektūrinę skolą, slypinčią už jų duomenų. Kad įsigalėtų automatizavimas, jie turi suderinti suskaidytą duomenų nuosavybę tarp padalinių, nenuoseklias sistemų schemas ir seną infrastruktūrą, kuri niekada nebuvo sukurta sąveikai. Techninis automatizavimo pakėlimas dažnai yra mažesnis nei valdymo ir integravimo darbas, kuris turi būti atliktas prieš jį.
Dirbtinio intelekto naujienos: kai dirbtinio intelekto modeliai pradeda nuolatos atnaujinti, viskas gali lengvai pakrypti į šoną. Kaip patariate klientams elgtis su tokiomis rizikomis kaip koncepcijų nukrypimas ir duomenų apsinuodijimas?
Nuolatinis mokymasis yra ta vieta, kur AI nuo projekto virsta įsipareigojimu, jei jis nėra kruopščiai valdomas. Mes rekomenduojame klientams modelio naujinimus traktuoti taip pat, kaip jie elgiasi su kodo diegimu. Niekas nepraeina į gamybą be patvirtinimo vartų. Koncepcinio dreifo atveju tai reiškia, kad MLOps vamzdynai su automatiniu dreifo aptikimu ir „žmogaus kilpoje“ paleidikliais prieš pradedant perkvalifikavimą. Duomenų apsinuodijimo atveju tai yra tiek duomenų kilmės, tiek saugumo problema. Labai svarbu tiksliai žinoti, iš kur gaunami treniruočių duomenys ir kas gali juos liesti. Klientai, turintys šią teisę, nebūtinai yra techniškai sudėtingiausi; Tai tie, kurie AI valdymą įtraukė į savo rizikos sistemas prieš padidindami mastelį.
Dirbtinio intelekto naujienos: noriu paliesti HP aparatinės įrangos šaknis. Kaip iš tikrųjų šiandien turi atrodyti moderni darbo stotis ar skaičiavimo sąranka, kad galėtų atlaikyti didžiulį savarankiško AI gyvavimo ciklo svorį?
HP šaknys čia iš tikrųjų svarbios. Z serija buvo specialiai sukurta reikliausiam profesionaliam kompiuteriui daugiau nei 15 metų, todėl kai kalbame apie tai, ko autonominiam AI gyvavimo ciklui iš tikrųjų reikia iš aparatinės įrangos, nespėjame, mes kartojome šią problemą ilgiau nei dauguma!
Atsakymas yra ne viena mašina, o spektras. Atskirų kūrėjų lygiu jums reikia pakankamai galingo vietinio skaičiavimo, kad galėtumėte vykdyti tikrus eksperimentus, nepriklausydami nuo debesies kiekvienai iteracijai. „ZBook Ultra“ ir „Z2 Mini“ valdo mobilius ir kompaktiškus stalinius profesionalaus lygio įrenginius, galinčius vienu metu vykdyti vietinius LLM ir sunkias darbo eigas.
„ZGX Nano“ yra ta vieta, kur dirbtinio intelekto komandoms viskas tampa tikrai įdomi. Tai dirbtinio intelekto superkompiuteris, telpantis į delną (15×15 cm), tačiau jį maitina NVIDIA GB10 Grace Blackwell Superchip su 128 GB vieninga atmintimi ir 1000 TOPS FP4 AI našumo. Vienas įrenginys lokaliai apdoroja modelius iki 200 milijardų parametrų. Ir kai komandai reikia išplėsti mastelį, sujungiate du įrenginius per didelės spartos jungtį ir dirbate su modeliais iki 405 milijardų parametrų… jokio debesies, jokio duomenų centro, jokios eilės. Jis pateikiamas iš anksto su NVIDIA DGX programinės įrangos paketu ir HP ZGX įrankių rinkiniu, todėl komandos nuo sąrankos iki pirmosios darbo eigos pereina per kelias minutes, o ne kelias dienas.
Judant aukštyn, Z8 Fury suteikia galingoms vartotojų komandoms iki keturių NVIDIA RTX PRO 6000 Blackwell GPU vienoje sistemoje (384 GB VRAM): tai yra visas modelio kūrimo ciklas, veikiantis vietoje. O pasienyje ZGX Fury visiškai pakeičia pokalbį. Naudojamas NVIDIA GB300 Grace Blackwell Ultra Superchip su 748 GB nuoseklia atmintimi, jis pateikia trilijonų parametrų išvadas prie stalo, o ne duomenų centre. Komandoms, kurios nuolat tikslina ir daro išvadas apie neskelbtinus duomenis, paprastai tai atsiperka per 8–12 mėnesių, palyginti su lygiaverte debesų kompiuterija.
O organizacijoms, kurioms reikia grupuoti ir plėsti mastelį, visas Z portfelis sukurtas su stelažai paruoštais formos faktoriais, kurie patenka į valdomas IT aplinkas nepakenkiant saugumui ar duomenų pastovumui.
Didesnis dalykas yra tai; autonominis AI gyvavimo ciklas sukuria valdymo ir delsos problemą, o ne skaičiavimo problemą. Komandos negali siųsti jautrių mokymo duomenų į debesį kiekvieną kartą, kai reikia atnaujinti modelį. HP portfelis suteikia organizacijoms techninės įrangos kelią, atitinkantį jų darbo eigos brandą, nuo kūrėjo stalo iki paskirstytų vietinių skaičiavimų. Pagaliau aparatinė įranga atitinka ambicijas, kurias iš tikrųjų reikia padaryti šioms AI sistemoms.
Dirbtinio intelekto naujienos: „Gen AI“ skaičiavimo išlaidos daugelyje įmonių auga. Koks yra praktinis sprendimas, kaip subalansuoti šias milžiniškas išlaidas ir šiuolaikinį debesų efektyvumą?
Sąnaudų problema yra struktūrinė, o ne ciklinė. „Enterprise GenAI“ išlaidos 2025 m. išaugo iki 37 mlrd. Esminė įtampa yra ta, kad vieneto išvados sąnaudos iš tikrųjų mažėja, tačiau bendros išlaidos nuolat auga, nes naudojimas auga greičiau nei mažėja sąnaudos. Debesų API modelis buvo sukurtas eksperimentiniams mažos apimties darbo krūviams. Jis niekada nebuvo sukurtas taip, kad būtų ekonomiškas gamybos DI variklis.
Praktinis sprendimas yra disciplinos problema, o ne infrastruktūros problema: nubrėžkite griežtą ribą tarp tiriamojo darbo ir gamybos darbo krūvių ir niekada nenaudokite to paties skaičiavimo modelio abiem. Ankstyvas kartotinis darbas – prototipų kūrimas, koregavimas, modelio vertinimas – turėtų būti vykdomas naudojant vietinę aparatinę įrangą, pvz., ZGX Nano arba Z8 Fury, kur vieną kartą išleidžiate kapitalą, o ne deginate veiklos biudžetą eksperimentams be aiškaus IG kelio.
Organizacijos, kurios tai daro teisingai, naudoja trijų pakopų modelį: „Cloud for Burst“ mokymui ir pasienio modelio prieigą, kurią tikrai uždirbote, vietinę HP Z infrastruktūrą, leidžiančią nuspėti didelės apimties išvadas, ir krašto skaičiavimą, kai delsa yra labai svarbi. Nepriklausoma analizė rodo, kad per penkerių metų gyvavimo ciklą vietinės patalpos gali suteikti iki 18 kartų didesnį sąnaudų pranašumą vienam milijonui žetonų. Kadravimas, kurį naudojame su klientais, yra paprastas: debesis yra skirtas jūsų uždirbtam mastui, o ne masteliui, kurio tikitės.
Dirbtinio intelekto naujienos: visi nori, kad jų patentuoti duomenys būtų „parengti dirbtiniam intelektui“. Kaip įmonės tai padaro neatskleisdamos neskelbtinos ar nuslėptos informacijos?
Klaida, kurią daro dauguma įmonių, yra tai, kad dirbtinio intelekto paruoštus duomenis traktuoja kaip duomenų inžinerijos problemą, kai tai iš tikrųjų yra duomenų suverenumo problema, ir tam reikia skirtingų sprendimų. Patentuotų duomenų siuntimas į debesies modelį apdoroti yra ne tik poveikio rizika, bet ir laukiantis valdymo gedimas, ypač reguliuojamose pramonės šakose, kur net duomenų perdavimas iš išorės gali sukelti atitikties pažeidimus.
Tai išsprendžianti architektūra yra vietinėje infrastruktūroje veikianti paieškos papildyta karta (RAG), kuri leidžia modeliui gauti atitinkamą kontekstą iš jūsų vidinės žinių bazės užklausos metu, jo niekada nemokant ir neatskleidžiant jo išorėje. Jūsų patentuoti duomenys lieka vietoje, jūsų valdomoje aparatinėje įrangoje. Pavyzdžiui, ZGX Nano arba Z8 Fury, kuriame veikia vietoje priglobtas modelis, gali aprūpinti visą RAG dujotiekį nuo neskelbtinų vidinių dokumentų, nepaliekant duomenų iš pastato ir išleidžiant žetonus trečiajai šaliai.
Prieigos kontrolės lygmuo yra ta vieta, kur tai tampa rimta; gerai suprojektuota RAG sistema užtikrina vaidmenimis pagrįstus leidimus paieškos lygiu, todėl AI rodo tik tai, ką turi teisę matyti konkretus darbuotojas, lygiai taip pat, kaip tai daro jūsų dokumentų valdymo sistema. Vietinio skaičiavimo, vietinio modelio, vietinio gavimo ir valdomos prieigos derinys iš tikrųjų daro patentuotus duomenis AI paruoštus be poveikio.
Įmonės, turinčios šią teisę, nesiunčia savo brangakmenių į debesį apdoroti; jie suteikia žvalgybos informaciją duomenims, o ne atvirkščiai.
Dirbtinio intelekto naujienos: jei sujungsime autonominį AI su šiomis moderniomis debesų platformomis, kas nutiks kasdieniam įmonės IT komandos vaidmeniui per ateinančius porą metų?
Manau, kad Jensenas Huangas šią koncepciją išdėstė geriausiai. Jis sakė, kad mūsų darbas nėra tvarkyti skaičiuokles ar rašyti klaviatūra, nes mūsų darbas apskritai yra prasmingesnis. Ir jis aiškiai atskyrė darbo užduotį ir jos tikslą. Pavyzdžiui, IT srityje užduotis gali būti serverių aprūpinimas arba incidentų nustatymas, tačiau tikslas yra išlaikyti verslą atsparų ir judėti į priekį. Šis skirtumas yra būtent tai, kas šiuo metu vyksta.
„Gartner“ prognozuoja, kad iki 2026 m. pabaigos 40 % įmonių taikomųjų programų turės įterptuosius dirbtinio intelekto agentus, palyginti su mažiau nei 5 % vos prieš metus, o tai reiškia, kad įprastas IT vykdymo sluoksnis greitai įsisavinamas, bet valdymo ir architektūros sluoksnis plečiasi taip pat greitai. Tai, kas jau vyksta pirmaujančiose organizacijose, yra pasikeitimas nuo IT komandų, atliekančių užduotis, prie jų vardu vykdančių agentų kūrimo ir valdymo.
Svarbus trūkumas yra tai, kad tik viena iš penkių įmonių turi tam brandų valdymo modelį. Čia vėl svarbi vietinė infrastruktūra. Kai jūsų automatizavimo sluoksnis veikia jūsų valdomoje aparatinėje įrangoje, galite visiškai stebėti agento elgseną, kurios tiesiog neturite, kai šie darbo krūviai perkeliami į debesį. Ateinančių dvejų metų IT komanda nėra ta komanda, kuri nuolat įjungs šviesas. Tai bus komandos, kurios nuspręs, kuriems agentams kokius sprendimus patikėti, ir įsitikins, kad po šiuo sprendimu esančia infrastruktūra yra tai, už ką verslas iš tikrųjų gali atsistoti.
(Vaizdo šaltinis: Pixabay, licencija.)
Norite daugiau sužinoti apie AI ir didelius duomenis iš pramonės lyderių? Peržiūrėkite AI & Big Data Expo AI & Big Data Expo, vykstančią Amsterdame, Kalifornijoje ir Londone. Šis išsamus renginys yra TechEx dalis ir vyksta kartu su kitais pagrindiniais technologijų renginiais. Norėdami gauti daugiau informacijos, spustelėkite čia.
AI naujienas teikia TechForge Media. Čia rasite kitus būsimus įmonių technologijų renginius ir internetinius seminarus.
