„Google Cloud Next“ konferencijoje „Google“ ir NVIDIA pristatė savo aparatinės įrangos planą, skirtą AI išvadų išlaidoms spręsti.
Įmonės išsamiai apibūdino naujus A5X pliko metalo egzempliorius, veikiančius su NVIDIA Vera Rubin NVL72 stovo mastelio sistemomis. Naudojant aparatinės ir programinės įrangos kodų dizainą, ši architektūra siekia iki dešimties kartų mažesnes išvadų sąnaudas už žetoną, palyginti su ankstesnėmis kartomis, ir tuo pat metu pasiekti dešimt kartų didesnį žetono pralaidumą vienam megavatui.
Norint prijungti tūkstančius procesorių, reikalingas didžiulis pralaidumas, kad būtų išvengta apdorojimo vėlavimų. A5X egzemplioriai išsprendžia šį techninės įrangos iššūkį suporuodami NVIDIA ConnectX-9 SuperNIC su Google Virgo tinklo technologija.
Ši konfigūracija padidinama iki 80 000 NVIDIA Rubin GPU vienoje svetainių grupėje ir iki 960 000 GPU, kai naudojama keliose vietose. Norint dirbti tokiu mastu, reikalingas sudėtingas darbo krūvio valdymas, nes norint nukreipti duomenis per beveik milijoną lygiagrečių procesorių, reikia tiksliai sinchronizuoti, kad būtų išvengta tuščiosios eigos skaičiavimo laiko.
Markas Lohmeyeris, „Google Cloud“ dirbtinio intelekto ir skaičiavimo infrastruktūros viceprezidentas ir generalinis direktorius, sakė: „Mes, Google Cloud, ateinantį AI dešimtmetį nulems klientų gebėjimas atlikti sudėtingiausius darbo krūvius naudojant tikrai integruotą, dirbtiniu intelektu optimizuotą infrastruktūros krūvą.
„Sujungę „Google Cloud“ keičiamo dydžio infrastruktūrą ir valdomas AI paslaugas su NVIDIA pirmaujančiomis NVIDIA platformomis, sistemomis ir programine įranga, suteikiame klientams lankstumo mokyti, derinti ir aptarnauti viską – nuo pažangių ir atvirų modelių iki agentinio ir fizinio AI darbo krūvio – optimizuodami našumą, kainą ir tvarumą.
Suvereni duomenų valdymo ir debesų saugos reikalavimai
Be neapdoroto apdorojimo galimybių, duomenų valdymas išlieka pagrindinė įmonės diegimo problema. Labai reguliuojami sektoriai, įskaitant finansus ir sveikatos priežiūrą, dažnai sustabdo mašininio mokymosi iniciatyvas dėl duomenų suverenumo reikalavimų ir rizikos, kad bus atskleista patentuota informacija.
Siekiant įvykdyti šiuos atitikties įsipareigojimus, „Google Gemini“ modeliai, kuriuose veikia NVIDIA Blackwell ir Blackwell Ultra GPU, pradedami peržiūrėti „Google Distributed Cloud“. Šis diegimo metodas leidžia organizacijoms išlaikyti paribius modelius tik savo kontroliuojamoje aplinkoje, kartu su jautriausiomis duomenų saugyklomis.
Architektūra apima NVIDIA Confidential Computing. Šis aparatinės įrangos lygio saugos protokolas užtikrina, kad mokymo modeliai veiktų apsaugotoje aplinkoje, kur raginimai ir tikslinami duomenys lieka užšifruoti. Šifravimas neleidžia neteisėtoms šalims, įskaitant pačius debesų infrastruktūros operatorius, peržiūrėti ar keisti pagrindinių duomenų.
Kelių nuomininkų viešose debesų aplinkose peržiūrint konfidencialios G4 virtualiosios mašinos su NVIDIA RTX PRO 6000 Blackwell GPU pristatomos tos pačios kriptografinės apsaugos priemonės, suteikiančios reguliuojamoms pramonės šakoms prieigą prie didelio našumo aparatinės įrangos nepažeidžiant duomenų privatumo standartų. Šis leidimas yra pirmasis debesyje pagrįstas konfidencialios kompiuterijos pasiūlymas, skirtas NVIDIA Blackwell GPU.
Agentinio AI mokymo veiklos pridėtinės išlaidos
Kuriant daugiapakopes agentines sistemas reikia prijungti didelius kalbos modelius prie sudėtingų programų programavimo sąsajų, palaikyti nuolatinį vektorinių duomenų bazių sinchronizavimą ir aktyviai sušvelninti algoritmines haliucinacijas vykdymo metu.
Siekiant supaprastinti šį sunkų inžinerinį reikalavimą, „NVIDIA Nemotron 3 Super“ dabar yra „Gemini Enterprise Agent“ platformoje. Platforma suteikia kūrėjams įrankius, skirtus pritaikyti ir įdiegti samprotavimus ir daugiarūšius modelius, specialiai sukurtus agentų užduotims atlikti. Platesnė NVIDIA platforma „Google Cloud“ yra optimizuota įvairiems modeliams, įskaitant „Google Gemini“ ir „Gemma“ šeimas, suteikiant kūrėjams įrankius, leidžiančius kurti sistemas, kurios mąsto, planuoja ir veikia.
Šių modelių mokymas dideliu mastu sukelia didelių eksploatacinių išlaidų, ypač valdant grupių dydį ir aparatinės įrangos gedimus per ilgus sustiprinimo mokymosi ciklus.
„Google Cloud“ ir NVIDIA pristatė valdomus mokymo grupes „Gemini Enterprise Agent Platform“, kuri apima valdomą mokymosi API, sukurtą naudojant NVIDIA NeMo RL. Ši sistema automatizuoja klasterių dydžio nustatymą, gedimų atkūrimą ir darbų vykdymą, todėl duomenų mokslo komandos gali sutelkti dėmesį į modelio kokybę, o ne į žemo lygio infrastruktūros valdymą.
„CrowdStrike“ aktyviai naudoja NVIDIA NeMo atvirąsias bibliotekas, įskaitant „NeMo Data Designer“ ir „NeMo Megatron Bridge“, kad generuotų sintetinius duomenis ir patikslintų modelius konkrečioms domeno kibernetinio saugumo programoms. Naudojant šiuos modelius valdomose mokymo grupėse su Blackwell GPU, pagreitėja jų automatizuotos grėsmių aptikimo ir reagavimo galimybės.
Senosios architektūros integravimas ir fizinis modeliavimas
Mašininio mokymosi integravimas į sunkiąją pramonę ir gamybą kelia kitokios klasės inžinerinius iššūkius. Norint prijungti skaitmeninius modelius prie fizinių gamyklų grindų, reikia tiksliai fiziškai modeliuoti, atlikti didžiulę skaičiavimo galią ir standartizuoti senus duomenų formatus. NVIDIA AI infrastruktūra ir fizinės AI bibliotekos dabar pasiekiamos „Google Cloud“, o tai yra pagrindas organizacijoms imituoti ir automatizuoti realias gamybos darbo eigas.
Pagrindiniai pramoninės programinės įrangos tiekėjai, tokie kaip „Cadence“ ir „Siemens“, padarė savo sprendimus pasiekiamus „Google Cloud“, kurį pagreitino NVIDIA infrastruktūra. Šie įrankiai yra skirti sunkiųjų mašinų, kosminių platformų ir autonominių transporto priemonių inžinerijai ir gamybai.
Gamybos įmonės dažnai naudoja dešimtmečių senumo produktų gyvavimo ciklo valdymo sistemas, todėl geometrijos ir fizikos duomenų vertimas yra sudėtingas. Naudodami NVIDIA Omniverse bibliotekas ir atvirojo kodo NVIDIA Isaac Sim sistemą per Google Cloud Marketplace, kūrėjai gali apeiti kai kurias iš šių vertimo problemų, kad sukurtų fiziškai tikslius skaitmeninius dvynius ir apmokytų robotikos modeliavimo vamzdynus prieš fizinį diegimą.
NVIDIA NIM mikropaslaugų, tokių kaip Cosmos Reason 2 modelis, įdiegimas į Google Vertex AI ir Google Kubernetes Engine leidžia vizija pagrįstiems agentams ir robotams interpretuoti ir naršyti savo fizinėje aplinkoje. Kartu šios platformos padeda kūrėjams nuo kompiuterinio projektavimo tiesiogiai pereiti prie gyvų pramoninių skaitmeninių dvynių.
Poveikis pagreitinto skaičiavimo ekosistemai
Norint šias techninės įrangos specifikacijas paversti kiekybiškai įvertinama finansine grąža, reikia patikrinti, kaip ankstyvieji vartotojai naudojasi infrastruktūra.
Platus portfelis apima parinkčių mastelį nuo pilnų NVL72 stelažų iki dalinių G4 VM, siūlančių vos aštuntadalį GPU. Tai leidžia klientams tiksliai numatyti pagreitinimo galimybes atliekant mišrius ekspertų samprotavimus ir duomenų apdorojimo užduotis.
Thinking Machines Lab pritaiko savo Tinker API A4X Max VM, kad paspartintų mokymą. „OpenAI“ naudoja didelio masto išvadas NVIDIA GB300 ir GB200 NVL72 sistemose „Google Cloud“, kad galėtų atlikti sudėtingus darbo krūvius, įskaitant „ChatGPT“ operacijas.
„Snap“ perkėlė savo duomenų srautus į GPU pagreitintą „Spark“ sistemoje „Google Cloud“, kad sumažintų dideles išlaidas, susijusias su didelio masto A/B testavimu. Farmacijos sektoriuje Schrödinger naudoja NVIDIA pagreitintą skaičiavimą „Google Cloud“, kad suspaustų vaistų atradimo modeliavimą, kuris anksčiau trukdavo savaites į kelias valandas.
Kūrėjų ekosistema, naudojanti šiuos įrankius, greitai išsiplėtė. Per metus daugiau nei 90 000 kūrėjų prisijungė prie bendros NVIDIA ir Google Cloud kūrėjų bendruomenės.
Pradedantieji, tokie kaip „CodeRabbit“ ir „Factory“, „Google Cloud“ taiko „NVIDIA Nemotron“ pagrindu sukurtus modelius, kad atliktų kodo peržiūras ir vykdytų savarankiškus programinės įrangos kūrimo agentus. „Aible“, „Mantis AI“, „Photoroom“ ir „Basteten“ kuria įmonės duomenis, vaizdo įrašų intelektą ir generuojančius vaizdų sprendimus, naudodami pilną platformą.
Kartu NVIDIA ir „Google Cloud“ siekia sukurti skaičiavimo pagrindą, skirtą eksperimentiniams agentams ir modeliavimui paversti gamybos sistemas, kurios apsaugo transporto parkus ir optimizuoja gamyklas fiziniame pasaulyje.
Taip pat žiūrėkite: Įmonės saugos išlaidų panaikinimas aptikus AI pažeidžiamumą
Norite daugiau sužinoti apie AI ir didelius duomenis iš pramonės lyderių? Peržiūrėkite „AI & Big Data Expo“, vykstančią Amsterdame, Kalifornijoje ir Londone. Išsamus renginys yra „TechEx“ dalis ir vyksta kartu su kitais pagrindiniais technologijų renginiais, įskaitant „Cyber Security & Cloud Expo“. Norėdami gauti daugiau informacijos, spustelėkite čia.
AI naujienas teikia TechForge Media. Čia rasite kitus būsimus įmonių technologijų renginius ir internetinius seminarus.
