Kaip sumažinti simbolinį biudžetą nesumažinant komandos


Jensenas Huangas išbando, ar verta išlaikyti inžinierių, ir pridedamas simbolinis biudžetas. Pasibaigus GTC 2026 „All-In Podcast“, „Nvidia“ vadovas sakė, kad jei inžinieriaus 500 000 USD metinis AI žetonų suvartojimas būtų mažesnis nei pusė jų atlyginimo, „būsiu labai sunerimęs“. Jis patvirtino, kad „Nvidia“ siekia, kad savo inžinerinėms pajėgoms kasmet gautų 2 milijardų dolerių simbolinę sąskaitą.

Jis apibūdino kompromisą, kurį dauguma įmonių jau padarė su mažiau fanfarų: pinigai, už kuriuos kažkada mokėjo žmonės, vis dažniau moka už žetonus. Keturių didžiausių hiperskalerių bendros 2026 m. kapitalo išlaidos buvo apytiksliai 700 mlrd.

Vidinė meta atmintinė, gauta iš Reuters gegužės mėn. sumažintus 8 000 vaidmenų apibūdino kaip kompensuojančias dideles bendrovės investicijas per ketvirtį, kai pajamos išaugo 33%. Atleidimai tokiose įmonėse kaip šios nėra išgyvenimo priemonė. Jie finansuoja.

Bėda ta, kad finansavimas nenupirko to, ką žadėjo. „Gartner“ apklausė 350 vadovų įmonėse, kurių pajamos viršija 1 milijardą JAV dolerių, visose taikančiose AI agentus arba automatizavimą, ir nustatė, kad maždaug 80 % jų sumažino darbuotojų skaičių, o tai nesusiję su pagerėjusia grąža. Analitikė Helen Poitevin nuosprendis buvo atviras: „Darbo jėgos mažinimas gali sudaryti biudžetą erdvės, bet nesukuria grąžos“.

„Uber“ brangiai išmoko tos pamokos simbolinę pusę, gruodį suteikdama 5 000 inžinierių AI kodavimo įrankius ir iki balandžio mėnesio išnaudodama visą 2026 m. AI biudžetą. Operacijų vadovas Andrew Macdonaldas pripažino, kad nepaisant to, kad 70 % paskirto kodo yra sukurta dirbtinio intelekto, trūksta ryšio su viskuo, ką pastebi klientai: „Tos nuorodos dar nėra.

Sudėkite šias dvi nesėkmes vieną šalia kitos ir išryškės tikroji problema. Įmonės laikė simbolinę sąskaitą fiksuotą, o darbo jėgą kaip lanksčią, kai yra priešingai. Darbo užmokestis mažinamas vieną kartą ir kartu su jais pasiimama institucinių žinių. Pasirodo, simbolinis biudžetas lenkiasi pusšimtyje vietų, jei kas nors pasivargina jį suprojektuoti.

Kur ženklinis biudžetas lenkia

Pigiausias pataisymas taip pat yra mažiausiai žavingas: nustokite mokėti pakartotinai apdoroti tą patį tekstą. Greitas kaupimas talpykloje, dabar standartinis pagrindiniams API tiekėjams, sumažina pakartotinės įvesties išlaidas iki 90 % pagal paskelbtas Anthropic ir OpenAI kainas, nes statinis turinys, pvz., sistemos instrukcijos ir informaciniai dokumentai, apdorojamas vieną kartą ir perskaitomas už nedidelį tarifą.

Apsaugos įmonė „ProjectDiscovery“ dokumentais patvirtino, kad talpyklos pataikymo rodiklis padidintas nuo 7% iki 84% restruktūrizavimo raginimais, sumažinant bendras LLM išlaidas 59–70%, o talpykloje aptarnaujant 9,8 mlrd. žetonų. Per vieną inžinerinį pratimą buvo atgauta daugiau biudžeto, nei sutaupė dauguma AI priskiriamų atleidimo etapų.

Kitas svirtis yra maršruto parinkimas į tinkamo dydžio modelį. Pačių teikėjų kainoraščiuose rodomi pavyzdiniai modeliai, kurių vienas žetonas kainuoja penkis kartus daugiau nei mažesniems broliams ir seserims, tačiau daug gamybos darbo krūvių pagal numatytuosius nustatymus siunčia įprastą klasifikaciją ir suvestinę į brangiausią pakopą. Paketinis apdorojimas prideda dar 50 % nuolaidą viskam, kam nereikia atsakymo realiuoju laiku.

Atnaujinta generacija sprendžia problemą kitu kampu, modeliui siųsdama tik atitinkamą žinių bazės dalį, o ne visą, o greitas glaudinimas apkarpo perteklinius pavyzdžius, kurie padidina kiekvieną skambutį. Atviro svorio modeliai dar labiau sumažina išlaidas, tvarkydami įprastinius darbo krūvius už nedidelę API kainą, skirtą komandoms, norinčioms valdyti infrastruktūrą.

Šios priemonės yra tiesiog AI ekvivalentas šviesos išjungimui tuščiuose kambariuose, o „Uber“ 1500 USD mėnesinė viršutinė riba vienam inžinieriui, nustatyta po balandžio mėnesio viršijimo, yra ankstyvas įrodymas, kad išlaidų drausmė galiausiai atsiranda. Į priekį žengiančios įmonės paprasčiausiai pasirenka jį anksčiau, nei priverčia biudžetas.

Kita pataisymo pusė yra žmogiška

Simbolinio vekselio optimizavimas yra svarbus tik tuo atveju, jei santaupos yra kur nors produktyvios, o stipriausi įrodymai nukreipti į žmones. Poitevino tyrimas parodė, kad organizacijos, pagerinusios IG, buvo tos, kurios naudoja dirbtinį intelektą, kad padidintų savo darbo jėgą, o ne ją pakeistų.

„Klarna“ atliko kontroliuojamą eksperimentą visų vardu, pakeisdama maždaug 700 klientų aptarnavimo vaidmenų „OpenAI“ valdomu asistentu, kol klientų pasitenkinimas nesumažėjo. Generalinis direktorius Sebastianas Siemiatkowskis sakė Bloomberg Ką tik nedaugelis vadovų garsiai pripažįsta: „Rezultatas buvo prastesnės kokybės, ir tai nėra tvaru“.

„Fintech“ dabar valdo mišrų modelį, kuriame dirbtinis intelektas sugeria įprastą kiekį, o pasamdyti žmonės tvarko viską, kas reikalauja sprendimo. „Gartner“ tikisi, kad šis modelis išplis ir prognozuoja, kad iki 2027 m. pusė įmonių, kurios sumažins klientų aptarnavimo personalą dirbtinio intelekto reikmėms, vėl juos įdarbins.

Yra viena investicija į darbo jėgą, dėl kurios optimizavimo logika yra skubi, o ne neprivaloma. Stanfordo universiteto į žmogų orientuoto dirbtinio intelekto institutas rado darbą 22–25 metų programinės įrangos kūrėjams, palyginti su 2024 m., sumažėjo beveik 20 %, net augant vyresnio amžiaus grupėms, o tai reiškia, kad įmonės pašalina vyresniųjų inžinierių, kurių reikės vadovauti visoms šioms sistemoms, mokymus po penkerių metų.

Įmonė, kuri ką tik suprojektavo 60 % nuolaidą savo simboliniam sąskaitai, turi pakankamai biudžeto, kad galėtų nuolat samdyti darbą. Nesvarbu, ar tai daroma, yra vadovavimo, o ne finansinis sprendimas.

„Nvidia“ „Huang“ provokacija ir toliau aidės per skambučius dėl pajamų, o „Capex“ skaičiai ir toliau augs. Įmonės, kurios pasirodys į priekį, nebus tos, kurios išleis daugiausiai žetonų arba atleis daugiausiai žmonių, kad galėtų juos sau leisti – jos pastebės, kad žetonų biudžetas visą laiką buvo lankstus, suspaudė jį dėl inžinerijos, o ne darbuotojų skaičiaus ir išleido skirtumą žmonėms, dėl kurių žetonai yra bet ko verti.

(Kate.sade vaizdas)

Taip pat žiūrėkite: „GitHub Copilot“ mokami už žetoną

Norite daugiau sužinoti apie AI ir didelius duomenis iš pramonės lyderių? Peržiūrėkite „AI & Big Data Expo“, vykstančią Amsterdame, Kalifornijoje ir Londone. Išsamus renginys yra „TechEx“ dalis ir vyksta kartu su kitais pagrindiniais technologijų renginiais, įskaitant „Cyber ​​Security & Cloud Expo“. Norėdami gauti daugiau informacijos, spustelėkite čia.

AI naujienas teikia TechForge Media. Čia rasite kitus būsimus įmonių technologijų renginius ir internetinius seminarus.



Source link

Draugai: - Marketingo agentūra - Teisinės konsultacijos - Skaidrių skenavimas - Klaipedos miesto naujienos - Miesto naujienos - Saulius Narbutas - Įvaizdžio kūrimas - Veidoskaita - Teniso treniruotės - Pranešimai spaudai - Kauno naujienos - Regionų naujienos - Palangos naujienos