Logikos atskyrimas nuo išvadų pagerina AI agento mastelį, nes pagrindinės darbo eigos atsiejamos nuo vykdymo strategijų.
Perėjimas nuo generuojamųjų AI prototipų prie gamybinio lygio agentų įveda specifinę inžinerinę kliūtį: patikimumą. LLM yra stochastiški iš prigimties. Vieną kartą suveikiantis raginimas gali nepavykti antrą kartą. Siekdamos tai sušvelninti, kūrimo komandos dažnai apjungia pagrindinę verslo logiką į sudėtingas klaidų valdymo kilpas, bandymus pakartotinai ir šakojimosi kelius.
Šis metodas sukelia priežiūros problemą. Kodas, apibrėžiantis, ką agentas turėtų daryti, neatskiriamai susimaišo su kodu, apibrėžiančiu, kaip elgtis su modelio nenuspėjamumu. Nauja sistema, kurią pasiūlė mokslininkai iš Asari AI, MIT CSAIL ir Caltech, rodo, kad norint išplėsti agentų darbo eigą įmonėje reikia kitokio architektūrinio standarto.
Tyrimas pristato programavimo modelį, vadinamą tikimybiniu angelišku nedeterminizmu (PAN) ir Python įgyvendinimą, pavadintą ENCOMPASS. Šis metodas leidžia kūrėjams parašyti agento darbo eigos „laimingą kelią“, perkeliant išvados laiko strategijas (pvz., pluošto paieška arba atgalinis sekimas) į atskirą vykdymo laiką. Šis susirūpinimą keliančių klausimų atskyrimas yra potencialus būdas sumažinti techninę skolą ir pagerinti automatizuotų užduočių atlikimą.
Agento dizaino įsipainiojimo problema
Dabartiniai agentų programavimo metodai dažnai painioja du skirtingus dizaino aspektus. Pirmasis yra pagrindinė darbo eigos logika arba veiksmų seka, reikalinga verslo užduočiai atlikti. Antroji yra išvados ir laiko strategija, kuri diktuoja, kaip sistema pereina prie neapibrėžtumo, pvz., sukuria kelis juodraščius arba tikrina išvestis pagal rubriką.
Kai jie sujungiami, gauta kodų bazė tampa trapi. Norint įgyvendinti tokią strategiją kaip „geriausias N“ mėginių ėmimas, reikia apvynioti visą agento funkciją į kilpą. Norint pereiti prie sudėtingesnės strategijos, pvz., medžio paieškos ar patikslinimo, paprastai reikia visiškai perrašyti agento kodą.
Tyrėjai teigia, kad šis įsipainiojimas riboja eksperimentavimą. Jei kūrimo komanda nori pereiti nuo paprasto mėginių ėmimo prie pluošto paieškos strategijos, kad pagerintų tikslumą, ji dažnai turi iš naujo suprojektuoti programos valdymo srautą. Šios didelės eksperimentavimo išlaidos reiškia, kad komandos dažnai renkasi neoptimalias patikimumo strategijas, kad išvengtų inžinerinių papildomų išlaidų.
Logikos atsiejimas nuo paieškos, siekiant padidinti AI agento mastelį
ENCOMPASS sistema tai išsprendžia leisdama programuotojams savo kode pažymėti „nepatikimumo vietas“ naudojant primityvią, vadinamą šakos taškas ().
Šie žymekliai nurodo, kur įvyksta LLM iškvietimas ir kur vykdymas gali skirtis. Kūrėjas rašo kodą taip, lyg operacija bus sėkminga. Vykdymo metu sistema interpretuoja šiuos šakų taškus, kad sukurtų galimų vykdymo kelių paieškos medį.
Ši architektūra leidžia tai, ką autoriai vadina „programos valdymo“ agentais. Skirtingai nuo „LLM-in-control“ sistemų, kur modelis nusprendžia visą operacijų seką, programos valdymo agentai veikia pagal darbo eigą, apibrėžtą kodu. LLM iškviečiamas tik tam tikroms papildomoms užduotims atlikti. Ši struktūra paprastai teikiama pirmenybė įmonės aplinkoje dėl didesnio nuspėjamumo ir audito, palyginti su visiškai autonominiais agentais.
Išvadų strategijas traktuodama kaip paiešką vykdymo keliuose, sistema leidžia kūrėjams taikyti skirtingus algoritmus, pvz., paiešką pagal gylį, pluošto paiešką arba Monte Karlo medžio paiešką, nekeičiant pagrindinės verslo logikos.
Poveikis pasenusiam perkėlimui ir kodo vertimui
Šio metodo naudingumas akivaizdus atliekant sudėtingas darbo eigas, tokias kaip senojo kodo perkėlimas. Tyrėjai pritaikė sistemą „Java“ į Python vertimo agentui. Darbo eiga apėmė saugyklos failų vertimą po failo, įvesties generavimą ir išvesties patvirtinimą vykdant.
Standartiniame Python diegime, norint pridėti paieškos logiką prie šios darbo eigos, reikėjo apibrėžti būsenos mašiną. Šis procesas užtemdė verslo logiką ir padarė kodą sunkiai įskaitomą ar pūkuotą. Diegiant pluošto paiešką programuotojas turėjo suskaidyti darbo eigą į atskirus veiksmus ir aiškiai valdyti būseną kintamųjų žodyne.
Naudodama siūlomą sistemą, kad padidintų AI agento mastelį, komanda įgyvendino tas pačias paieškos strategijas įterpdama šakos taškas () pareiškimai prieš LLM skambučius. Pagrindinė logika išliko linijinė ir skaitoma. Tyrimas parodė, kad pluošto paieškos taikymas tiek failo, tiek metodo lygiu buvo geresnis už paprastesnes atrankos strategijas.
Duomenys rodo, kad šių problemų atskyrimas leidžia geriau pritaikyti įstatymus. Našumas pagerėjo tiesiškai, atsižvelgiant į išvados sąnaudų logaritmą. Veiksmingiausia rasta strategija – smulkiagrūdžio pluošto paieška – taip pat buvo ta, kurią būtų buvę sudėtingiausia įgyvendinti naudojant tradicinius kodavimo metodus.
Sąnaudų efektyvumas ir našumo didinimas
Išvadų sąnaudų kontrolė yra pagrindinis duomenų pareigūnų, tvarkančių AI projektų P&L, rūpestis. Tyrimas rodo, kad sudėtingi paieškos algoritmai gali duoti geresnių rezultatų mažesnėmis sąnaudomis, palyginti su tiesiog padidinus grįžtamojo ryšio kilpų skaičių.
Atvejo tyrime, susijusiame su „Refleksijos“ agento modeliu (kai LLM kritikuoja savo produkciją), tyrėjai palygino patikslinimo kilpų skaičiaus mastelį su geriausio pirmo paieškos algoritmu. Taikant paieška pagrįstą metodą buvo pasiektas panašus našumas, kaip ir standartinis patikslinimo metodas, bet už mažesnę užduotį.
Ši išvada rodo, kad išvadų strategijos pasirinkimas yra sąnaudų optimizavimo veiksnys. Naudodamos šią strategiją iš išorės, komandos gali suderinti skaičiavimo biudžeto ir reikalaujamo tikslumo balansą neperrašydamos programos. Mažos vertės vidinis įrankis gali naudoti pigią ir godią paieškos strategiją, o klientams skirta programa gali naudoti brangesnę ir išsamesnę paiešką, kuri veikia toje pačioje kodų bazėje.
Norint pritaikyti šią architektūrą, reikia pakeisti tai, kaip kūrimo komandos žiūri į agento kūrimą. Sistema sukurta veikti kartu su esamomis bibliotekomis, tokiomis kaip „LangChain“, o ne jas pakeisti. Jis yra kitame kamino lygyje ir valdo valdymo srautą, o ne greitas inžinerijos ar įrankių sąsajas.
Tačiau šis metodas neapsieina be inžinerinių iššūkių. Sistema sumažina kodą, reikalingą paieškai įgyvendinti, bet neautomatizuoja paties agento dizaino. Inžinieriai vis tiek turi nustatyti tinkamas šakų taškų vietas ir apibrėžti patikrinamą sėkmės metrikas.
Bet kokios paieškos galimybės efektyvumas priklauso nuo sistemos gebėjimo įvertinti konkretų kelią. Kodo vertimo pavyzdyje sistema gali atlikti vienetų testus, kad patikrintų teisingumą. Subjektyvesnėse srityse, tokiose kaip apibendrinimas ar kūrybinis generavimas, patikimos balų funkcijos apibrėžimas išlieka kliūtimi.
Be to, modelis remiasi galimybe kopijuoti programos būseną šakojimosi taškuose. Nors sistema tvarko kintamą aprėptį ir atminties valdymą, kūrėjai turi užtikrinti, kad išoriniai šalutiniai poveikiai, pvz., duomenų bazės įrašai ar API iškvietimai, būtų tinkamai valdomi, kad būtų išvengta veiksmų pasikartojančių paieškos proceso metu.
Įtaka AI agento mastelio keitimui
PAN ir ENCOMPASS pakeitimas atitinka platesnius programinės įrangos inžinerijos moduliškumo principus. Kadangi agentinės darbo eigos tampa operacijų pagrindu, jų priežiūrai reikės tokio pat griežtumo, kuris taikomas tradicinei programinei įrangai.
Griežtai koduojant tikimybinę logiką verslo programose sukuriama techninė skola. Dėl to sistemas sunku išbandyti, patikrinti ir atnaujinti. Išvadų strategijos atsiejimas nuo darbo eigos logikos leidžia nepriklausomai optimizuoti abu.
Šis atskyrimas taip pat palengvina geresnį valdymą. Jei konkreti paieškos strategija sukelia haliucinacijų ar klaidų, ją galima koreguoti visame pasaulyje, nevertinant kiekvieno agento kodų bazės. Tai supaprastina AI elgesio versijų nustatymą, reikalavimą reguliuojamoms pramonės šakoms, kuriose sprendimo „kaip“ svarba yra tokia pat svarbi, kaip ir rezultatas.
Tyrimas rodo, kad atsižvelgiant į išvados laiko skaičiavimo skales, vykdymo kelių valdymo sudėtingumas padidės. Įmonių architektūros, išskiriančios šį sudėtingumą, greičiausiai pasirodys patvaresnės nei tos, kurios leidžia jai prasiskverbti į taikymo sluoksnį.
Taip pat žiūrėkite: „Intuit“, „Uber“ ir „State Farm“ bandomieji AI agentai įmonės darbo eigose
Norite daugiau sužinoti apie AI ir didelius duomenis iš pramonės lyderių? Peržiūrėkite „AI & Big Data Expo“, vykstančią Amsterdame, Kalifornijoje ir Londone. Išsamus renginys yra „TechEx“ dalis ir vyksta kartu su kitais pagrindiniais technologijų renginiais, įskaitant „Cyber Security & Cloud Expo“. Norėdami gauti daugiau informacijos, spustelėkite čia.
AI naujienas teikia TechForge Media. Čia rasite kitus būsimus įmonių technologijų renginius ir internetinius seminarus.
