Direktorių tarybos siekia, kad produktyvumas padidėtų iš didelių kalbų modelių ir dirbtinio intelekto padėjėjų. Tačiau tos pačios funkcijos, dėl kurių dirbtinis intelektas yra naudingas – naršymas gyvose svetainėse, vartotojo konteksto prisiminimas ir prisijungimas prie verslo programų – taip pat išplečia kibernetinės atakos paviršių.
Patikimi mokslininkai paskelbė pažeidžiamumų ir atakų rinkinį pavadinimu „HackedGPT“, parodydami, kaip netiesioginis greitas įpurškimas ir susiję metodai gali įgalinti duomenų išfiltravimą ir kenkėjiškų programų išlikimą. Kai kurios problemos buvo išspręstos, o kitos, kaip pranešama, tebėra išnaudojamos „Tenable“ atskleidimo metu, remiantis bendrovės pateiktame patarime.
Kad būtų pašalinta AI padėjėjų veiklai būdinga rizika, reikalingas valdymas, kontrolė ir veiklos metodai, kuriais dirbtinis intelektas traktuojamas kaip vartotojas ar įrenginys, tiek, kad technologija turėtų būti griežtai tikrinama ir stebima.
„Tenable“ tyrimas rodo gedimus, dėl kurių AI padėjėjai gali virsti saugumo problemomis. Netiesioginis raginimas įterpti žiniatinklio turinyje paslepia instrukcijas, kurias asistentas skaito naršydamas, instrukcijas, kurios suaktyvina prieigą prie duomenų, kurių vartotojas neketino. Kitas vektorius apima priekinės užklausos, kuri pateikia kenkėjiškas instrukcijas, naudojimą.
Poveikis verslui yra aiškus, įskaitant būtinybę reaguoti į incidentus, teisinę ir reguliavimo peržiūrą bei veiksmus, kurių buvo imtasi siekiant sumažinti žalą reputacijai.
Jau yra tyrimų, rodančių, kad padėjėjai gali nutekėti asmeninę ar neskelbtiną informaciją naudodami injekcijos metodus, o dirbtinio intelekto pardavėjai ir kibernetinio saugumo ekspertai turi pataisyti problemas, kai jos atsiranda.
Šis modelis yra žinomas visiems technologijų pramonės atstovams: plečiantis funkcijoms, plečiasi ir gedimų režimai. Dirbtinio intelekto pagalbininkus traktuojant kaip tiesiogines, į internetą nukreiptas programas, o ne kaip produktyvumo variklius, galima pagerinti atsparumą.
Kaip praktiškai valdyti AI padėjėjus
1) Sukurkite AI sistemos registrą
Inventorizuokite kiekvieną naudojamą modelį, asistentą ar agentą – viešajame debesyje, vietoje ir programinėje įrangoje kaip paslauga, vadovaudamiesi NIST AI RMF Playbook. Įrašo savininkas, paskirtis, galimybės (naršymas, API jungtys) ir pasiekiami duomenų domenai. Net ir be šio AI išteklių sąrašo „šešėliniai agentai“ gali išlikti su privilegijomis, kurių niekas neseka. „Shadow AI“ – vienu etapu skatinamas tokių kaip „Microsoft“, skatinusių vartotojus darbe naudoti namų „Copilot“ licencijas – yra didelė grėsmė.
2) Atskiros žmonių, paslaugų ir agentų tapatybės
Tapatybės ir prieigos valdymas sujungia vartotojų paskyras, paslaugų paskyras ir automatizavimo įrenginius. Padėjėjams, kurie pasiekia svetaines, skambina įrankius ir rašo duomenis, reikia atskirų tapatybių ir jiems turi būti taikoma nulinio pasitikėjimo politika, suteikianti mažiausią privilegiją. Agentų-agentų grandinių atvaizdavimas (kas klausė, kam ką daryti, kokius duomenis ir kada) yra minimalus kelias, galintis užtikrinti tam tikrą atskaitomybę. Verta paminėti, kad agentinis AI yra jautrus „kūrybinei“ produkcijai ir veiksmams, tačiau, skirtingai nei personalas, jo nevaržo drausminė politika.
3) Apribokite rizikingas savybes pagal kontekstą
Leiskite AI padėjėjų naršymui ir nepriklausomiems veiksmams pasirinkti pagal naudojimo atvejį. Klientams skirtiems padėjėjams nustatykite trumpą saugojimo laiką, nebent yra rimta priežastis ir teisėtas pagrindas kitaip. Vidinei inžinerijai naudokite AI padėjėjus, bet tik atskiruose projektuose su griežtu registravimu. Taikykite duomenų praradimo prevenciją jungties srautui, jei padėjėjai gali pasiekti failų saugyklas, susirašinėti pranešimais ar el. paštu. Ankstesnės papildinio ir jungties problemos rodo, kaip integracijos padidina parodymą.
4) Stebėkite kaip bet kurią į internetą nukreiptą programą
- Užfiksuokite asistento veiksmus ir įrankių iškvietimus kaip struktūrinius žurnalus.
- Įspėjimas apie anomalijas: staigūs šuoliai naršant į nepažįstamus domenus; bando apibendrinti nepermatomus kodo blokus; neįprasti atminties rašymo pliūpsniai; arba jungties prieiga už politikos ribų.
- Įtraukite injekcijos testus į patikrinimus prieš gamybą.
5) Sukurkite žmogaus raumenis
Apmokykite kūrėjus, debesų inžinierius ir analitikus atpažinti injekcijos simptomus. Skatinkite naudotojus pranešti apie keistą elgesį (pvz., padėjėjas netikėtai apibendrina turinį iš svetainės, kurios jie neatidarė). Įprasta padėti asistentui karantinuoti, išvalyti atmintį ir kaitalioti jo kredencialus po įtartinų įvykių. Įgūdžių trūkumas yra tikras; be įgūdžių tobulinimo valdymas atsiliks nuo priėmimo.
Sprendimų taškai IT ir debesijos lyderiams
| Klausimas | Kodėl tai svarbu |
|---|---|
| Kurie padėjėjai gali naršyti internete arba rašyti duomenis? | Naršymas ir atmintis yra įprasti injekcijos ir atkaklumo būdai; apriboti pagal naudojimo atvejį. |
| Ar agentai turi skirtingas tapatybes ir audituojamą delegavimą? | Neleidžia „kas ką padarė? spragų, kai instrukcijos sėjamos netiesiogiai. |
| Ar yra AI sistemų registras su savininkais, apimtimis ir saugojimu? | Palaiko valdymą, tinkamą valdiklių dydį ir biudžeto matomumą. |
| Kaip valdomos jungtys ir papildiniai? | Trečiųjų šalių integracijos turi saugumo problemų istoriją; taikyti mažiausią privilegiją ir DLP. |
| Ar prieš paleidimą patikriname, ar nėra 0 ir 1 paspaudimo vektorių? | Viešieji tyrimai rodo, kad abu yra įmanomi naudojant sukurtas nuorodas arba turinį. |
| Ar pardavėjai greitai pataiso ir skelbia pataisymus? | Funkcijos greitis reiškia, kad atsiras naujų problemų; patikrinkite reagavimą. |
Rizika, išlaidų matomumas ir žmogiškasis faktorius
- Paslėptos išlaidos: asistentai, kurie naršo arba išsaugo atmintį, naudoja skaičiavimus, saugyklą ir išeina taip, kaip finansų komandos ir tie, kurie stebi Xaas naudojimą per ciklą, galbūt nesumodeliavo. Registras ir matavimas sumažina netikėtumų.
- Valdymo spragos: žmonėms skirtos audito ir atitikties sistemos automatiškai neužfiksuos tarp agentų delegavimo. Suderinkite valdiklius pagal OWASP LLM riziką ir NIST AI RMF kategorijas.
- Saugumo rizika: kaip rodo tyrimai, netiesioginis greitas įterpimas gali būti nematomas vartotojams, perduodamas iš laikmenos, teksto ar kodo formatavimo.
- Įgūdžių trūkumas: daugelis komandų dar nesujungė AI/ML ir kibernetinio saugumo praktikos. Investuokite į mokymus, apimančius asistento grėsmių modeliavimą ir injekcijų testavimą.
- Besikeičianti laikysena: tikėkitės naujų trūkumų ir pataisymų. 2025 m. pabaigoje OpenAI ištaisė nulinio paspaudimo kelią – tai priminimas, kad pardavėjo padėtis greitai keičiasi ir ją reikia patikrinti.
Apatinė eilutė
Pamoka vadovams paprasta: DI asistentus vertinkite kaip galingas, tinkle sujungtas programas, turinčias savo gyvavimo ciklą ir polinkį būti atakų objektu ir imtis nenuspėjamų veiksmų. Sukurkite registrą, atskirkite tapatybes, pagal numatytuosius nustatymus apribokite rizikingas funkcijas, registruokite viską, kas reikšminga, ir repetuokite, kad būtų sulaikomas.
Kai šie apsauginiai turėklai yra vietoje, agentinis AI greičiausiai užtikrins išmatuojamą efektyvumą ir atsparumą, tyliai netapdamas jūsų naujausiu pažeidimo vektoriumi.
(Vaizdo šaltinis: aha42 „The Enemy Within Unleashed“ | tehaha licencijuota pagal CC BY-NC 2.0.)
Norite daugiau sužinoti apie AI ir didelius duomenis iš pramonės lyderių? Peržiūrėkite „AI & Big Data Expo“, vykstančią Amsterdame, Kalifornijoje ir Londone. Išsamus renginys yra TechEx dalis ir vyksta kartu su kitais pagrindiniais technologijų renginiais. Norėdami gauti daugiau informacijos, spustelėkite čia.
AI naujienas teikia TechForge Media. Čia rasite kitus būsimus įmonių technologijų renginius ir internetinius seminarus.
