Seanas Kelly, medicinos mokslų daktaras, „Imprivata“ vyriausiasis medicinos pareigūnas, apmąsto būtinus aspektus, susijusius su agentinio AI diegimu sveikatos priežiūros srityje.
Sveikatos priežiūra patiria didžiulę įtampą. Klinikai, slaugytojai ir personalas valdo didėjantį sudėtingumą, didėjančius dokumentų reikalavimus, darbuotojų trūkumą ir darbo eigą, kuri jau jaučiasi ištempta iki lūžio taško. Kai naujos technologijos žada sumažinti naštą ir pagerinti efektyvumą, jos greitai atkreipia mūsų dėmesį. Tai yra dalis to, dėl ko dirbtinis intelektas (AI) šiuo metu yra ypač patrauklus sveikatos priežiūros srityje. Mums reikia pagalbos, ir daugelyje sričių AI pradeda ją siūlyti.
Iki šiol didžioji pokalbio dalis buvo skirta pagalbiniams naudojimo atvejams: aplinkos dokumentacija, apibendrinimas, sprendimų palaikymas ir kitos priemonės, padedančios gydytojams dirbti efektyviau. Šios programos yra svarbios, ir daugelis jų jau rodo tikrąją vertę. Tačiau kitas sveikatos priežiūros dirbtinio intelekto etapas yra kitoks. Nuo sistemų, kurios palaiko sprendimus, pereiname prie sistemų, kurios gali pradėti juos veikti. Štai čia ir keičiasi statymai.
Agentinis AI
Agentinis AI reiškia sistemas, kurios ne tik nustato užduotis ar rekomenduoja tolesnius veiksmus, bet ir gali jas iš tikrųjų atlikti. Šios sistemos gali inicijuoti veiksmus, perkelti informaciją darbo eigoje, suaktyvinti ryšius ir kai kuriais atvejais atlikti operacines užduotis su ribotu žmogaus įsikišimu. Tinkamais nustatymais tai gali pašalinti tikrąją priežiūros trukmę. Tai galėtų sumažinti administracinę naštą, pagerinti reagavimą ir padėti pernelyg išplėstoms komandoms veikti veiksmingiau. Aš optimistiškai žiūriu į tą ateitį, bet taip pat manau, kad turime į ją žiūrėti plačiai atmerktomis akimis.
Sveikatos priežiūros srityje nėra tokio dalyko kaip vien administracinė darbo eiga. Čia daug rizikos neįvertinama. Popieriuje gali atrodyti tikslinga pradėti agentinį AI su „mažos rizikos“ operacinio naudojimo atvejais, o ne atvirai klinikiniais. Tvarkaraštis yra geras pavyzdys: iš pirmo žvilgsnio jis atrodo administracinis, tačiau medicinoje net planavimo sprendimai gali turėti rimtų klinikinių pasekmių.
Įsivaizduokite, kad pacientas siunčiamas atlikti ultragarso tyrimą dėl naujo kojų patinimo. AI agentas planuoja studijas kitą savaitę. Ant popieriaus užduotis baigta. Veikia sistema veikė. Bet ką daryti, jei to paciento patinimą iš tikrųjų sukėlė giliųjų venų trombozė, o prieš atliekant tyrimą krešulys nukeliauja į plaučius ir pacientas patenka į intensyviosios terapijos skyrių su plaučių embolija?
Tai nėra hipotetinis kraštutinis atvejis. Tai yra dalykas, dėl kurio gydytojai nerimauja, nes svarbus kontekstas. To planavimo sprendimo skubumas priklauso nuo detalių, kurios gali būti akivaizdžios vien tik struktūriniuose duomenyse. Tai priklauso nuo simptomų, gretutinių ligų, istorijos, pokyčių laikui bėgant ir klinikinio sprendimo, kas turi įvykti dabar ir vėliau.
Kam priklauso rezultatas?
Taigi, jei agentas priėmė sprendimą dėl tvarkaraščio, kam priklauso rezultatas? Ar tai gydytojas, kuris padavė užsakymą? Darbuotojas, kuris tradiciškai būtų jį suplanavęs? Sveikatos sistema, kuri patvirtino darbo eigą? Pardavėjas, kurio sistema įgalino veiksmą? Komanda, sukonfigūravusi agentą? Ir, ko gero, svarbiausia, ar kuris nors žmogus iš tikrųjų matė sprendimą tuo metu, kai įsikišimas vis dar buvo svarbus? Tikroji problema, susijusi su agentiniu AI sveikatos priežiūros srityje, yra ne tik tai, kad šios sistemos gali veikti, bet ir tai, kad jos gali veikti darbo eigoje, kur nedideli sprendimai gali turėti paslėptų pasekmių pacientų saugai.
Tas pats susirūpinimas taikomas ir kitiems naudojimo atvejams, kurie atrodo nesudėtingi, kol nepažiūrėsite atidžiau. Kaip pavyzdį paimkite gautųjų tvarkymą arba vaistų papildymo darbo eigą. Dauguma pranešimų yra įprasti. Dauguma papildymo prašymų yra tinkami. Tačiau šiose didelės apimties užduotyse paslėptos išimtys yra svarbiausios. Portalo žinutė, kuri skamba nežymiai, iš tikrųjų gali apibūdinti diabetu sergančio paciento tylaus miokardo infarkto simptomus. Prašymas papildyti gali atrodyti automatinis, kol suprasite, kad vaistas nebėra saugus, nes paciento inkstų funkcija nebuvo patikrinta. Tomis akimirkomis darbo eiga nebėra administracinė – ji yra klinikinė. Jei autonominė sistema negali patikimai atpažinti to perėjimo, ji gali labai greitai sukelti pavojų.
Nė vienas iš jų nėra argumentas prieš agentinį AI. Tiesą sakant, aš tikiu priešingai. Manau, kad šios technologijos turi didžiulį potencialą padėti sumažinti gydytojų ir personalo naštą, o sveikatos priežiūrai skubiai reikia tokios paramos. Tačiau turėtume būti sąžiningi, kur gyvena rizika. Iššūkis yra ne tik tai, ar AI agentas yra tikslus siaurąja technine prasme. Iššūkis yra tas, ar jis gali saugiai veikti sudėtingoje, tarpusavyje priklausančioje priežiūros aplinkoje, kur laikas, kontekstas ir išimtys yra svarbūs tiek pat, kiek ir pati užduotis. Tai reiškia, kad valdymas negali būti traktuojamas kaip politinis dokumentas, stovintis lentynoje. Jis turi veikti.
Geriausia agentinio AI valdymo praktika
Sveikatos priežiūros srityje mes jau suprantame, kaip dirbti didelės rizikos aplinkoje. Mes tai darome kiekvieną dieną. Pasikliaujame protokolais, leidimais, priežiūra, eskalavimo keliais, auditu ir apibrėžtomis veiklos sritimis. Mes nesuteikiame kiekvienam sistemos dalyviui neribotų įgaliojimų, taip pat neturėtume to daryti su AI agentais.
Iš pradžių agentinės sistemos turėtų būti griežtai aprūpintos. Jiems turėtų būti leista daryti tik tai, ką jie yra specialiai įgalioti daryti, aiškiai apibrėžtomis sąlygomis, su integruota žmogaus priežiūra. Daugeliu atvejų žmogus turėtų dalyvauti kilpoje, o ne kaip simbolinis kontrolinis taškas, o kaip prasminga darbo eigos dalis. Tai nėra ženklas, kad technologija žlugo. Taip sveikatos priežiūra valdo atsakomybę ir saugumą, kai tik pasekmės yra realios.
Laikui bėgant kai kurios organizacijos norės peržengti tiesioginę kiekvieno veiksmo žmogaus peržiūrą. Tai gali būti tinkama tam tikroms gerai suprantamoms darbo eigoms. Bet jei ketiname tai padaryti, mums reikia tinkamos kontrolės. Tai prasideda nuo tapatybės, prieigos, stebėjimo ir tikrinamumo. Jei AI agentas ketina veikti klinikinėje ar operacinėje sistemoje, jis turėtų turėti apibrėžtą tapatybę, griežtai suvaržytą leidimų rinkinį ir aiškias taisykles, kada jis gali veikti, ką gali pasiekti ir kaip tie veiksmai stebimi. Elgesys turi būti stebimas, nukrypimai turi būti aptinkami, veiksmai turi būti priskiriami ir visada turi būti būdas pristabdyti, nepaisyti arba atšaukti prieigą, kai to reikia.
Kitaip tariant, dirbtinio intelekto agentus turime valdyti labiau kaip priežiūros aplinkos dalyvius, o ne tik fone veikiančią programinę įrangą. Čia daugelis organizacijų turės pakeisti savo mąstymą. Klausimas ne tik: „Ką gali padaryti šis agentas? Geresnis klausimas yra: „Kokiomis sąlygomis turėtume pasitikėti, kad ji veiks?
Sveikatos priežiūros darbuotojai visada buvo atsargūs dėl technologijų, kurios įtraukiamos į klinikinę darbo eigą, ir dėl geros priežasties. Trintis vargina, tačiau nesaugi automatika yra dar blogesnė. Jei agentinis AI pasiseks sveikatos priežiūros srityje, tai ne dėl to, kad jis gali greitai judėti. Taip bus todėl, kad ji gali saugiai, nuspėjamai ir atsakingai judėti atsižvelgiant į pacientų priežiūros realijas. Toks yra standartas. „Pirma, nedaryk žalos“.
AI neabejotinai atliks didesnį vaidmenį sveikatos priežiūros srityje. Tikiu, kad turėtų. Tačiau kai šios sistemos pradeda veikti, o ne tik patarinėti, mes perėjome į kitą atsakomybės kategoriją. Tuo metu mes jau ne tik vertiname naudingą įrankį. Į sistemą įtraukiame naują operatyvinį veikėją. Ir viskas, kas gali veikti sveikatos priežiūros srityje, turi būti atitinkamai valdoma.
