AI poveikį nuolatiniam vystymuisi ir diegimo vamzdynams darosi sunku nepaisyti. Tačiau sprendimus priimantys programinės įrangos kūrimo funkcijos turi atsižvelgti į daugybę elementų, svarstydami apie technologijos naudojimą.
Iššūkiai diegti AI dideliu mastu
Dirbtinio intelekto diegimas nėra tas pats, kas, pavyzdžiui, žiniatinklio programos diegimas. Tradiciniai programinės įrangos naujinimai paprastai yra deterministiniai: kai kodas išlaiko testus, viskas veikia taip, kaip numatyta. Naudojant AI ir mašininį mokymąsi, rezultatai gali skirtis, nes modeliai priklauso nuo nuolat kintančių duomenų ir sudėtingos statistinės elgsenos.
Kai kurie unikalūs iššūkiai, su kuriais susidursite, yra šie:
- Duomenų poslinkis: jūsų treniruočių duomenys gali neatitikti realaus naudojimo, todėl našumas sumažės.
- Modelio versijų kūrimas: skirtingai nuo paprastų kodo atnaujinimų, turite sekti modelį ir duomenis, kuriais jis buvo apmokytas.
- Ilgas treniruočių laikas: kartojimas naujame modelyje gali užtrukti valandas ar net dienas, todėl leidimai sulėtėja.
- Aparatinės įrangos poreikiai: mokymams ir išvadoms dažnai reikia GPU arba specializuotos infrastruktūros.
- Stebėti sudėtingumą: gamybos našumo stebėjimas reiškia ne tik veikimo laiką, bet ir tikslumą, šališkumą ir sąžiningumą.
Iššūkiai reiškia, kad dirbtinio intelekto negalima traktuoti kaip tradicinės programinės įrangos. Jums reikia mašininio mokymosi vamzdynų, sukurtų naudojant automatizavimą ir stebėjimą.
DevOps principų taikymas AI sistemoms
„DevOps“ buvo sukurta siekiant priartinti kūrėjus ir operacijas skatinant automatizavimą, bendradarbiavimą ir greitas grįžtamojo ryšio linijas. Taikydami šiuos principus į AI, taigi AI ir „DevOps“, sukuriate pagrindą keičiamiems mašininio mokymosi diegimo vamzdynams.
Kai kurios geriausios „DevOps“ praktikos verčiamos tiesiogiai:
- Automatizavimas: automatizuojant mokymą, testavimą ir diegimą sumažėja rankinių klaidų ir sutaupoma laiko.
- Nuolatinis integravimas: kodo, duomenų ir modelių atnaujinimai turėtų būti integruoti ir reguliariai tikrinami.
- Stebėjimas ir stebimumas: kaip ir serverio veikimo laiką, modelius reikia stebėti, kad būtų užtikrintas poslinkis ir tikslumas.
- Bendradarbiavimas: duomenų mokslininkai, inžinieriai ir operacijų komandos turi dirbti kartu tame pačiame cikle.
Pagrindinis skirtumas tarp „DevOps“ ir „MLOps“ yra dėmesys. Nors „DevOps“ pagrindinis dėmesys skiriamas kodui, MLOps yra modelių ir duomenų rinkinių valdymas kartu su kodu. „MLOps“ išplečia „DevOps“, kad galėtų išspręsti problemas, būdingas mašininio mokymosi vamzdynams, pvz., duomenų patvirtinimui, eksperimentų stebėjimui ir perkvalifikavimo strategijoms.
Nepertraukiamo diegimo dujotiekio projektavimas mašininiam mokymuisi
Kurdami nuolatinio ML diegimo sistemą, turite galvoti ne tik apie kodą. Praėjo tie laikai, kai reikėjo tik mokėti programuoti ir koduoti; dabar kalbama apie daug daugiau. Labai svarbu turėti dirbtinio intelekto kūrimo įmonę, kuri galėtų įgyvendinti šiuos etapus. Žingsnis po žingsnio sistema gali atrodyti taip:
- Duomenų gavimas ir patvirtinimas: rinkite duomenis iš kelių šaltinių, patikrinkite jų kokybę ir užtikrinkite privatumo laikymąsi. Pavyzdžiui, sveikatos priežiūros įmonė prieš naudojimą gali patikrinti, ar paciento duomenys yra anonimizuoti.
- Modelių mokymas ir versijų kūrimas: mokykite modelius kontroliuojamoje aplinkoje ir saugokite juos su aiškia versijų istorija. Fintech įmonės dažnai griežtai registruoja, kurie duomenų rinkiniai ir algoritmų galios modeliai turi įtakos kredito balams.
- Automatizuotas testavimas: patvirtinkite tikslumą, šališkumą ir našumą prieš modeliams judant į priekį. Tai apsaugo nuo nepatikimų modelių gamybos.
- Diegimas sustojimo metu: pirmiausia perkelkite modelius į sustojimo aplinką, kad patikrintumėte integraciją su realiomis paslaugomis.
- Gamybos diegimas: diegti naudojant automatizavimą, dažnai naudojant konteinerius ir orkestravimo sistemas, pvz., Kubernetes.
- Stebėjimo ir grįžtamojo ryšio kilpos: stebėkite gamybos našumą, stebėkite dreifą ir suaktyvinkite perkvalifikavimą, kai pasiekiami slenksčiai.
Taip suprojektavę ML vamzdyną sumažinate riziką, laikotės taisyklių ir užtikrinate patikimą veiklą tokiose svarbiose pramonės šakose, kaip sveikatos priežiūra ir finansai.
Specialios kūrimo komandos vaidmuo MLOps
Jums gali kilti klausimas, ar jums reikia specialios programinės įrangos kūrimo komandos MLOps, ar pakanka samdyti konsultantus. Realybė tokia, kad vienkartiniai konsultantai dažnai teikia trumpalaikius pataisymus, tačiau mašininio mokymosi vamzdynams reikia nuolatinio dėmesio. Modeliai laikui bėgant blogėja, atsiranda naujų duomenų ir tobulėja diegimo aplinka.
Speciali komanda užtikrina ilgalaikę nuosavybę, įvairių funkcijų patirtį, greitesnę iteraciją ir rizikos valdymą. Idealu turėti specialią programinės įrangos kūrimo komandą, kuri žino, ką ji daro, kaip tai daro ir gali tai daryti už jus ilgainiui, ir ji veikia daug geriau nei vienkartiniai konsultantai.
Geriausia sėkmingų „DevOps“ AI praktika
Net ir naudojant tinkamus įrankius ir komandas, „DevOps for AI“ sėkmė priklauso nuo tvirtos geriausios praktikos laikymosi.
Tai apima:
- Viskas apie versiją: kodas, duomenys ir modeliai turi turėti aiškų versijos valdymą.
- Išbandykite daugiau nei tikslumą: patikrinkite teisingumą, šališkumą ir paaiškinamumą.
- Naudokite konteinerius nuoseklumui: ML vamzdynų talpinimas užtikrina, kad modeliai veiktų vienodai kiekvienoje aplinkoje.
- Automatizuokite perkvalifikavimo aktyviklius: nustatykite duomenų nukrypimo arba našumo sumažėjimo slenksčius, kurie automatiškai suaktyvina perkvalifikavimo užduotis.
- Stebėjimo integravimas į vamzdynus: surinkite delsos, tikslumo ir naudojimo metriką realiuoju laiku.
- Bendradarbiaukite atlikdami vaidmenis: skatinkite duomenų mokslininkų, inžinierių ir operacijų grupių dalijimąsi atsakomybe.
- Mastelio keitimo planas: kurkite vamzdynus, kurie galėtų apdoroti didėjančius duomenų rinkinius ir vartotojų poreikius be didelių pertvarkymų.
Ši praktika paverčia mašininio mokymosi dujotiekį iš eksperimentinių sistemų į gamybai paruoštą infrastruktūrą.
Išvada
Dirbtinio intelekto ateitis priklauso nuo patikimo ir keičiamo mastelio mašininio mokymosi diegimo dujotiekio. Kaip verslui, norint sukurti skaitmenines paslaugas ir produktus, itin svarbu diegti dirbtinį intelektą labai konkrečiais būdais.
