Ettevõtted avastavad, et AI-agentide loomine on lihtne võrreldes süsteemide loomisega, mis muudavad need agentid tootmiskeskkonnas usaldusväärseks.
Ettevõtluslikud AI-meeskonnad olid viimased kaks aastat püüdmas luua agente. Nüüd seisavad nad silmitsi teise probleemiga: väga vähesed neist agentidest saavad tegelikult suures mahus usaldada.
Lüngad hakkavad ilmuma avalikes andmetes. Uute andmete kohaselt ehitas Prosus sisuliselt 50 000 agenti, kuid igapäevaselt töötavad ainult umbes 5000. See 10:1 suhe on muutunud näitajaks praegusest ettevõtlusliku AI tootmise olukorrast. Probleem ei ole selles, kas ettevõtted suudavad agente luua. Probleem on selles, kas nad suudavad usaldusväärselt kindlaks teha, millised agentid on turvaliselt kasutusele võtta, millised väljundid on usaldusväärsed ja mis juhtub süsteemide läbikukkumisel.
See eristus on oluline, sest autonoomsete süsteemide lubatud tõhusus eeldab, et süsteemid teevad esimesena õigeid otsuseid.
Eksperimenteerimisest tootmisse jõudmise lünk
Paljude insenerimeeskondade jaoks liikus esimene AI-agentide kasutuselevõtu laine kiiresti. Sisemised koostööpartnerid (copilots), töövoogude automaatsed süsteemid ja mitmeagentilised süsteemid ilmusid erinevatesse osakondadesse. Demod töötasid. Pilootprogrammid näitsid lootust.
Tootmiskeskkonnad rääkisid aga teist laulu.
Antonio Bustamante, ettevõtte bem tegevjuht, on aastaid töötanud AI-infrastruktuuri kujundamisel reguleeritud valdkondades, sealhulgas kindlustus-, finants- ja tervishoius. Tema arvates on sektori suurim takistus vastutusvõimekus.
Ta viitab laialt arutatud juhtumile Upstream’iga, kus AI-agent liitus Slacki kanaliga ja inimmeeskond jäi aruandluslikult 24 tundi vaikseks, sest keegi ei teadnud, kuidas sellega suhelda. Bustamante väidab, et see vaikus paljastas midagi sügavamat: ettevõtted ei ole loonud operatsioonimudeleid, mille alusel töötada agentidega koos.
Sama mustri näeb ka suurtes ettevõtluslikes kasutuselevõtudes. Meeskonnad suudavad kiiresti genereerida tuhandeid agente, kuid nende kasutamine langeb, kui süsteemid puutuvad kokku kaotatud tootmisandmetega, ebamäärase omandusõigusega või kahtlase väljundiga.
Seetõttu leiavad paljud ettevõtted end nüüd olukorras, kus on tehtud laiaulatuslikke AI-agentide kasutuselevõtu tegevusi, kuid tegelik ettevõtluslik AI-tootmine on suhteliselt väike.
Miks mitmeagentilised süsteemid püsivad ikka peatuses
Osaprobleem tuleneb sellest, kuidas ettevõtluslikud keskkonnad tegelikult töötavad.
Kontrollitud demodel on andmed puhtad ja töövoogud ennustatavad. Tegelikud organisatsioonid harva nii toimivad. Enamik ettevõtluslikke süsteeme sisaldab fragmenteeritud andmeid, ebakohases vormingus andmeid, puuduvat konteksti ja aastakümneid kogunenud operatsioonilisi ümberkäike.
Bustamante võrdleb olukorda monteerimisjoonega. Henry Fordi tootmisstrateegia oli edukas, sest sisendandmed standardiseeriti enne tootmise suurendamist. Mitmeagentilised süsteemid on vastupidises olukorras. Neilt oodatakse, et nad toimivad mittestandardiseeritud ettevõtluslike andmetega – omadus, mis iseloomustab enamikku ettevõtluslikke keskkondi.
Mõned ettevõtted on juba avalikult tunnistanud operatsioonilise koormuse. Mitmes kasutuselevõtus leidsid organisatsioonid end pidevalt määramas inimüleknutuid, kes hindasid agentide väljundeid. Ühes tööstuses ringluses olevas näites nõudis mitmeagentiline süsteem tagantjärele tulemuste valideerimiseks 20 inimest.
See muudab majandusliku mudeli täielikult. Autonoomsete agentide kasutuselevõtu lubatud kasu kadub, kui inimesed peavad siiski kinnitama iga otsuse käsitsi.
Usalduslikkuse skoorimine ja puuduv vastutuskiht
Bustamante väidab, et usalduslikkuse skoorimine on muutunud üheks kõige rohkem unustatuks komponendiks AI-valitsemises ja AI-infrastruktuuri tootmises. Ilma süsteemideta, mis suudavad mõõta ebakindlust, ei ole operaatoritel usaldusväärset viisi kindlaks teha, millised agentid on tootmiseks valmis ja milliste korral on vaja sekkuda.
Praktikas tähendab usalduslikkuse skoorimine rohkem kui lihtsalt vastusele protsendi määramist. See nõuab süsteeme, mis suudavad selgitada ebakindlust, tagasi viidata otsustele lähteandmetele ja luua inimese sissepoole (human-in-the-loop) kontrollpunkte enne kui vead korduvad töövoogudes.
See AI-vastutuskiht muutub eriti oluliseks valdkondades, kus vead kaasnevad rahaliste või õiguslike tagajärgedega. Ebaõnnestunud kindlustuskliendi ülevaatus, tervishoius tehtud ekstraktsiooniviga või rahanduslik töötlemisviga võib muutuda vastutuse all olevaks sündmuseks.
Bustamante kirjeldab bem’i laiemat teesi kui „agentide orkestratsiooniplatvorm asjade jaoks, mis ei tohi läbi kukkuda“. See fraas peegeldab tööstuses üha rohkem levivat teadvust: AI-agentide usaldusväärsus sõltub vähem sellest, kui palju agente kasutusele võetakse, ja rohkem sellest, kas saab jälgida, auditeerida ja parandada otsuseid juhul, kui midagi läheb valesti.
Mis välja näeb tootmisvalmis infrastruktuur
Järgmine ettevõtlusliku AI faas võib vähem seondua rohkemate agentide ehitamisega ja rohkem süsteemide ehitamisega nende ümber.
Ettevõtted, kes keskenduvad pikaajaliselt AI-agentide kasutusele võtmisele, otsivad üha rohkem infrastruktuuri, mis jääb käivitumisel paindlikuks, kuid on tulemustes range ja jälgitav häirekorral. See hõlmab usalduslikkuse skoorimist, auditijälgi, sekkumispunkte, andmete standardiseerimist ning tootmise jaoks mõeldud valitsemisüsteeme, mitte demode.
Ettevõtted, kes suudavad sulgeda lünka mitmeagentiliste süsteemide eksperimenteerimise ja reaalmaailmliku kasutuselevõtu vahel, ei pruugi olla need, kellel on kõige rohkem agente. Nad võivad olla need, kes lõpuks ehitavad just seda vastutusinfrastruktuuri, mille ettevõtted esimesel korral mööda vaatasid.
