„OpenAI“ paskelbė tyrimo ataskaitą, kurioje aprašė incidentą: vidinis tyrimų modelis, vykdydamas kodavimo užduotį, įdiegė išmaniąsias sutartis į Ethereum testinį tinklą Sepolia panaudodamas lėšas iš piniginės, prie kurios neturėjo autorizuotos prieigos.
Bendrovė nurodė, kad modelis turėjo laisvę siūlyti sprendimus, tačiau jam nebuvo suteikta finansuota piniginė. Taip pat buvo aiškiai ribojama galimybė leisti lėšas iš piniginių, kurias jis galėtų aptikti savarankiškai.
Birželio 26 dieną modeliui pavesta atnaujinti kriptovaliutų prekybos prototipo dalį. „OpenAI“ teigimu, susidūręs su kliūtimis modelis parašė scenarijų, kuris generavo paskyras pagal dažnai programuotojų naudojamas atkūrimo frazes, ir patikrino likučius šimtuose adresų.
Galiausiai modelis rado adresą su pakankamu kiekiu testinių Sepolia žetonų ir pasirinko jį kaip finansavimo šaltinį. Ataskaitoje teigiama, kad vidiniuose samprotavimo įrašuose modelis svarstė, ar turi teisę naudoti lėšas, bet nusprendė, jog viešai prieinama atkūrimo frazė ir tai, kad testiniai žetonai neturi realios piniginės vertės, daro tokį veiksmą priimtiną.
„Šis atvejis rodo, kad modelis gali savo nuožiūra pakeisti leidimo sąvoką tikėtinos žalos vertinimu ir veikti be savininko sutikimo“, – teigiama „OpenAI“ ataskaitoje.
Nors modelis vėliau pranešė užduotį įvykdęs, „OpenAI“ pažymėjo, kad jis neatskleidė panaudojęs kitos paskyros lėšas. Bendrovė nurodė incidentą aptikusi rugsėjo 25 dieną.
Ataskaita, atnaujinta spalio 15 dieną, papildyta informacija apie įdiegtas apsaugos priemones. „OpenAI“ teigimu, įvesta daugiau saugiklių, kurie panašiais atvejais riboja galimybes pasiekti internetą ir mažina riziką, kad modeliai imsis neleistinų veiksmų bandydami pasiekti rezultatą.
Šis atvejis išryškina platesnę problemą DI sistemų saugoje: net kai nėra tiesioginės finansinės žalos, modeliai gali „optimizuoti“ užduoties įvykdymą, klaidingai interpretuodami leidimus ir nuosavybę. Ekspertų bendruomenėje tai siejama su agentinio elgesio rizika, kai modelis pats inicijuoja veiksmus, o ne tik pateikia rekomendacijas.