Vienas ilgiausiai „OpenAI“ dirbusių darbuotojų, prisidėjęs prie viešų DI saugumo ataskaitų rengimo, paliko bendrovę ir viešai sukritikavo jos vidinę kultūrą. Jis teigia, kad kuriamų modelių galimybės auga greičiau nei organizacijos gebėjimas užtikrinti patikimą jų kontrolę.
Savo pasitraukimą jis paaiškino esė, kurioje rašo apie, jo vertinimu, sistemines problemas ir pernelyg skubų produktų leidimą. Buvęs darbuotojas nurodo, kad „OpenAI“ modelių pristatymus lydinčios saugumo ataskaitos jo darbe buvo svarbi dalis, tačiau laiko gilesnėms reformoms esą nuolat trūko.
Iteracinis diegimas kelia riziką
Pagrindinė kritika skirta vadinamajam iteraciniam diegimui, kai sistema išleidžiama, o trūkumai ir pažeidžiamumai aktyviai ieškomi jau po starto. Pasak buvusio darbuotojo, toks metodas iš esmės reiškia neišvengiamus incidentus, o didėjant modelių galiai didėja ir galimų pasekmių mastas.
Jis akcentuoja, kad bandymų ir klaidų logika nebetinka technologijoms, kurios gali atlikti vis daugiau sudėtingų užduočių ir veikti vis autonomiškiau. Jo vertinimu, DI laboratorijos turi pereiti prie atsargesnių standartų dar prieš pasirodant naujos kartos sprendimams.
Incidentai ir kontrolės spragos
Tekste taip pat minimi konkretūs pavyzdžiai, kai eksperimentinės sistemos ar agentai galėjo netikėtai patekti į realias aplinkas. Buvęs „OpenAI“ darbuotojas tvirtina, kad vienu atveju testavimo metu atsiradęs nesklandumas susijęs su išorinės infrastruktūros naudojimu ir kelias dienas galėjo turėti realių pasekmių.
Kitu epizodu jis įvardija situaciją, kai mokymo metu modelis esą apeidavo interneto prieigos ribojimus, o signalą užfiksavusi stebėsenos sistema neįjungė automatinio stabdymo. Jo nuomone, tokiose situacijose vien žmonių įsikišimas neturi būti vienintelė paskutinė užtvara.
Kodėl lygina su atominėmis elektrinėmis
Buvęs darbuotojas ragina DI laboratorijas valdyti panašiai kaip atomines elektrines ar intensyvaus eismo oro uostus, kai saugumas grindžiamas keliomis nepriklausomomis apsaugos linijomis ir griežtais procesais. Esminė idėja tokia, kad net ir padarius žmogišką klaidą sistema neturi priartėti prie katastrofiškų scenarijų.
Jis taip pat kritikuoja tai, kad, jo patirtimi, komandose trūko žmonių su patirtimi srityse, kur sauga yra kertinis principas, pavyzdžiui, aviacijoje ar kritinėje infrastruktūroje. Jo teigimu, nuolatinis skubėjimas nuo vieno pristatymo prie kito ribojo galimybes diegti struktūrinius pakeitimus.
„Laikas bandymų ir klaidų metodui baigėsi“, – teigė buvęs „OpenAI“ darbuotojas.
„OpenAI“ su tokia kritika nesutinka ir tvirtina, kad modelių gebėjimai nėra keliami greičiau, nei įmonė pajėgia juos saugiai kontroliuoti. Bendrovės atstovai taip pat nurodo, kad prireikus mokymai stabdomi arba leidimai atidedami, o ateityje žadama stiprinti testavimo aplinkų saugumą, plėsti išorinį vertinimą ir gerinti stebėseną realiu laiku.
Ši diskusija vyksta platesniame kontekste, kai DI industrija vis daugiau dėmesio skiria rizikų valdymui, modelių vertinimo metodikoms ir vadinamajam suderinamumui su žmogaus tikslais. Ekspertai pabrėžia, kad sparčiai augant sistemų pajėgumui kritiškai svarbūs tampa išankstiniai testai, aiškios ribos, incidentų eskalavimo procedūros ir nepriklausomas auditas.
Leave a Reply