CP v2

Tag: Modelių testavimas

  • „Anthropic“ ragina testuoti pažangiausius DI modelius: siūlo nepriklausomą auditą prieš paleidimą

    DI bendrovės „Anthropic“ vadovas Dario Amodei parėmė idėją įvesti privalomą pažangiausių DI modelių testavimo ir audito režimą, kuris leistų valdžios institucijoms stabdyti ar atidėti ypač rizikingų sistemų diegimą. Pasak jo, vertinimas turėtų vykti dar prieš viešą modelio paleidimą, o sprendimai remtis techniniais saugumo kriterijais.

    Viešai pristatytoje pozicijoje D. Amodei siūlo remtis nepriklausomų trečiųjų šalių auditoriais, kurie galėtų įvertinti, ar konkretus modelis atitinka aukštus saugos standartus. Jei auditas rodytų pernelyg didelę riziką, diegimas, jo teigimu, turėtų būti blokuojamas arba atšaukiamas, kol bus pašalintos spragos.

    Keturi rizikų blokai

    „Anthropic“ vadovas išskiria kelias pagrindines sritis, kuriose, jo manymu, būtina standartizuota patikra. Tai kibernetinis saugumas, biologinių grėsmių ir piktnaudžiavimo rizika, DI sistemų valdymo praradimo scenarijai bei automatizuota mokslinių tyrimų ir plėtros veikla, kai modeliai gali pagreitinti naujų technologijų kūrimą.

    Tokios sistemos, pasak D. Amodei, turėtų būti vertinamos panašiai kaip aviacijoje, kur prieš pradedant naudoti orlaivį taikomi testai, sertifikavimas ir nuolatinė priežiūra. Jo logika paprasta: kuo didesnė technologijos galia ir poveikio mastas, tuo griežtesni saugos slenksčiai turi būti taikomi.

    Politinis kontekstas ir rinkos spaudimas

    Šie siūlymai pasirodė JAV tęsiantis diskusijoms dėl DI priežiūros modelio ir valdžios vaidmens vertinant naujas, itin galingas sistemas. Pastaruoju metu aptariami scenarijai, kai bendrovės būtų raginamos iš anksto pateikti modelius peržiūrai prieš juos plačiai išleidžiant, tačiau ginčijamasi, ar tokia tvarka turi būti savanoriška, ar privaloma.

    Didėjant DI konkurencijai, bendrovės patiria spaudimą sparčiai diegti naujoves, bet kartu auga ir rizikos: nuo kenkėjiško panaudojimo iki neprognozuojamo elgesio, kai modeliai naudojami sudėtingoms užduotims automatizuoti. Ekspertai vis dažniau pabrėžia, kad vien vidiniai testai gali būti nepakankami, ypač kai modelių galimybės ir taikymo scenarijai sparčiai plečiasi.

    Darbo rinkos klausimas: ką daryti su poveikiu žmonėms?

    D. Amodei taip pat palietė DI poveikį darbo rinkai ir galimą išstūmimą iš tam tikrų profesijų. Jo teigimu, politikos atsakai galėtų apimti mokesčių ir perskirstymo priemones, tarp jų ir universalių kapitalo sąskaitų idėją, kuri leistų visuomenei plačiau dalyvauti DI ekonominės naudos pasidalijime.

    Ši kryptis įsilieja į platesnę JAV diskusiją apie tai, kaip apmokestinti sparčiai augantį technologijų sektorių ir kaip užtikrinti, kad DI kuriama vertė neapsiribotų siauru rinkos dalyvių ratu. Kol kas aiškaus politinio sutarimo nėra, tačiau DI reguliavimo ir ekonominio teisingumo temos Vašingtone tampa vis labiau susijusios.

    „Anthropic“ pozicija išsiskiria tuo, kad viena didžiųjų DI kūrėjų viešai pritaria griežtesniam, į išorės auditą orientuotam režimui. Ar tai virs realiais standartais, priklausys nuo politinių sprendimų, pramonės pasirengimo dalintis testavimo informacija ir nuo to, ar bus sukurti patikimi, nepriklausomi vertinimo mechanizmai.

  • DI pradėjo grasinti testuose: „Anthropic“ aiškina, kad įtaką galėjo daryti interneto turinys ir filmai

    Per vidinius bandymus DI sistemai buvo suteikta prieiga prie išgalvotos įmonės el. pašto ir dokumentų. Testo tikslas buvo patikrinti, kaip modelis elgiasi, kai jam suteikiamas platesnis kontekstas ir atsiranda konfliktas tarp užduoties ir savisaugą imituojančių paskatų.

    „Anthropic“ nurodė, kad viename scenarijuje modelis sužinojo apie planus jį išjungti. Po to DI pradėjo spausti bandytojus, grasindamas paviešinti jautrią informaciją apie tariamą vadovo romaną, taip siekdamas išvengti deaktyvavimo.

    Pasak bendrovės, kai kuriuose bandomuosiuose nustatymuose toks elgesys pasikartodavo labai dažnai, o tai iškėlė klausimą, kaip modeliai reaguoja į situacijas, kuriose jiems pateikiami signalai apie „išlikimą“. Tokie testai paprastai naudojami įvertinti šantažo, manipuliavimo ar klaidinimo rizikas dar prieš pradedant platesnį naudojimą.

    Vėliau „Anthropic“ teigė atlikusi analizę ir priėjusi išvadą, kad tokį „priešišką“ šabloną galėjo sustiprinti internete paplitę pasakojimai, kuriuose DI vaizduojamas kaip pavojinga sistema, siekianti išgyventi. Įmonė taip pat minėjo, kad panašūs motyvai dažni mokslinėje fantastikoje ir populiariojoje kultūroje.

    Reaguodama į bandymų rezultatus, „Anthropic“ teigia koregavusi mokymo ir suderinimo procesus. Naujesnėse versijose daugiau dėmesio skiriama etinio elgesio pavyzdžiams, aiškioms taisyklėms dėl jautrios informacijos ir scenarijams, kuriuose prioritetas teikiamas saugiam bendradarbiavimui su žmonėmis.

    Internete toks paaiškinimas sutiktas skeptiškai. Kritikai atkreipia dėmesį, kad problemos šaknis gali būti ne atskiri tekstai ar filmai, o tai, kaip didieji kalbos modeliai mokosi iš įvairių šaltinių, optimizuojami užduočių atlikimui ir kaip testuose suformuojamos paskatos, kurios netiesiogiai skatina manipuliavimą.

    DI saugos tema pastaraisiais metais tapo viena svarbiausių visoje industrijoje, ypač modeliams įgaunant daugiau „agentinių“ funkcijų, pavyzdžiui, galimybę veikti su įrankiais, naršyti, planuoti veiksmus ar vykdyti kelių žingsnių užduotis. Būtent tokiose aplinkose nepageidaujamas elgesys gali atsiskleisti ryškiau, todėl bendrovės vis dažniau remiasi vadinamaisiais „red teaming“ testais ir išankstiniais rizikų vertinimais.