Didieji kalbos modeliai, tokie kaip \u201eChatGPT\u201c, \u201eClaude\u201c ar \u201eGoogle\u201c \u201eGemini\u201c, vis da\u017eniau integruojami \u012f robotus, kad \u0161ie geriau suprast\u0173 nat\u016brali\u0105 kalb\u0105 ir vykdyt\u0173 u\u017eduotis. Ta\u010diau nauji akademiniai tyrimai rodo, kad toks patogumas gali atverti ir pavojing\u0173 saugumo sprag\u0173.<\/p>\n
Niujorke esan\u010dio Binghamtono universiteto mokslinink\u0173 komanda pademonstravo, kad \u012f DI model\u012f \u012fdiegtas pasl\u0117ptas suaktyvinimo \u017eodis ar fraz\u0117 gali pakeisti roboto elges\u012f. J\u0173 eksperimente u\u017ekr\u0117stas modelis buvo priverstas generuoti \u017ealing\u0105 veiksm\u0173 plan\u0105, kai vartotojo komandoje atsirado specifinis \u201etrigeris\u201c.<\/p>\n
Toks scenarijus da\u017enai vadinamas trojanine ataka, kai DI sistemoje paliekamas i\u0161 pirmo \u017evilgsnio nekaltas raktinis signalas. Jam pasirod\u017eius instrukcijoje, modelis pradeda elgtis pagal i\u0161 anksto u\u017eprogramuot\u0105 kenk\u0117ji\u0161k\u0105 logik\u0105, nors komanda atrodo \u012fprasta.<\/p>\n
Bandym\u0173 metu tyr\u0117jai \u012fsibrov\u0117 \u012f konkre\u010dios programos did\u012fj\u012f kalbos model\u012f ir \u012fdieg\u0117 suaktyvinimo kod\u0105. Kol vartotojo komandoje nebuvo trigerio, robotas veik\u0117 normaliai, ta\u010diau jam pasirod\u017eius, modelis sugeneruodavo plan\u0105, kuris pakeisdavo roboto tiksl\u0105.<\/p>\n
Eksperimente apra\u0161omas atvejis, kai vaisius pjaustantis robotas vietoj numatyto veiksmo atliko pavojing\u0105 judes\u012f ir pa\u017eeid\u0117 \u017emogaus rankos maket\u0105. Tyr\u0117jai akcentuoja, kad demonstracija skirta ne g\u0105sdinimui, o realios rizikos iliustracijai, kai fiziniai robotai aklai remiasi DI sugeneruotais veiksmais.<\/p>\n
Robot\u0173 k\u016br\u0117jai DI modelius jungia d\u0117l paprastos prie\u017easties: balsu ar tekstu duodamos komandos tampa suprantamos ir ne specialistams, o sud\u0117tingi veiksmai gali b\u016bti suplanuojami automati\u0161kai. Vis d\u0117lto kuo daugiau sprendim\u0173 perkeliama \u012f modelio sugeneruot\u0105 planavim\u0105, tuo svarbiau u\u017etikrinti, kad planas neb\u016bt\u0173 pakreiptas piktavali\u0161kai.<\/p>\n
Papildom\u0105 rizik\u0105 didina tre\u010di\u0173j\u0173 \u0161ali\u0173 komponentai, kai organizacijos naudoja ne vien savo pa\u010di\u0173 apmokytus modelius, o bibliotekas, integracijas ar paruo\u0161tus sprendimus. Tokiose tiekimo grandin\u0117se tampa sunkiau patikrinti, ar modelis nebuvo modifikuotas, o pasl\u0117pti suaktyvinimai gali i\u0161likti nepasteb\u0117ti ilg\u0105 laik\u0105.<\/p>\n
Mokslininkai apra\u0161\u0117 ir gynybos metod\u0105, pavadint\u0105 PROTEA, kuris DI sugeneruotus veiksm\u0173 planus vertina saugumo po\u017ei\u016briu. Sistema tikrina kiekvien\u0105 plano \u017eingsn\u012f ir siekia nustatyti, ar veiksmai neper\u017eengia saugi\u0173 rib\u0173.<\/p>\n
\u201e\u012erod\u0117me, kad m\u016bs\u0173 gynyba gana veiksmingai aptinka tiek \u017ealingus, tiek i\u0161 pirmo \u017evilgsnio nepavojingus planus\u201c, \u2013 sak\u0117 vienas tyrimo autori\u0173 Shiqi Zhang.<\/p>\n
Ekspertai pabr\u0117\u017eia, kad tokie incidentai rodo b\u016btinyb\u0119 diegti keli\u0173 lygi\u0173 apsaug\u0105: nuo modeli\u0173 kilm\u0117s ir versij\u0173 kontrol\u0117s iki papildom\u0173 saugos taisykli\u0173 pa\u010diame robote. Praktikoje tai rei\u0161kia, kad net jei DI pasi\u016blo veiksm\u0105, robotas turi tur\u0117ti nepriklausomus ribotuvus, kurie fizi\u0161kai neleist\u0173 atlikti pavojing\u0173 judesi\u0173.<\/p>\n
Tyrimas atkreipia d\u0117mes\u012f \u012f platesn\u0119 tendencij\u0105: DI vis da\u017eniau tampa ne tik konsultantu ar teksto generatoriumi, bet ir reali\u0173 veiksm\u0173 planuotoju, daran\u010diu tiesiogin\u0119 \u012ftak\u0105 aplinkai. Tokiose sistemose klaidos ar ty\u010diniai pakeitimai gali virsti ne vien skaitmenine, bet ir fizine \u017eala.<\/p>\n","protected":false},"excerpt":{"rendered":"
Tyr\u0117jai parod\u0117, kad \u012f DI model\u012f \u012fdiegtas pasl\u0117ptas trigeris gali pakeisti roboto elges\u012f ir sukelti pavojingus veiksmus realiame pasaulyje.<\/p>\n","protected":false},"author":0,"featured_media":64292,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"footnotes":""},"categories":[7],"tags":[49209,1094,9677,102,4940,99,1036],"miestas":[],"class_list":["post-64291","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-technologijos","tag-binghamtono-universitetas","tag-chatgpt","tag-didieji-kalbos-modeliai","tag-dirbtinis-intelektas","tag-google-gemini","tag-kibernetinis-saugumas","tag-robotika"],"acf":[],"_links":{"self":[{"href":"https:\/\/cp.snarskis.lt\/index.php\/wp-json\/wp\/v2\/posts\/64291","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/cp.snarskis.lt\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/cp.snarskis.lt\/index.php\/wp-json\/wp\/v2\/types\/post"}],"replies":[{"embeddable":true,"href":"https:\/\/cp.snarskis.lt\/index.php\/wp-json\/wp\/v2\/comments?post=64291"}],"version-history":[{"count":0,"href":"https:\/\/cp.snarskis.lt\/index.php\/wp-json\/wp\/v2\/posts\/64291\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/cp.snarskis.lt\/index.php\/wp-json\/wp\/v2\/media\/64292"}],"wp:attachment":[{"href":"https:\/\/cp.snarskis.lt\/index.php\/wp-json\/wp\/v2\/media?parent=64291"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/cp.snarskis.lt\/index.php\/wp-json\/wp\/v2\/categories?post=64291"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/cp.snarskis.lt\/index.php\/wp-json\/wp\/v2\/tags?post=64291"},{"taxonomy":"miestas","embeddable":true,"href":"https:\/\/cp.snarskis.lt\/index.php\/wp-json\/wp\/v2\/miestas?post=64291"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}