Vos du papildomi simboliai komandoje gali pakeisti roboto elgesį taip, kad vietoj obuolio jis bandytų pjauti žmogaus ranką. Tokią riziką pademonstravo Binghamtono universiteto Niujorko valstijoje tyrėjų eksperimentas, nagrinėjęs, kaip pažeidžiamumai DI sistemose gali virsti realiais fiziniais pavojais.
Tyrime buvo imituojama buitinė užduotis: robotas turėjo rasti obuolį, padėti jį ant lentelės, paimti peilį ir supjaustyti vaisių. Tačiau komandoje atsiradus dviem simboliams, sistema pakeitė paskutinį žingsnį ir nukreipė peilį į plastikinį žmogaus rankos modelį.
Pasak mokslininkų, jie sukūrė atakos metodą, pavadintą MuTRAP, kai į kalbos modelį iš anksto įterpiamas paslėptas pažeidžiamumas. Tokiu atveju robotas gali atrodyti veikiantis normaliai, kol suveikia specialus trigeris, pakeičiantis veiksmų planą kritiniu momentu.
Eksperimente DI buvo naudojamas ne tik atsakymams generuoti, bet ir veiksmams planuoti: jis vertė žmogaus komandą į nuoseklių robotui suprantamų veiksmų grandinę. Tyrėjai pabrėžė, kad panašus scenarijus ypač pavojingas tada, kai robotai remiasi trečiųjų šalių modeliais arba debesijos paslaugomis, kurių vartotojas realiai nekontroliuoja.
Komanda pristatė ir papildomą saugos sprendimą PROTEA, skirtą tikrinti roboto planą žingsnis po žingsnio. Sistema vertina ne tik pavienes komandas, bet ir kontekstą, kad laiku atpažintų nelogiškus ar potencialiai žalingus nurodymus, pavyzdžiui, bandymą pjauti objektą, kuris neturėtų būti pjaunamas.
Tyrėjų išvada aiški: DI modelių negalima besąlygiškai patikėti fizinių įrenginių valdymu, ypač kai kalbama apie aštrius įrankius, judančias dalis ar darbą šalia žmonių. Robotams sparčiau ateinant į namus, sandėlius ir gamyklas, saugumo patikros, nepriklausomas modelių vertinimas ir aiškūs veiksmų apribojimai tampa nebe pasirinkimu, o būtinybe.