Tyrimas atskleidė paradoksą: DI tekstus žmonės vertina geriau, ypač kai mano, kad rašė žmogus

Ar atpažįstame DI tekstus?

Naujas JAV atliktas tyrimas parodė netikėtą tendenciją: dalyviai DI sugeneruotas istorijas dažnai vertino palankiau nei žmonių parašytas, o atskirti jų beveik nesugebėjo. Dar įdomiau tai, kad aukščiausi įvertinimai DI tekstams buvo skiriami tada, kai skaitytojai manė, jog autorius yra žmogus.

Tyrimą atliko Villanova universiteto mokslininkai, o rezultatai publikuoti moksliniame žurnale Judgment and Decision Making. Eksperimente dalyvavo suaugusieji nuo 18 iki 81 metų, o užduotis buvo įvertinti trumpas fikcines istorijas ir nustatyti, kas jas parašė.

Kaip buvo atliktas eksperimentas

Tyrime naudotos trys literatūriniame leidinyje publikuotos žmonių istorijos ir trys į jas panašios istorijos, sugeneruotos „ChatGPT“. Pirmajame eksperimente dalyvavo 1 682 žmonės, kuriems istorijos buvo pateikiamos su prierašu, kad tekstą parašė žmogus arba DI, nors ši informacija ne visada atitiko tiesą.

Vėlesniuose dviejuose eksperimentuose dalyvių buvo mažiau, atitinkamai 424 ir 481. Jiems buvo pateikiama po vieną žmogaus ir po vieną DI istoriją, tačiau neatskleidžiama, kas yra autorius, o po skaitymo prašoma nurodyti, kuris tekstas sukurtas žmogaus, o kuris DI.

Ką parodė rezultatai

Rezultatai parodė, kad DI istorijos vidutiniškai buvo vertinamos kaip kokybiškesnės ir lengviau skaitomos. Tyrėjai taip pat nustatė aiškų lūkesčių efektą: kai žmonės manė, kad skaito žmogaus kūrinį, tą patį DI tekstą įvertindavo dar palankiau.

Atpažinimo dalis buvo ypač iškalbinga: dalyvių gebėjimas teisingai nustatyti DI sukurtą turinį nesiekė 40 proc., tai yra buvo prastesnis nei atsitiktinis spėjimas. Kitaip tariant, nemaža dalis žmonių ne tik neatskiria tekstų, bet ir dažnai klysta būtent tada, kai jaučiasi tikri.

Įdomus niuansas paaiškėjo analizuojant, kas DI atpažįsta geriau. Tyrimo autoriai nurodė, kad daugiau apie DI sistemas teigę žinantys dalyviai DI tekstus identifikavo tiksliau, o literatūrinę patirtį ar žinias labiau akcentavę žmonės tokio pranašumo neturėjo.

„Tekstai, kuriuos kuria DI, dažnai būna aiškesni, tiesmukiškesni ir lengviau skaitomi, o žmonių kūriniai neretai yra subtilesni ir sudėtingesni“, – sakė viena tyrimo autorių Deena Weisberg.

Šis rezultatas dera su platesnėmis pastarųjų metų tendencijomis, kai generatyvusis DI vis dažniau naudojamas turinio kūrimui, o skaitytojams svarbiausiu kriterijumi tampa ne autorystė, o aiškumas ir greitas suprantamumas. Tyrimas taip pat primena, kad vien tik pasitikėjimas savo nuojauta nepakanka, jei reikia patikimai atskirti žmogaus ir DI sukurtą tekstą.