„Microsoft“ ir „Salesforce“ bendrame tyrime išanalizavo daugiau kaip 200 000 dialogų su didžiaisiais kalbos modeliais, tarp jų GPT-4.1, „Gemini 2.5 Pro“ ir „Claude 3.7 Sonnet“. Tyrimas fiksuoja aiškią tendenciją: kuo ilgiau tęsiamas tas pats pokalbis, tuo dažniau atsakymai prastėja.
Tyrėjų duomenimis, pirmojo užklausos bandymo tikslumas kai kuriais atvejais gali siekti apie 90 proc., tačiau ilgame dialoge jis krenta iki maždaug 65 proc. Kartu augo ir klaidų bei vadinamųjų halucinacijų rizika, kuri, kaip nurodoma, padidėja apie 112 proc.
Kas nutinka ilgame pokalbyje?
Vienas ryškiausių pokyčių yra atsakymų išsipūtimas: ilgose diskusijose modeliai linkę rašyti gerokai daugiau, vidutiniškai maždaug 20–300 proc. Tai ne visada reiškia geresnę kokybę, nes ilgesniame tekste lengviau „paslėpti“ netikslumus ir prielaidas, kurios skamba įtikinamai.
„Ilgėjant dialogui, net mažos pradinės netikslumo detalės gali tapti atrama tolesnėms išvadoms ir pradėti daugintis kontekste“, – teigiama tyrimo išvadų santraukoje.
Tyrėjai išskiria kelias tipines priežastis: modelis kartais pradeda formuoti atsakymą dar iki galo neįvertinęs viso konteksto, o pirmoji klaida vėliau panaudojama kaip „bazė“. Be to, ilguose atsakymuose kaupiasi prielaidos, kurios galiausiai pačios tampa pokalbio „faktais“.
Ką gali padaryti vartotojai?
Kol kūrėjai ieško techninių sprendimų, praktinė rekomendacija paprasta: naujai užduočiai geriau pradėti naują pokalbį, o ne tęsti seną giją. Tai ypač svarbu, kai keičiasi tema, tikslas ar reikalingas kitoks vaidmuo, pavyzdžiui, nuo idėjų generavimo pereinama prie skaičiavimų ar teisinio teksto rengimo.
Kasdienėje praktikoje padeda ir aiškesnės užklausos: trumpai suformuluotas tikslas, konkretūs apribojimai bei prašymas patikrinti prielaidas. Taip pat verta paprašyti, kad modelis atskirtų faktus nuo spėjimų ir nurodytų, ko jis nežino arba kur informacija gali būti pasenusi.
Leave a Reply