Didieji kalbos modeliai ir vadinamieji skaitmeniniai bendraautoriai vis dažniau pasitelkiami moksle, kai reikia suformuluoti hipotezes, rašyti kodą ar parengti rankraščius. Tačiau kartu ryškėja nauja problema: publikacijų ir duomenų kiekis auga taip greitai, kad tradicinis žmonių recenzavimo procesas vis dažniau nespėja užtikrinti kokybės.
Dėl to mokslininkai vis dažniau bando patį tikrinimą automatizuoti, pasitelkdami DI agentus, kurie išskiria autorių teiginius, surenka papildomą medžiagą ir mėgina atkartoti eksperimentus. Tokie bandymai rodo ne tik pavienes klaidas, bet ir sistemines spragas, kurios ilgus metus galėjo likti nepastebėtos.
Klaidos rastos net senose bazėse
Vienas ryškiausių pavyzdžių fiksuotas chemijos srityje, kur dešimtmečiais buvo remiamasi etaloninėmis virimo temperatūrų lentelėmis. DI modelio ir vėlesnės rankinės patikros derinys atskleidė, kad dalis įrašų patikimoje, apie 75 metus pildytoje referencinėje bazėje buvo netikslūs.
Zhejiang laboratorijoje Hangdžou dirbantis Sebastianas Pios, prognozuodamas molekulių parametrus, pastebėjo nesutapimus ir juos patikrino literatūroje. Paaiškėjo, kad kai kur klaidas lėmė spausdinimo netikslumai, o kitur buvo kartojami pasenę, dar prieš šimtmetį atliktų matavimų duomenys.
Bandant atkartoti teiginius, rezultatai prasti
Kitas pavyzdys susijęs su bandymais automatiškai vertinti konferencijoms teikiamus straipsnius. Analitikai iš SAI Labs pasitelkė DI agentus 168 darbams, atrinktiems konferencijai ICML 2026 metais, o autonominės sistemos mėgino ištraukti patikrinamus teiginius ir atkurti eksperimentų rezultatus.
Iš 92 straipsnių, kuriuose buvo bent 5 patikrinami teiginiai, algoritmams pavyko atkurti daugiau nei 2 teiginius tik 34 atvejais. Daugiau nei 80 proc. teiginių buvo sėkmingai pakartota tik 8 darbuose, o tai rodo, kad vadinamasis replikacijos krizės klausimas aktualus ne vien socialiniuose moksluose.
Klaidos auga, bet DI nėra teisėjas
Stanfordo universiteto tyrimas, kuriam vadovavo Jamesas Zou, parodė, kad NeurIPS konferencijų publikacijose vidutinis objektyvių klaidų skaičius išaugo nuo 3,8 2021 metais iki 5,9 2025 metais, tai yra 55 proc. daugiau. Analizė apėmė formulių, skaičiavimų ir grafikų klaidas, nevertinant interpretacijų ar mokslinės naujovės.
„Didžiausias pokytis yra galimybė tai daryti mastu, kuris anksčiau buvo neįmanomas“, – sakė Jamesas Zou.
„DI neturėtų daryti visko, o sprendimus dėl naujumo ir reikšmės reikia palikti žmonėms“, – sakė Federico Bianchi iš „Together AI“.
Ekspertai pabrėžia, kad automatiniai įrankiai gali būti naudingi kaip papildoma patikra prieš pateikiant darbą recenzijai, tačiau jie klysta ir gali generuoti klaidingus pavojaus signalus. Norvegijos mokslo ir technologijų universiteto mokslininkas Odd Eirik Gundersen akcentuoja, kad tokios sistemos daro klaidų panašiai kaip žmonės, todėl privaloma tyrėjų priežiūra.
Apklausose dalis autorių pripažįsta, kad automatinė grįžtamoji informacija padėjo rasti klaidų ir paskatino papildomus eksperimentus, tačiau tuo pat metu tyrimai rodo ribotą DI efektyvumą lyginant su žmonių recenzentais. Dėl to vis dažniau pabrėžiama, kad patikimiausias kelias yra mišrus modelis, kai DI padeda aptikti technines spragas, o galutinį sprendimą priima srities ekspertai.