Lenkija spartina savo dirbtinio intelekto ekosistemos plėtrą ir pristato naują kalbinių modelių šeimą „PolDense“, skirtą tikslesnei informacijos paieškai dideliuose dokumentų rinkiniuose. Apie sprendimą paskelbė Ośrodek Przetwarzania Informacji, kurio AI Lab komanda modelius kūrė pirmiausia praktiniams naudojimo scenarijams, o ne vien demonstracijoms.
„PolDense“ modeliai orientuoti į informacijos išgavimą, kai sistema pirmiausia suranda aktualiausius šaltinius, o tik tada generuoja atsakymą. Toks metodas ypač svarbus RAG architektūroje, kuri šiandien laikoma vienu efektyviausių būdų mažinti halucinacijų riziką ir kelti atsakymų patikimumą, kai dirbama su vidiniais dokumentais ar teisės aktais.
Rezultatai viešame reitinge
Pasak instituto, vienas „PolDense“ modelių pakilo į pirmą vietą viešame Polish Information Retrieval Benchmark (PIRB) reitinge ir aplenkė žinomus daugiakalbius sprendimus, naudojamus visame pasaulyje. Didžiausias šeimos modelis „PolDense 1B“ PIRB teste surinko 64,11 balo, nors kai kurie konkurentai yra gerokai didesni pagal parametrų skaičių.
Modeliai gali analizuoti iki 8 192 tokenų ilgio tekstus, todėl geriau išlaiko kontekstą dirbdami su ilgais dokumentais. Praktikoje tai reiškia tikslesnį reikšmingų pastraipų ar faktų suradimą, o kartu ir stabilesnius atsakymus, kai užklausa remiasi dideliu kiekiu informacijos.
Kur tai bus naudojama?
„PolDense“ sukurti taip, kad tiktų paieškos sistemoms, pokalbių robotams, virtualiems asistentams ir įrankiams, kurie vartotojams atsako remdamiesi dokumentais. Šeimą sudaro šeši skirtingo dydžio modeliai, todėl juos galima diegti tiek galinguose serveriuose, tiek kuklesnėje infrastruktūroje, įskaitant mobiliuosius įrenginius.
Toks universalumas svarbus organizacijoms, kurios nori turėti DI sprendimus savo aplinkoje, ypač kai būtina užtikrinti duomenų kontrolę. Pastaruoju metu Europoje ryškėja tendencija diegti lokaliai valdomus modelius, kad jautrūs dokumentai nebūtų siunčiami į išorines platformas.
Atviras kodas ir europinės ambicijos
Institutui pavaldus AI Lab pabrėžia, kad „PolDense“ išleisti kaip atvirojo kodo programinė įranga, todėl mokslininkai, įmonės ir viešasis sektorius gali juos naudoti be licencinių mokesčių. Tai gali paspartinti vietinių sprendimų kūrimą, ypač srityse, kur reikalinga paaiškinama paieška ir audituojami šaltiniai.
„Modelių „PolDense“ paviešinimas yra dar vienas žingsnis kuriant Lenkijos kompetencijas dirbtinio intelekto srityje. Kuriame atviras technologijas, kurias mokslininkai, viešasis sektorius ir verslas gali panaudoti moderniems, efektyviems ir saugiems DI įrankiams“, – sakė Ośrodek Przetwarzania Informacji vadovas dr. hab. inž. Jarosław Protasiewicz.
Taip pat pranešta, kad artimiausiais mėnesiais planuojama paskelbti „EuroDense“ modelį, kuris turėtų padėti informacijos paieškai devyniomis Europos kalbomis. Jei projektas pasiteisins, tai būtų dar vienas žingsnis stiprinant regioninius, daugiakalbius DI sprendimus, pritaikytus Europos kalbinei ir teisinei aplinkai.