Trys Krokuvos studentai sukūrė programėlę, kuri pasitelkdama DI iš vaizdo kameros atpažįsta gestų kalbos abėcėlę ir ją paverčia ekrane rodomu tekstu. Projekto tikslas – palengvinti bendravimą tarp girdinčių ir negirdinčių žmonių kasdienėse situacijose.
Sistema analizuoja rankų vaizdą, identifikuoja 21 būdingą plaštakos tašką ir stebi jų padėtį bei judesį laike. Remdamasi šiais duomenimis ji atpažįsta konkrečią raidę arba tarpą, o rezultatą pateikia kaip tekstą telefone ar kompiuteryje.
Kūrėjai pabrėžia, kad naudojami du DI modeliai: vienas patikrina, ar judesys iš tiesų yra gestas, kitas priskiria jam raidę. Toks sprendimas padeda sumažinti klaidų skaičių ir išvengti atsitiktinių atpažinimų, kai ranka patenka į kadrą, bet žmogus nekomunikuoja gestų kalba.
Projektas atsirado reaguojant į plačiai paplitusią socialinę problemą. Pasaulio sveikatos organizacijos duomenimis, daugiau nei 430 mln. žmonių pasaulyje dėl reikšmingo klausos sutrikimo reikia reabilitacijos, o Pasaulio kurčiųjų federacija skaičiuoja, kad gestų kalbomis naudojasi per 70 mln. žmonių.
Šiuo metu programėlė atpažįsta pavienes gestų kalbos abėcėlės raides, tačiau komanda planuoja pereiti prie žodžių ir sakinių, kad įrankis tiktų natūralesniam dialogui. Taip pat svarstoma sukurti trimatį avatarą, kuris tekstą pateiktų gestų kalba, bei integruoti sprendimą su interneto komunikatoriais ir vaizdo konferencijų platformomis.
Kūrėjai pripažįsta, kad dabartinė versija dar nėra galutinis produktas, o veikimui realiose situacijose būtini platesni bandymai su vartotojais. Jų vertinimu, platesniems testams tinkama versija galėtų atsirasti per 9–12 mėnesių.
Leave a Reply