Tag: Microsoft HoloLens

  • „Microsoft“ akiniai ir 3D skaitmeninis dvynys: Krokuvoje kuriama nauja operacinių era

    „Microsoft“ akiniai ir 3D skaitmeninis dvynys: Krokuvoje kuriama nauja operacinių era

    3D skaitmeninis dvynys operacinėje

    Jogailos universiteto Collegium Medicum mokslininkai paskelbė baigiantys kurti nuotolinės komunikacijos technologiją, kuri leidžia suformuoti 3D skaitmeninį operacinės vaizdą. Šis sprendimas jungia 3D modeliavimą ir papildytąją realybę, kad nuotolinis ekspertas galėtų matyti ne plokščią transliaciją, o erdvinę situaciją.

    Tokio tipo skaitmeninis dvynys gali pakeisti kelias sritis iš karto: nuo chirurginių procedūrų konsultavimo per atstumą iki studentų mokymo ir operacijų archyvavimo. Svarbiausias pokytis tas, kad veiksmus operacinėje būtų galima analizuoti iš skirtingų perspektyvų ir po procedūros, ne tik realiuoju laiku.

    Kaip veikia technologija

    Projektas, pavadintas „Holografinis medicinos asistentas“, kuriamas vadovaujant dr. habil. inž. Klaudijai Proniewskai-van Dam ir kartu su mgr. inž. Damianu Dołęga-Dołęgowskiu. Iniciatyvą finansine parama sustiprino Lenkijos Nacionalinis mokslinių tyrimų ir plėtros centras, skyręs lėšas LIDER programos keliu.

    Sistema sujungia kelių 3D kamerų duomenis su chirurgo dėvimų papildytosios realybės akinių informacija. Centrinis kompiuteris sinchronizuoja srautus ir atkuria erdvinį operacinės modelį, kuriame galima įvertinti objektų padėtį ir atstumus, taip sukuriant tikslesnį kontekstą nei įprastoje 2D vaizdo transliacijoje.

    Didžiausias iššūkis yra kalibracija, kad visi įrenginiai naudotų tą pačią koordinačių sistemą. Tam pasitelkiamas fizinis etaloninis objektas, kuris padeda tiksliai suderinti kamerų ir akinių erdvinius atskaitos taškus, o tai būtina, kad nuotolinio eksperto žymos ekrane atsirastų būtent ten, kur reikia.

    „Mūsų sprendimas sukuria dinamišką trimačio vaizdo modelį, todėl situaciją galima analizuoti iš bet kurios pasirinktos perspektyvos ir kartu palaikyti nuotolinę komunikaciją“, – sakė prof. Klaudia Proniewska-van Dam.

    Nuotolinis konsultantas tokiame modelyje gali pridėti virtualias rodykles, žymeklius ar tekstines pastabas, kurios realiuoju laiku matomos chirurgo akiniuose. Publikuotoje informacijoje minima, kad bandomajame variante galėjo būti naudojami „Microsoft“ „HoloLens“ tipo akiniai, plačiai taikomi pramoniniuose papildytosios realybės sprendimuose.

    „Ekspertas, esantis kitame mieste ar šalyje, gali nurodyti konkrečią vietą ar instrumentą taip, kad operatorius tai pamatytų tiksliai ten, kur turi būti“, – aiškino mgr. inž. Damian Dołęga-Dołęgowskis.

    Kam tai gali būti naudinga

    Medicinos studijose ši technologija galėtų suteikti daugiau realybės nei įprastas stebėjimas iš vienos kameros kampo ar stovėjimas operacinės pakraštyje. 3D archyvas leistų peržiūrėti ne tik pjūvio lauką, bet ir komandos darbą, instrumentų logistiką, higienos veiksmus bei sprendimų seką, kuri dažnai lieka už kadro.

    Kitas svarbus aspektas yra dokumentavimas ir kokybės kontrolė. Trimatė procedūrų registracija gali padėti tiksliau atkurti eigą, analizuoti klaidų rizikas ir mokytis iš sudėtingų atvejų, tačiau praktinis pritaikymas turės atitikti griežtus pacientų duomenų apsaugos, saugumo ir klinikinės atsakomybės reikalavimus.

    Technologijos kūrėjai teigia, kad potencialas neapsiriboja medicina. Panašūs 3D nuotolinio darbo principai jau naudojami pramonėje, o ateityje toks sprendimas galėtų būti pritaikytas sudėtingų įrenginių servisui, gelbėjimo operacijų koordinavimui ar mokymams, kai svarbi tiksli erdvinė situacija.

    Artimiausias etapas yra technologijos patikrinimas klinikinėmis sąlygomis, įskaitant trimačio žemėlapio sudarymą Universiteto ligoninės centriniame operaciniame bloke Krokuvoje. Už komercializavimą ir patentinės apsaugos procesus atsakingas universiteto technologijų perdavimo centras CITTRU.

    „Matome didelį diegimo potencialą, nes telemedicina ir nuotolinės ekspertinės konsultacijos sparčiai auga, o poreikis bendradarbiauti trimačioje aplinkoje didėja“, – sakė CITTRU vadovė dr. inž. Gabriela Konopka-Cupiał.