Tag: Beth Israel Deaconess Medical Center

  • Tyrimas: DI modeliai greitosios pagalbos sprendimuose prilygo gydytojams – kur jie lenkia labiausiai

    Tyrimas: DI modeliai greitosios pagalbos sprendimuose prilygo gydytojams – kur jie lenkia labiausiai

    Naujas tyrimas rodo, kad dirbtinis intelektas (DI) klinikinio sprendimų priėmimo užduotyse, susijusiose su skubiąja pagalba, daugeliu atvejų pasirodė ne prasčiau nei gydytojai. Mokslininkai vertino, kaip DI siūlo diagnozes ir kitus veiksmus, kai informacijos apie pacientą dar trūksta.

    Tyrimą atlikę Harvardo medicinos mokyklos ir Beth Israel Deaconess medicinos centro mokslininkai lygino didžiuosius kalbos modelius su gydytojų sprendimais skirtinguose klinikinio mąstymo etapuose. Buvo analizuojami tiek publikuoti klinikinių atvejų aptarimai, tiek realūs skubiosios pagalbos skyriaus įrašai.

    DI modeliams pateiktos situacijos apėmė kelią nuo pirminės atrankos iki sprendimo dėl paciento stacionarizavimo. Kiekviename etape modelis gaudavo tik tuo metu įprastai prieinamą informaciją ir turėdavo nurodyti tikėtiniausias diagnozes bei rekomenduoti tolesnius veiksmus.

    Didžiausias skirtumas tarp DI ir gydytojų išryškėjo ankstyvoje triage fazėje, kai duomenų apie paciento būklę yra mažiausiai. Tyrėjai pastebėjo, kad ir DI, ir gydytojai linkę tiksliau nustatyti diagnozes, kai atsiranda daugiau informacijos, tačiau DI pranašumas dažniau matėsi sprendžiant, ką daryti toliau.

    „Išbandėme DI modelį praktiškai su visais etalonais, ir jis aplenkė ankstesnius modelius bei mūsų gydytojų bazinius rezultatus“, – sakė vienas iš vyresniųjų tyrimo autorių Arjun Manrai.

    Vis dėlto tyrimo autoriai pabrėžia, kad geresni rezultatai testuose savaime nereiškia geresnės pacientų priežiūros kasdienėje praktikoje. Pasak jų, dar per mažai ištirta, kuriose situacijose ir kokiu būdu DI turėtų būti diegiamas, todėl būtini prospektyvūs klinikiniai tyrimai realiose gydymo įstaigose.

    Vienas svarbiausių aspektų, į kurį atkreipiamas dėmesys, yra sauga ir sprendimų „kaina“. Net jei modelis teisingai įvardija labiausiai tikėtiną diagnozę, jis gali siūlyti perteklinius tyrimus ar intervencijas, kurios didina riziką pacientui ir apkrauna sistemą.

    „Modelis gali teisingai parinkti svarbiausią diagnozę, bet kartu pasiūlyti nereikalingų tyrimų, kurie pacientui gali pakenkti“, – sakė bendraautoris Peter Brodeur.

    Tyrime vertintas konkretaus modelio peržiūros variantas, o autoriai pripažįsta, kad technologijos sparčiai keičiasi ir rinkoje jau atsirado naujesnių versijų. Dėl to jie ragina tirti ne tik pavienių modelių „rekordus“, bet ir tai, kaip skirtingi DI įrankiai veikia realius gydytojų sprendimus, darbo krūvį, klaidų riziką ir pacientų baigtis.

    Ekspertų teigimu, DI įrankių plėtra sveikatos apsaugoje vis labiau tolsta nuo paprastų testų, kuriuose pakanka pasirinkti atsakymą iš kelių variantų. Praktikoje svarbiausia tampa gebėjimas dirbti su neišsamiais duomenimis, aiškiai pagrįsti rekomendacijas ir padėti gydytojui priimti sprendimą, o ne jį pakeisti.

  • Harvardo tyrimas: DI skubioje pagalboje dažniau taikliai įvardijo diagnozę nei gydytojai

    Kas nustatyta Harvardo tyrime?

    Harvardo medicinos mokyklos ir Beth Israel Deaconess medicinos centro komanda palygino, kaip diagnozes skubios pagalbos pacientams parenka gydytojai ir didieji kalbos modeliai. Eksperimente analizuoti 76 pacientų atvejai, o DI gavo tą pačią informaciją, kuri buvo įrašyta elektroniniuose sveikatos įrašuose.

    Tyrėjai lygino dviejų budinčių gydytojų pateiktas diferencines diagnozes su modelių „OpenAI o1“ ir „OpenAI 4o“ sugeneruotomis versijomis. Vėliau du kiti gydytojai, nežinodami, kas parengė konkrečią diagnozę, įvertino jų tikslumą ir artumą galutinei diagnozei.

    Kur DI pasirodė stipriausiai?

    Didžiausi skirtumai išryškėjo ankstyvajame etape, kai apie pacientą turima mažiausiai duomenų ir sprendimus tenka priimti greitai. Būtent čia DI dažniau pateikė tikslesnę arba bent jau ne prastesnę diagnostinę kryptį nei gydytojai.

    Tyrime nurodoma, kad „OpenAI o1“ pateikė tikslią arba labai artimą diagnozę 67 proc. pirminio rūšiavimo atvejų. Tuo metu vieno gydytojo įvertinimai siekė 55 proc., kito – 50 proc.

    „Kiekviename diagnostikos etape „o1“ rezultatai buvo nominaliai geresni arba tokie pat kaip dviejų gydytojų ir „4o“,“ – sakė tyrėjai.

    Pasak komandos, svarbi detalė yra ta, kad DI rezultatams nebuvo taikomas išankstinis duomenų „valymas“ ar specialus pritaikymas. Modeliams buvo pateikta ta pati praktinė informacija, kuri realiai pasiekiama skubios pagalbos skyriuje per elektronines medicinines korteles.

    Ką tai reiškia pacientams ir medikams?

    Rezultatai rodo potencialą DI įrankius naudoti kaip papildomą sprendimų paramą, ypač triage ir pirminės diagnostikos metu. Tačiau tyrimas savaime nereiškia, kad DI turėtų pakeisti gydytoją: skubioje pagalboje svarbūs ne tik teisingi spėjimai, bet ir atsakomybė, klinikinis kontekstas, fizinė apžiūra bei sprendimų pasekmių valdymas.

    Praktikoje didžiausia rizika yra ne vien netikslus atsakymas, o klaidingas pasitikėjimas juo, ypač kai informacija nepilna arba medicininiai įrašai turi spragų. Dėl to realiam diegimui būtini aiškūs saugikliai, audituojami vertinimo metodai, nuolatinė kokybės kontrolė ir tiksliai apibrėžta, kur DI gali padėti, o kur sprendimas privalo likti gydytojo rankose.

    „Jei lyginame DI įrankius su klinikiniais įgūdžiais, turime lyginti su gydytojais, kurie iš tiesų dirba toje srityje. Nebūtų stebėtina, jei didelis kalbos modelis aplenktų dermatologą neurochirurgijos egzamine, bet tai mažai ką pasako apie realią naudą,“ – sakė skubios pagalbos gydytoja Kristen Pantagani.

    Šis darbas įsilieja į platesnę sveikatos sistemos tendenciją, kai ligoninės vis aktyviau bando sprendimų paramos sistemas, padedančias greičiau susisteminti simptomus, rizikas ir galimas diagnozes. Kartu daugėja diskusijų dėl reguliavimo, atsakomybės ir pacientų duomenų saugumo, nes sveikatos apsaugos sektoriuje klaidų kaina yra ypač didelė.