Microsoftov sustav umjetne inteligencije bio je uspješniji od pojedinačnih liječnika u testu postavljanja dijagnoza na temelju pisanih medicinskih slučajeva. Sustav DxO do točne je dijagnoze dolazio postupno: tražio je dodatne podatke, birao pretrage i preispitivao moguća objašnjenja simptoma.
Na skupu složenih slučajeva postigao je 83,2 posto točnosti, a na zapisima s hitnog prijema 80,3 posto. Liječnici uključeni u usporedbu ostvarili su prosječno 36,1 i 46,8 posto. Rezultati istraživanja objavljenog 22. listopada u časopisu Science odnose se na kontroliranu simulaciju, u kojoj sudionici nisu pregledavali ni liječili stvarne pacijente.
Harsha Nori i kolege iz Microsofta razvili su i test i sustav kojim su provjeravali mogućnosti jezičnih modela. Njihov Diagnostic Orchestrator, skraćeno DxO, jezičnom modelu dodjeljuje različite uloge kako bi oponašao raspravu skupine kliničkih stručnjaka. Cilj je sustavno provjeravati dijagnostičke pretpostavke i odlučivati koji bi sljedeći podatak najviše pomogao u rješavanju slučaja.
Od prvog simptoma do konačne dijagnoze
U mnogim dosadašnjim medicinskim testovima umjetna inteligencija odmah dobiva cjelovit opis slučaja, uključujući važne nalaze. Ovdje je postupak bio drukčiji. Sudionici su počinjali kratkim opisom pacijentovih tegoba, a zatim sami odlučivali što trebaju doznati.
Za tu su svrhu istraživači razvili SDBench, testno okruženje koje obuhvaća 304 složena slučaja objavljena u časopisu New England Journal of Medicine i 325 zapisa o pacijentima primljenima u bolnicu nakon obrade u hitnoj službi, iz baze MIMIC-IV-ED.
Liječnik ili sustav mogao je zatražiti dodatne podatke o povijesti bolesti, nalazima pregleda i laboratorijskim pretragama, pa na kraju predložiti dijagnozu. Odgovore je davao zaseban jezični model na temelju izvornog zapisa. Ako traženi podatak nije bio zabilježen, stvarao je sintetski nalaz koji, prema pravilima testa, nije smio upućivati na konačnu dijagnozu.
Konačne je odgovore ocjenjivao još jedan model, prema ljestvici koju su pripremili liječnici. Točnima su se smatrale i dovoljno bliske dijagnoze koje ne bi promijenile zbrinjavanje pacijenta. Takav postupak omogućuje velik broj ponovljenih testiranja, ali rezultat i dalje ovisi o načinu na koji je simulacija oblikovana.
Što pokazuju postoci?
Rezultat od 83,2 posto odnosi se na DxO s modelom GPT-5, bez unaprijed zadanog ograničenja troška pretraga. Za usporedbu s liječnicima izdvojen je podskup od 56 složenih slučajeva koji nisu korišteni za razvoj sustava.
U toj skupini liječnici su uz pristup izvorima i alatima za pretraživanje postigli prosječnu točnost od 36,1 posto. Bez tih pomagala prosjek je iznosio 22,3 posto. Sudjelovali su liječnici iz primarne i bolničke zdravstvene skrbi, među njima internisti te liječnici akutne i hitne medicine.
Na zapisima s hitnog prijema razlika je bila manja: DxO je ostvario 80,3 posto, a liječnici prosječno 46,8 posto. Ti su zapisi bliži uobičajenom bolničkom radu od posebno odabranih, složenih slučajeva iz medicinskog časopisa. Ipak, obrađivani su u istom tekstualnom testnom okruženju.
Sustav je prije prve pretrage postavljao više pitanja
Razlikovao se i način prikupljanja podataka. Na istim složenim slučajevima liječnici su prije naručivanja prve pretrage u prosjeku postavili 5,6 pitanja, a DxO 25,5. Sustav je dulje istraživao povijest bolesti prije nego što bi počeo tražiti dodatne nalaze.
Takav pristup posebno je pomagao kada je za dijagnozu bio presudan podatak o ranijem putovanju ili neuobičajenom kontaktu s uzročnikom bolesti. Odgovor na ciljano pitanje tada može biti korisniji od velikog broja nespecifičnih pretraga.
Istraživači su pratili i procijenjeni trošak dijagnostike, prema američkom cjeniku pretraga. Bez ograničenja potrošnje DxO je na složenim slučajevima ostvario 83,2 posto točnosti uz prosječni procijenjeni trošak od 5.431 dolara po slučaju. Uz strože ograničenje postigao je 79,6 posto uz 1.303 dolara. To su izračuni unutar testa, a ne računi pacijenata ili izmjerene uštede neke bolnice.
Što još treba provjeriti u kliničkoj praksi?
Liječnici u svakodnevnoj praksi moraju procijeniti i ono što se teško prenosi u uredan tekst: nepotpuno ili neprecizno prisjećanje pacijenta, nepotpunu dokumentaciju, promjene simptoma i reakcije na početno liječenje. Test nije obuhvaćao izravno tumačenje medicinskih snimaka, patoloških preparata ni drugih takvih podataka.
U skupovima nije bilo zdravih osoba ni bezazlenih tegoba kakve se često susreću u ordinaciji. Uspoređivani su pojedinačni liječnici, a ne specijalistički timovi koji u bolnicama zajednički razmatraju složene slučajeve. Stoga ove brojke ne pokazuju kako bi se DxO usporedio s takvim timovima u stvarnoj zdravstvenoj skrbi.
Autori su zaposlenici Microsofta i imaju udjele u tvrtki. U radu predlažu daljnje istraživanje suradnje liječnika i sustava umjetne inteligencije, kao i primjenu sličnih simulacija u medicinskoj nastavi. Sljedeće provjere trebale bi pokazati može li takva pomoć poboljšati stvarne dijagnostičke odluke, uz praćenje sigurnosti i ishoda liječenja, koje ovaj test nije mjerio.
