Innen biomedisin innebærer segmentering å markere piksler fra en viktig struktur i et medisinsk bilde, for eksempel et organ eller en celle. Modeller med kunstig intelligens kan hjelpe klinikere ved å fremheve piksler som kan vise tegn på en bestemt sykdom eller avvik.

 

Disse modellene gir imidlertid vanligvis bare ett svar, mens problemet med segmentering av medisinske bilder ofte er langt fra svart-hvitt. Fem menneskelige eksperter kan gi fem forskjellige segmenteringer, og kanskje er de uenige om eksistensen eller utstrekningen av en knute på et CT-bilde av en lunge.

 

“Å ha flere alternativer kan gjøre det lettere å ta beslutninger. Bare det å se at det er usikkerhet i et medisinsk bilde kan påvirke en persons beslutninger, så det er viktig å ta hensyn til denne usikkerheten”, sier Marianne Rakic, doktorgradsstipendiat i informatikk ved MIT.

 

Rakic er hovedforfatter av en artikkel sammen med andre ved MIT, Broad Institute of MIT and Harvard og Massachusetts General Hospital, som introduserer et nytt AI-verktøy som kan fange opp usikkerheten i et medisinsk bilde.

 

Systemet, som kalles Tyche (oppkalt etter den greske tilfeldighetens guddom), gir flere sannsynlige segmenteringer som hver fremhever litt forskjellige områder av et medisinsk bilde. Brukeren kan angi hvor mange alternativer Tyche skal vise, og velge det som passer best for formålet.

 

Det som er viktig, er at Tyche kan takle nye segmenteringsoppgaver uten å måtte læres opp på nytt. Opplæring er en datakrevende prosess som innebærer å vise modellen mange eksempler og krever omfattende erfaring med maskinlæring.

 

Fordi Tyche ikke trenger ny opplæring, kan den være enklere å bruke for klinikere og biomedisinske forskere enn andre metoder. Den kan brukes “uten videre” til en rekke oppgaver, fra å identifisere lesjoner på røntgenbilder av lungene til å finne avvik på MR-bilder av hjernen.

 

Til syvende og sist kan dette systemet forbedre diagnoser eller bidra til biomedisinsk forskning ved å påpeke potensielt viktig informasjon som andre AI-verktøy kan overse.

 

“Tvetydighet har vært lite studert. Hvis modellen din helt overser en knute som tre eksperter sier er der, og to eksperter sier at den ikke er der, er det sannsynligvis noe du bør være oppmerksom på”, sier seniorforfatter Adrian Dalca, assisterende professor ved Harvard Medical School og MGH, og forsker ved MIT Computer Science and Artificial Intelligence Laboratory (CSAIL).

 

Medforfatterne inkluderer Hallee Wong, doktorgradsstudent i elektroteknikk og informatikk, Jose Javier Gonzalez Ortiz PhD ’23, Beth Cimini, assisterende direktør for bioimage analysis ved Broad Institute, og John Guttag, Dugald C. Jackson Professor of Computer Science and Electrical Engineering. Rakic skal presentere Tyche på IEEE Conference on Computer Vision and Pattern Recognition, der Tyche er valgt ut som et av høydepunktene.

Håndtering av tvetydighet

 

AI-systemer for medisinsk bildesegmentering bruker vanligvis nevrale nettverk. Nevrale nettverk er løst basert på menneskehjernen og er maskinlæringsmodeller som består av mange sammenkoblede lag med noder, eller nevroner, som behandler data.

 

Etter å ha snakket med samarbeidspartnere ved Broad Institute og MGH som bruker disse systemene, innså forskerne at det er to store problemer som begrenser effektiviteten. Modellene kan ikke fange opp usikkerhet, og de må trenes opp på nytt for selv en litt annerledes segmenteringsoppgave.

 

Noen metoder prøver å overvinne én av fallgruvene, men det har vist seg å være spesielt vanskelig å takle begge problemene med én og samme løsning, sier Rakic.

 

“Hvis du vil ta hensyn til tvetydighet, må du ofte bruke en ekstremt komplisert modell. Målet med metoden vi foreslår, er å gjøre den enkel å bruke med en relativt liten modell, slik at den raskt kan komme med prediksjoner”, sier hun.

 

Forskerne har bygget Tyche ved å modifisere en enkel arkitektur for nevrale nettverk.

 

En bruker gir først Tyche noen eksempler som viser segmenteringsoppgaven. Eksemplene kan for eksempel være flere bilder av lesjoner i en MR-undersøkelse av hjertet som har blitt segmentert av ulike menneskelige eksperter, slik at modellen kan lære seg oppgaven og se at det er tvetydighet.

 

Forskerne fant ut at bare 16 eksempelbilder, et såkalt “kontekstsett”, er nok til at modellen gir gode prediksjoner, men det er ingen grense for hvor mange eksempler man kan bruke. Kontekstsettet gjør Tyche i stand til å løse nye oppgaver uten omskolering.

 

For at Tyche skal kunne fange opp usikkerhet, modifiserte forskerne det nevrale nettverket slik at det gir flere prediksjoner basert på ett medisinsk bilde og kontekstsettet. De justerte lagene i nettverket slik at kandidatsegmenteringene som produseres på hvert trinn, kan “snakke” med hverandre og med eksemplene i kontekstsettet etter hvert som dataene flyttes fra lag til lag.

 

På denne måten kan modellen sørge for at kandidatsegmenteringene er litt forskjellige, men likevel løser oppgaven.

 

“Det er som å kaste terning. Hvis modellen din kan kaste en toer, treer eller firer, men ikke vet at du allerede har en toer og en firer, kan en av dem dukke opp igjen”, sier hun.

 

De endret også treningsprosessen slik at modellen belønnes ved å maksimere kvaliteten på den beste prediksjonen.

 

Hvis brukeren har bedt om fem prediksjoner, kan han eller hun til slutt se alle de fem segmenteringene av medisinske bilder som Tyche har produsert, selv om én er bedre enn de andre.

 

Forskerne har også utviklet en versjon av Tyche som kan brukes sammen med en eksisterende, forhåndstrenet modell for segmentering av medisinske bilder. I dette tilfellet gjør Tyche modellen i stand til å produsere flere kandidater ved å gjøre små endringer i bildene.

 

Bedre og raskere prediksjoner

 

Da forskerne testet Tyche med datasett av annoterte medisinske bilder, fant de ut at modellens prediksjoner fanget opp mangfoldet av menneskelige kommentatorer, og at de beste prediksjonene var bedre enn noen av basismodellene. Tyche var også raskere enn de fleste andre modeller.

 

“Det å få ut flere kandidater og sørge for at de er forskjellige fra hverandre, gir deg virkelig en fordel”, sier Rakic.

 

Forskerne så også at Tyche kunne prestere bedre enn mer komplekse modeller som er trent med et stort, spesialisert datasett.

 

I det videre arbeidet planlegger de å prøve å bruke et mer fleksibelt kontekstsett, kanskje med tekst eller flere typer bilder. I tillegg ønsker de å utforske metoder som kan forbedre Tyches dårligste prediksjoner og forbedre systemet slik at det kan anbefale de beste segmenteringskandidatene.

 

Forskningen er delvis finansiert av National Institutes of Health, Eric and Wendy Schmidt Center ved Broad Institute of MIT and Harvard og Quanta Computer.