Forbedring af sundhedsprædiktive modeller med generativ kunstig intelligens
Et casestudie om påvisning af lungebetændelse og kræftstadie
Projektoversigt
Inden for sundhedsvæsenets hastigt fremadskridende domæne markerer anvendelsen af generativ AI, især Large Language Models (LLM'er), til at forudsige sygdomstilstande fra kliniske rapporter et betydeligt spring fremad. Klienten, en banebrydende inden for sundhedsanalyse, påbegyndte en mission for at forfine deres sygdomstilstandsforudsigelsesmodeller. Ved at udnytte open source MIMIC CXR-databasen og inkorporere generative AI-forudsigelser til indledende analyse, efterfulgt af manuel validering med Label Studio, var målet at øge modellens nøjagtighed og pålidelighed for kliniske rapportanalyser, især radiologirapporter.
Udfordringer
Integrering af generative AI-forudsigelser i sundhedsarbejdsgange gav adskillige udfordringer:
Dataadgang og sikkerhed
Sikring af adgang til højkvalitets, open source medicinske datasæt som MIMIC-CXR krævede en stringent legitimationsproces, der sikrede overholdelse af privatlivets fred og etiske standarder.
Prædiktionsnøjagtighed
Indledende output fra generative AI-modeller udviste lejlighedsvis unøjagtigheder i sygdomstilstandsforudsigelser, hvilket nødvendiggjorde manuelle kontroller for øget præcision.
Identifikation af kompleks sygdomstilstand
Nøjagtig klassificering af sygdomstilstande ud fra det nuancerede sprog i kliniske rapporter, især ved brug af generativ AI, udgjorde en betydelig hindring.
Annotationskvalitet
At sikre nøjagtige annotationer af høj kvalitet i Label Studio-værktøjet krævede specialiseret viden og forståelse af medicinske sygdomstilstande.
Løsning
Shaip anvendte en omfattende strategi for at løse disse udfordringer:
- Strømlinet legitimationsoplysninger: Holdet navigerede hurtigt i legitimationsprocessen for MIMIC-CXR-adgang og demonstrerede effektivitet og engagement i etisk forskningspraksis.
- Udvikling af retningslinjer: Udviklet indsigtsfulde retningslinjer for manuelle validatorer for at sikre konsistens og kvalitet i annotering af LLM-forudsigelser.
- Ekspertkommentarer om AI-forudsigelser: Ansat omhyggelig manuel validering og korrektion af LLM-forudsigelser ved hjælp af Label Studio, understøttet af medicinsk ekspertise.
- Performance Metrics: Gennem detaljeret analyse beregnede Shaip LLM's præstationsmålinger såsom konkordans, præcision, genkaldelse og F1-score, hvilket muliggør løbende forbedringer.
Resultat
- Forbedret nøjagtighed i at forudsige sygdomstilstande ud fra røntgenrapporter.
- Udvikling af en grundsandhed af høj kvalitet datasæt til fremtidig produktudvikling og evaluering af generative AI-forudsigelser.
- Forbedret forståelse identifikation af sygdomstilstand, hvilket letter mere pålidelige forudsigelser.
Use Case 1: Machine Learning Model Validering
Scenario: Forbedring af lungebetændelsesprædiktionen med generativ AI I dette tilfælde blev en generativ AI-model sigtet gennem røntgenrapporter fra thorax for at opdage tegn på lungebetændelse. En rapport, der bemærkede "Øget uigennemsigtighed i højre nederste lap, hvilket tyder på en infektiøs proces" foranledigede en indledende "Usikker" klassificering af AI på grund af rapportens tvetydige formulering.
Valideringsproces:
- En medicinsk ekspert undersøgte rapporten i Label Studio og koncentrerede sig om teksten fremhævet af AI.
- Ved at evaluere den kliniske kontekst og anvende radiologisk viden omklassificerede eksperten rapporten som en definitiv "positiv" for lungebetændelse.
- Denne ekspertkorrektion blev integreret tilbage i AI-modellen, hvilket letter dens løbende læring og forfining.
resultater:
- Forbedret modelnøjagtighed
- Forbedring af præstationsmålingernes præcision og genkaldelse
Use Case 2: Generer Ground Truth Dataset
Scenario: Udarbejdelse af et benchmark-datasæt til Cancer TNM Staging med generativ AI
Med det formål at fremme udviklingen af kræftprogression forsøgte kunden at samle et omfattende datasæt. Dette datasæt ville benchmarke træningen og vurderingen af nye AI-modeller til nøjagtigt at forudsige TNM-stadieinddelingen af kræft ud fra kliniske fortællinger.
Datasætgenereringsproces:
- Et bredt spektrum af kræftrelaterede rapporter, herunder patologiske fund og diagnostiske oversigter, blev indsamlet.
- Den generative AI-model gav indledende TNM-stadieforudsigelser for hver rapport og udnyttede dens lærte mønstre og viden.
- Medicinske fagfolk gennemgik disse AI-genererede forudsigelser for nøjagtighed, korrigering af fejl og supplerende oplysninger i tilfælde af ufuldstændige eller forkerte AI-forudsigelser.
resultater:
- Oprettelse af et højkvalitets Ground Truth-datasæt.
- Foundation for Future Products til forfining af næste generations modeller for kræftdiagnose og iscenesættelse.
Arbejdet med Shaip har revolutioneret vores tilgang til sygdomsforudsigelse. Præcisionen og pålideligheden af vores modeller er væsentligt forbedret med annoteringer udført af Shaips domæneeksperter. Takket være deres omhyggelige valideringsproces.
