Îmbunătățirea modelelor predictive de asistență medicală cu IA generativă
Un studiu de caz privind detectarea pneumoniei și stadializarea cancerului
rezumatul proiectului
În domeniul asistenței medicale, care avansează rapid, folosirea AI generativă, în special a modelelor de limbaj mari (LLM), pentru prezicerea stărilor de boală din rapoartele clinice marchează un salt înainte considerabil. Clientul, un pionierat în analiza sănătății, și-a angajat o misiune de a-și perfecționa modelele de predicție a stării bolii. Prin folosirea bazei de date MIMIC CXR cu sursă deschisă și încorporarea predicțiilor AI generative pentru analiza inițială, urmată de validarea manuală cu Label Studio, scopul a fost de a spori acuratețea și fiabilitatea modelului pentru analizele rapoartelor clinice, în special rapoartele radiologice.
Provocări
Integrarea predicțiilor AI generative în fluxurile de lucru din domeniul sănătății a prezentat numeroase provocări:
Securizarea accesului la seturi de date medicale open-source de înaltă calitate, cum ar fi MIMIC-CXR, a necesitat un proces riguros de acreditare, asigurând conformitatea cu standardele de confidențialitate și etică.
Rezultatele inițiale din modelele AI generative au prezentat ocazional inexactități în predicțiile stării bolii, necesitând verificări manuale pentru o precizie îmbunătățită.
Clasificarea cu precizie a stărilor de boală din limbajul nuanțat al rapoartelor clinice, în special atunci când se folosește IA generativă, a reprezentat un obstacol semnificativ.
Asigurarea unor adnotări precise și de înaltă calitate în cadrul instrumentului Label Studio a necesitat cunoștințe de specialitate și înțelegere a stărilor de boală medicală.
Soluţie
Shaip a folosit o strategie cuprinzătoare pentru a aborda aceste provocări:
- Acreditare simplificată: Echipa a navigat rapid prin procesul de acreditare pentru accesul MIMIC-CXR, demonstrând eficiența și angajamentul față de practicile etice de cercetare.
- Dezvoltarea ghidului: A dezvoltat linii directoare perspicace pentru validatorii manuali pentru a asigura coerența și calitatea adnotării predicțiilor LLM.
- Adnotări ale experților despre predicțiile AI: Am folosit validarea manuală meticuloasă și corectarea predicțiilor LLM folosind Label Studio, susținută de expertiză medicală.
- Valori de performanță: Printr-o analiză detaliată, Shaip a calculat valorile de performanță ale LLM, cum ar fi concordanța, precizia, reamintirea și scorul F1, permițând îmbunătățirea continuă.
Rezultat
- Precizie îmbunătățită în prezicerea stărilor bolii din rapoartele radiologice.
- Dezvoltare a unui adevărul teren de înaltă calitate set de date pentru dezvoltarea de produse viitoare și evaluarea predicțiilor generative AI.
- Înțelegere îmbunătățită de identificare a stării bolii, facilitând predicții mai fiabile.
Cazul de utilizare 1: validarea modelului de învățare automată
Scenariu: Îmbunătățirea preciziei predicției pneumoniei cu IA generativă În acest caz, un model AI generativ a verificat rapoartele cu raze X toracice pentru a detecta semnele de pneumonie. Un raport care observă „Opacitate crescută în lobul inferior drept, sugerând un proces infecțios” a determinat o clasificare inițială „Incertă” de către AI din cauza formulării ambigue a raportului.
Proces de validare:
- Un expert medical a examinat raportul în cadrul Label Studio, concentrându-se pe textul evidențiat de AI.
- Prin evaluarea contextului clinic și aplicarea cunoștințelor radiologice, expertul a reclasificat raportul drept „Pozitiv” definitiv pentru pneumonie.
- Această corecție expertă a fost integrată din nou în modelul AI, facilitând învățarea și perfecționarea sa continuă.
rezultate:
- Precizie îmbunătățită a modelului
- Îmbunătățirea preciziei și a reamintirii indicilor de performanță
Cazul de utilizare 2: Generați un set de date Ground Truth
Scenariu: Crearea unui set de date de referință pentru stadializarea cancerului TNM cu IA generativă
Cu scopul de a avansa în dezvoltarea de produse pentru progresia cancerului, clientul a căutat să adune un set de date cuprinzător de adevăr. Acest set de date ar compara instruirea și evaluarea noilor modele AI pentru a prezice cu precizie stadializarea TNM a cancerului din narațiunile clinice.
Procesul de generare a setului de date:
- A fost adunat un spectru larg de rapoarte legate de cancer, inclusiv constatări patologice și analize generale de diagnostic.
- Modelul AI generativ a furnizat predicții inițiale de stadializare TNM pentru fiecare raport, valorificând tiparele și cunoștințele învățate.
- Profesioniștii din domeniul medical au revizuit aceste predicții generate de AI pentru precizie, rectificarea erorilor și completarea informațiilor în cazurile de predicții AI incomplete sau incorecte.
rezultate:
- Crearea unui set de date pentru adevărul de înaltă calitate.
- Fundația pentru produse viitoare pentru perfecționarea modelelor de nouă generație privind diagnosticarea și stadializarea cancerului.
Lucrul cu Shaip a revoluționat abordarea noastră față de predicția bolilor. Precizia și fiabilitatea modelelor noastre s-au îmbunătățit semnificativ cu adnotările efectuate de experții în domeniu ai Shaip. Datorită procesului lor meticulos de validare.
