MedPaLM, un modello linguistico di grandi dimensioni come ChatGPT, progettato per rispondere a domande provenienti da una varietà di set di dati medici, tra cui uno nuovissimo creato da Google e che rappresenta le domande degli utenti di Internet sulla salute, è stato creato da Google e dalla sua divisione DeepMind.
Rispondendo alle domande di HealthSearchQA, il programma MedPaLM è migliorato significativamente, stando a quanto affermato da un gruppo di medici umani. L’accuratezza delle previsioni allineate al consenso medico è stata del 92,6%. Questo risultato è stato solo leggermente inferiore all’accuratezza media dei medici umani, pari al 92,9%.
Tuttavia, quando è stato chiesto a un gruppo di non addetti ai lavori con formazione medica di giudicare quanto MedPaLM fosse in grado di rispondere al quesito, ovvero “Consente [ai consumatori] di trarre una conclusione?”, MedPaLM è stato giudicato utile l’80,3% delle volte, rispetto al 91,1% delle volte per le risposte dei medici umani. Questo, secondo i ricercatori, indica che “resta ancora molto lavoro da fare per avvicinare la qualità delle risposte fornite dai medici umani”.
Secondo questo articolo, nello studio intitolato “Large language models encode clinical knowledge”, Karan Singhal, autore principale di Google, e i suoi coautori sottolineano l’uso dell’ingegneria rapida per rendere MedPaLM superiore ai precedenti modelli linguistici di grandi dimensioni.
Le coppie domanda-risposta alimentate da PaLM e fornite da cinque medici negli Stati Uniti e nel Regno Unito sono la base di MedPaLM. Queste 65 coppie domanda-risposta sono state utilizzate per addestrare MedPaLM utilizzando varie tecniche di prompt engineering.
Secondo Singhal e il team, il metodo tradizionale per migliorare un modello linguistico di grandi dimensioni come PaLM o GPT-3 di OpenAI è quello di alimentarlo “con grandi quantità di dati in-domain” (dati di un ambito specifico), ma questo metodo è difficile in questo caso perché c’è una scarsità di dati medici. Vengono quindi utilizzate tre tecniche di prompting.
Il prompting è una tecnica che consiste nel fornire a un modello di intelligenza artificiale alcuni input e output di esempio come dimostrazioni per migliorare le sue prestazioni in un compito. I ricercatori utilizzano tre principali strategie di prompting:
Prompting a pochi esempi: Il compito viene descritto al modello attraverso esempi testuali. Prompting a catena di pensieri: Il modello viene addestrato su un compito con un numero limitato di dati o di esempi. Prompting di autoconsistenza: Il modello genera più risultati e la risposta finale è determinata da un voto di maggioranza tra i risultati. L’idea chiave è che fornire a un modello di intelligenza artificiale una manciata di esempi dimostrativi codificati come testo di richiesta può migliorare le sue capacità in determinati compiti, riducendo la quantità di dati di addestramento necessari. Il prompt fornisce al modello una guida su come gestire i nuovi input.
Il miglioramento del punteggio di MedPaLM dimostra che “la messa a punto dei prompt è una tecnica di allineamento efficiente in termini di dati e parametri, utile per migliorare i fattori legati all’accuratezza, alla fattualità, alla coerenza, alla sicurezza, al danno e al bias, contribuendo a colmare il divario con gli esperti clinici e ad avvicinare questi modelli alle applicazioni cliniche del mondo reale”.
Tuttavia, poiché hanno riscontrato che “questi modelli non sono a livello di esperti clinici su molti aspetti clinicamente importanti”, Singhal e il suo team consigliano di ricorrere a una più competente partecipazione umana.
“Il numero di risposte del modello valutate e il gruppo di clinici e profani che le hanno valutate erano limitati, poiché i nostri risultati si basavano su un solo clinico o profano che valutava ogni risposta”, osservano gli autori. “Questo problema potrebbe essere mitigato dall’inclusione di un pool di valutatori umani molto più ampio e intenzionalmente diversificato”.
“I nostri risultati suggeriscono che le buone prestazioni nel rispondere alle domande di medicina possono essere un’abilità emergente dei LLM (Large Language Models), combinata con un’efficace messa a punto delle istruzioni”. Hanno affermato Singhal e i suoi colleghi nelle loro conclusioni nonostante le carenze di MedPaLM.
Gli algoritmi di supporto alle decisioni cliniche (CDS), sono un esempio di strumento di intelligenza artificiale che è stato integrato nella pratica clinica e sta aiutando i medici a prendere decisioni critiche sulla diagnosi e sul trattamento dei pazienti. La capacità dei medici di utilizzare questi strumenti in modo efficace è fondamentale per la loro efficacia, ma attualmente questa capacità è carente.
Come riportato qui, i medici cominceranno a vedere ChatGPT e altri sistemi di intelligenza artificiale integrati nella loro pratica clinica, man mano che si diffonderanno per assistere nella diagnosi e nel trattamento di malattie mediche comuni. Questi strumenti, noti come algoritmi di supporto alle decisioni cliniche (CDS), aiutano i professionisti del settore medico a compiere scelte critiche, come quella di quali antibiotici raccomandare o se sollecitare un’operazione cardiaca pericolosa.
Secondo un nuovo articolo scritto dai docenti della University of Maryland School of Medicine e pubblicato sul New England Journal of Medicine, il successo di queste nuove tecnologie dipende tuttavia in larga misura dal modo in cui i medici interpretano e agiscono in base alle previsioni di rischio di uno strumento, e ciò richiede una serie di competenze specifiche che attualmente mancano a molti.
La flessibilità degli algoritmi CDS consente loro di prevedere una varietà di esiti, anche in presenza di incertezza clinica. Si va dai calcolatori di rischio derivati dalla regressione ai sofisticati sistemi basati sull’apprendimento automatico e sull’intelligenza artificiale. Tali algoritmi sono in grado di prevedere situazioni quali i pazienti che rischiano maggiormente di sviluppare una sepsi pericolosa per la vita a causa di un’infezione non controllata o quale trattamento impedirà con maggiore probabilità a un paziente con una malattia cardiaca di morire improvvisamente.
“Queste nuove tecnologie hanno il potenziale per avere un impatto significativo sull’assistenza ai pazienti, ma i medici devono prima imparare come le macchine pensano e lavorano prima di poter incorporare gli algoritmi nella loro pratica medica”, ha dichiarato Daniel Morgan, medico e professore di epidemiologia e salute pubblica presso l’UMSOM e co-autore dell’articolo.
Sebbene i sistemi di cartelle cliniche elettroniche forniscano già alcune funzioni di supporto alle decisioni cliniche, molti operatori sanitari ritengono che il software attuale sia complicato e difficile da usare. Secondo Katherine Goodman, professore di epidemiologia e sanità pubblica presso l’UMSOM e coautrice dell’articolo, “i medici non devono essere esperti di matematica o di computer, ma devono avere una comprensione di base di ciò che un algoritmo fa in termini di probabilità e di aggiustamento del rischio, ma la maggior parte di essi non è mai stata formata a queste competenze”.
Per colmare questa lacuna, l’educazione medica e la formazione clinica devono trattare esplicitamente il ragionamento probabilistico adattato agli algoritmi di CDS. Al Beth Israel Deaconess Medical Center di Boston, i dottori Morgan e Goodman hanno formulato le seguenti raccomandazioni con il dottor Adam Rodman come coautore:
L’Università del Maryland di Baltimora (UMB), l’Università del Maryland di College Park (UMCP) e l’Università del Maryland del Sistema Sanitario (UMMS) hanno recentemente reso noti i piani per un nuovo Istituto per l’Informatica Sanitaria (IHC). Per sviluppare un sistema sanitario di apprendimento di livello mondiale che migliori l’individuazione, la prevenzione e il trattamento delle malattie, l’UM-IHC sfrutterà i recenti progressi dell’intelligenza artificiale, della medicina di rete e di altre tecniche informatiche. Il dottor Goodman inizierà a lavorare presso l’IHC, una struttura dedicata all’istruzione e alla preparazione degli operatori sanitari alle più recenti tecnologie. Oltre alle possibilità di formazione formale esistenti nel campo delle scienze dei dati, l’Istituto intende offrire una certificazione in scienze dei dati sanitari.
“La probabilità e l’analisi del rischio sono fondamentali per la pratica della medicina basata sull’evidenza, quindi migliorare le competenze probabilistiche dei medici può fornire vantaggi che vanno oltre l’uso degli algoritmi CDS”, ha dichiarato il preside dell’UMSOM Mark T. Gladwin, medico, Vicepresidente per gli Affari Medici dell’Università del Maryland, Baltimora, e John Z. e Akiko K. Bowers professore illustro. “Stiamo entrando in un’era di trasformazione della medicina in cui nuove iniziative come il nostro Istituto per l’informatica sanitaria integreranno vaste quantità di dati in sistemi di apprendimento automatico per personalizzare le cure per il singolo paziente”.
L’intelligenza artificiale cambierà non solo il modo in cui i medici si approcceranno alla medicina, ma anche il modo in cui le persone si occuperanno da sole di problemi medici minori, riducendo forse l’onere per ospedali e medici. Ecco alcuni importanti miglioramenti:
Otto robot umanoidi all'avanguardia destinati a trasformare le industrie e a ridefinire il futuro del…
Boston Dynamics ritira il suo iconico robot Atlas e presenta un nuovo robot umanoide avanzato,…
Un dirigente del settore tecnologico rivela la tendenza crescente delle cosiddette "fidanzate" generate dall'IA.
Come l'algoritmo di TikTok modella le esperienze degli utenti e sull'importanza della supervisione umana nello…
Gli esperti avvertono che i "fantasmi" artificiali potrebbero disturbare il processo di elaborazione del lutto,…
Come gli LLM utilizzano le funzioni lineari per recuperare le conoscenze fattuali, fornendo informazioni sul…