Mentre OpenAI è pronta a rilasciare, per gli utenti Plus, una versione di anteprima della modalità “Voice Mode” della sua Intelligenza Artificiale, arrivano brutte notizie per chi pensa di curarsi con ChatGPT. L’IA più famosa al mondo, infatti, non è uno strumento diagnostico affidabile, poiché fornisce diagnosi corrette da informazioni su casi reali solo la metà delle volte.
Questo è il risultato di uno studio condotto da una squadra internazionale di ricercatori e pubblicato sulla rivista “Plos One”, che mette in guardia la popolazione dall’affidarsi all’IA come strumento di consulenza medica.
Curarsi con ChatGPT, perché è sconsigliato
Nella ricerca che ha analizzato la possibilità di curarsi con ChatGPT, l’IA ha risposto correttamente al 49 per cento dei casi. L’accuratezza complessiva è stata del 74 per cento, la precisione del 48,67 per cento, la sensibilità del 48,67 per cento, la specificità dell’82,89 per cento.
La maggior parte delle risposte sono state considerate a basso carico cognitivo, con una percentuale del 51 per cento, e la maggior parte delle risposte sono state complete e pertinenti, con una percentuale del 52 per cento. La combinazione di un’elevata rilevanza e di un’accuratezza relativamente bassa rende poco consigliato per le persone di fare affidamento su ChatGPT per la consulenza medica, in quanto può proporre informazioni importanti che possono essere fuorvianti.
Sebbene i risultati indichino che ChatGPT fornisce coerentemente le stesse informazioni a diversi utenti, dimostrando una sostanziale interrelazione tra i vari utenti, rivelano anche le carenze dello strumento nel fornire informazioni mediche fattualmente corrette, come dimostra la sua bassa accuratezza diagnostica.
Non per diagnosi, sì a scopo educativo
Secondo lo studio, quindi, nella forma attuale dell’IA sviluppata da OpenAI, non è consigliato curarsi con ChatGPT. In base all’analisi qualitativa svolta dai ricercatori è risultato che ChatGPT fatica a interpretare i valori di laboratorio e i risultati di imaging e può, dunque, trascurare informazioni chiave rilevanti per la diagnosi.
Tuttavia, è ancora utile come strumento educativo. ChatGPT è stato, in generale, abile nell’escludere una diagnosi differenziale specifica e nel proporre eventuali passi diagnostici da compiere. Inoltre, le risposte sono state di facile comprensione, dimostrando un potenziale vantaggio nel semplificare concetti complessi per gli studenti di medicina.
Come migliorare l’IA
Secondo i ricercatori, ulteriori ricerche dovrebbero concentrarsi sul miglioramento dell’accuratezza e dell’affidabilità di ChatGPT come strumento diagnostico. L’integrazione di ChatGPT nella formazione medica e nella pratica clinica richiede un esame approfondito dei suoi limiti didattici e clinici.
«Dovrebbero essere stabilite linee guida trasparenti per l’uso clinico di ChatGPT, e gli studenti di medicina e i medici dovrebbero essere formati su come utilizzare lo strumento in modo efficace e responsabile», hanno dichiarato gli autori. ChatGPT ha guadagnato una notevole popolarità come strumento didattico nella formazione medica. Il suo accesso a vaste conoscenze mediche, combinato con la capacità di fornire risposte in tempo reale, uniche e perspicaci, in combinazione con i metodi di insegnamento tradizionali, può aiutare gli studenti a colmare le lacune di conoscenza e a semplificare concetti complessi, fornendo risposte istantanee e personalizzate a domande cliniche.
Le prossime sfide
Tuttavia, l’uso di ChatGPT nell’insegnamento della medicina pone delle sfide; database obsoleti possono portare alla diffusione di informazioni imprecise e fuorvianti per gli studenti. Per superare questo problema, i ricercatori auspicano avvengano futuri progressi in altri LLM, addestrati sulla letteratura medica o integrati con banche dati mediche in tempo reale.
«Anche se numerosi studi, tra cui il nostro, hanno valutato ChatGPT per l’educazione medica, ulteriori ricerche sono essenziali per determinare la qualita’ e l’efficacia di ChatGPT», hanno sottolineato gli studiosi. «La ricerca futura dovrebbe concentrarsi sul discernimento delle competenze dei professionisti medici che fanno eccessivo affidamento su ChatGPT, valutando la fiducia dei pazienti nelle diagnosi supportate dall’intelligenza artificiale e l’impatto complessivo sui risultati clinici», hanno aggiunto gli autori.
«Questi studi futuri contribuiranno allo sviluppo di linee guida per l’integrazione dell’IA nella formazione medica e nella pratica clinica – hanno precisato gli scienziati – sebbene molti concordino sull’urgente necessità di linee guida e regolamenti appropriati per l’applicazione di ChatGPT nell’assistenza sanitaria e nell’educazione medica, e’ altrettanto importante procedere con cautela, assicurando che gli LLM, come ChatGPT, siano implementati in modo responsabile ed etico», hanno concluso gli autori.
