Può l’intelligenza artificiale ChatGPT, sostituire il medico? Vediamo cosa gli è stato chiesto di fare in uno studio appena pubblicato.
Per una mancata consegna, il pacco che sto aspettando da un mese è in giacenza. Mi rivolgo all’assistenza clienti, che ha come primo filtro un chatbot. Le provo tutte, ma non riesco a reperire l’informazione che sto cercando. È così ogni volta, con la banca, il gestore telefonico. I chatbot e io non riusciamo a capirci, a comunicare. Per questo motivo, la notizia che il più giovane di loro, ChatGPT, abbia passato l’USMLE mi lascia non poco perplessa.
USMLE sta per United States Medical Licensing Examination, e rappresenta il test di abilitazione alla professione del medico della nazione a stelle e a strisce. Un incubo in tre step, ognuno dei quali valuta vari aspetti della formazione in medicina, dalle scienze di base, alla clinica, alla bioetica, che richiede anni di preparazione per essere affrontato e superato.
Per questo mi chiedo: come può un software incapace di dirmi per quanti giorni verrà trattenuto il mio pacco, prima di essere rimandato al mittente, esercitare la professione di medico?
La risposta breve è che non può.
Intelligenze artificiali: non sono tutte uguali
La prima vera ragione, quella su cui forse si crea maggiore confusione, è che i chatbot non sono tutti uguali. I modelli di intelligenza artificiale che conosciamo meglio, quelli che non mi aiutano a recuperare i pacchi in giacenza, si basano sul DL – Deep Learning, un sistema di algoritmi che estrapola informazioni dai dati, organizzandoli su una scala gerarchica di rilevanza, allo scopo di trovare la soluzione al problema che gli viene posto. Maggiore la quantità di dati con cui andremo a sfamare il sistema, migliore l’accuratezza della risposta che riceveremo.
Diverso è il discorso per ChatGPT, un’intelligenza artificiale sviluppata dalla società americana OpenAI lo scorso novembre. GPT sta per Generative Pre-trained Transformer; parliamo in questo caso di un sistema basato sul LLM – Large Language Model che prevede la probabilità di una nuova sequenza di parole, sulla base del contesto delle parole precedenti, dopo essere stato sottoposto a una grande quantità di dati. ChatGPT, in pratica, crea un nuovo discorso sulla base dell’affinità tra le parole, invece di estrapolare frasi dal proprio database o da Internet, cosa che avviene nel caso dei chatbot Deep Learning.
Appurata, dunque, la superiorità di ChatGPT sui suoi cugini, perché chiedergli di fare il medico? La verità è che nessuno lo ha fatto… ancora.
Lo studio che ha coinvolto ChatGPT
La notizia nasce da uno studio pubblicato in preprint su MedRxiv – quindi ancora non sottoposto a peer review e suscettibile di modifiche – condotto dai ricercatori di Ansible Health, un’azienda americana che si occupa di telemedicina nel campo delle malattie polmonari croniche. I ricercatori hanno sottoposto ChatGPT alle domande dell’edizione 2022 dell’USMLE, escludendo quelle contenenti immagini, e riadattandole in modo da poter fornire all’intelligenza artificiale determinati tipi di input, per ottenere, per esempio, una motivazione a ogni risposta fornita.
I risultati: un chatbot con un buon livello di insight
ChatGPT ha raggiunto un’accuratezza superiore al 60% in quasi tutti gli input, raggiungendo la soglia di superamento dell’USMLE in tutti e tre gli step di cui è composto.
Tra i risultati, al di là del dato test superato/non superato, ciò che colpisce, oltre alla concordanza tra risposta scelta e motivazione appropriata per quella scelta, è la capacità di insight dell’intelligenza artificiale. Infatti, analizzando il contenuto delle spiegazioni fornite da ChatGPT, è emersa la presenza di un’intuizione significativa nell’89% delle risposte.
Questo ci permette di immaginare questo chatbot, così come proposto dagli autori dello studio, come assistente alla formazione medica, come possibile insegnante e tutor nella preparazione di esami, piuttosto che come medico vero e proprio. La pratica clinica resta una disciplina complessa e con troppe variabili per poter essere affidata a un’intelligenza artificiale, che potrebbe però rendersi utile aiutando gli studenti a sviluppare il ragionamento clinico, a porsi le giuste domande.
Le conclusioni: un’intelligenza artificiale per compagno di studi
Sulle prospettive di utilizzo in questo ambito, è interessante il commento alla notizia di Angelo Rossi Mori, ricercatore presso l’IRPPS, Istituto di Ricerche sulla Popolazione e Politiche Sociali, che si occupa di sanità digitale dal 1973:
“ChatGPT è bravo ma sa anche sbagliare, proprio come uno studente.
Non è (per ora) al livello di un professore, che di solito sbaglia un po’ meno.
Quindi “esso” può essere utile nella didattica, ma lo studente deve tenere presente che sta “parlando” con un altro studente, abbastanza bravo, e ragionare con la propria testa.”
Ora, dunque, il fatto che ChatGPT abbia superato l’esame di abilitazione alla professione medica, mi sembra più fattibile. Sicuramente più di recuperare il mio pacco smarrito.
Erika Meleddu