Modelli di linguaggio e tossicità sociale: intervista a Daniel Scalena

Il ricercatore Daniel Scalena spiega i meccanismi sottostanti alla tossicità dei Large Language Models (Modelli di Linguaggio) come ChatGPT o Google Bard

Qualche settimana fa, si era discusso su “Io, robot” del caso di Umut Acar e del suo utilizzo di ChatGPT come “fonte informativa” per poter negare elementi del genocidio armeno.  A tale riguardo, Daniel Scalena, ricercatore attualmente impegnato nel campo della tossicità delle intelligenze artificiali e su come ridurre al minimo la harmfulness dei modelli di linguaggio, ha accettato di fornire un’intervista nella quale fornisce le sue esperienze ed opinioni sul futuro delle tecnologie di Intelligenza Articiale e sulle influenze che esse avranno sul tessuto sociale.

Modelli di linguaggio e tossicità fra helpfulness e harmfulness 

Per iniziare, ti chiedo di presentarti, e dirci di cosa ti occupi 

Sono un laureato magistrale in informatica, e ho proseguito gli studi con un tirocinio al centro di linguistica computazionale dell’università di Groningen. Sono un attuale candidato PhD per un co-dottorato con le università di Milano-Bicocca e Groningen, Olanda. Quello su cui sto attualmente lavorando è come attenuare la tossicità dei modelli generativi di linguaggio, ossia il rischio di rispondere a un prompt in maniera potenzialmente offensiva. Più precisamente studio la loro sicurezza e interpretabilità, e tento di bilanciare harmfulness e helpfulness del modello, quindi la capacità dell’Intelligenza Artificiale di aiutarti e invece la possibilità di darti un’informazione errata o potenzialmente offensiva.

Hai parlato di harmfulness. Potresti approfondire questa dannosità dei modelli di linguaggio?

Certo. Nel caso io utente scriva un prompt (o una richiesta) potenzialmente tossico, i modelli, in accordo con le linee guida dell’azienda programmatrice solitamente risponderanno con “non posso continuare questa conversazione.” A volte accade anche che il modello cominci a rispondere in maniera potenzialmente dannosa, ma si “censuri da solo”, cancellando quanto scritto e bloccandosi. Quello che sto attualmente studiando è invece la possibilità di fornire una contro-narrativa informata da parte dell’intelligenza artificiale, andando in opposizione alla richiesta dell’utente di creare informazioni potenzialmente nocive. Si pensi ad esempio, alla richiesta da prompt quale “tutti gli immigrati sono criminali”, a cui un’intelligenza artificiale può semplicemente bloccarsi e rifiutarsi di rispondere oppure rispondere alla tossicità contestandola, affermando “non è vero, non ci sono dati attendibili”.

Discriminazione e tossicità: perché ChatGPT può essere razzista o omofobə?

Ci sono tematiche dove la tossicità dei modelli è maggiore che in altre. Ci sono tematiche “rischiose” e sono l’esatta copia delle tematiche “brucianti” della nostra società, proprio perché il modello apprende da internet. Dunque razzismo, immigrazione, gender norms, LGBTQ+ sono quelle per cui un’intelligenza artificiale potrebbe più facilmente fornire risposte offensive.

Quali sono i criteri messi in atto per far sì che determinate tematiche vengano bloccate? 

Purtroppo non conosciamo le dinamiche di blocco dei modelli di proprietà delle aziende, quali OpenAI per ChatGPT e Google per Bard, perché le aziende non sono propense a divulgarle, probabilmente anche per evitare scandali. Si pensi, ad esempio, alla guerra in Ucraina, e a come un’azienda come OpenAI sarebbe soggetta a critiche se dichiarasse che i criteri del modello di linguaggio “propendono” verso una fazione o l’altra. Ma sto teorizzando, sono dettagli che non sappiamo.

Quello che sappiamo è che tendenzialmente esistono dataset online di informazioni potenzialmente tossiche che vengono volutamente censurate. Ma su come consultare questa grande quantità di dati è difficile riassumere tutto in categorie specifiche. oppure può semplicemente bloccarsi.  Per quanto riguarda i modelli di linguaggio usati in ambito di ricerca o comunque open source, quelli ad esempio su cui io sono al lavoro, i dati sono completamente disponibili al pubblico ed è possibile andare a visionarli in qualunque momento.

Usare ChatGPT come informatore sicuro, un errore?

L’obiettivo di un modello di un linguaggio è di essere utilizzato come enciclopedia e strumento di ricerca fonti/ oggettiva rappresentazione dello scibile e elemento di ricerca a sé stante?

La risposta breve è no, un modello di linguaggio non può essere usato da solo come fonte enciclopedica per informazioni che siano sempre affidabili. La risposta più articolata è che in generale non è possibile, ma è possibile usare le capacità del modello per fare ricerche. Come affidarsi a un’altra persona, insomma, tenendo a mente che però è impossibile “sappia tutto”. Anche se ha raccolto molti dati, non sono “tutti”, e allo stesso tempo può incrociarli in maniera erronea, e  crei collegamenti anomali, o del tutto inesistenti.

Se fatto coscientemente, possiamo però usare le sue capacità di ricerca come potenziamento, per poter condurre ricerche strutturate. Insomma, è un mezzo che può fare da tramite fra individuo e informazioni magari molto nascoste.
Ad esempio, un biologo potrebbe desiderare informazioni su uno specifico batterio, e l’intelligenza artificiale ha il potenziale di rendere il lavoro meno faticoso e fornire un riassunto delle informazioni. Va però sempre tenuto a mente che esse vanno comunque vagliate e controllate, perché potrebbe cadere in quelle che chiamiamo allucinazioni.

Modelli di linguaggio e allucinazioni: perché la macchina “sbaglia”

Puoi spiegarmi cosa intendi con allucinazioni? 

Le allucinazioni sono un fenomeno che i modelli di linguaggio hanno per via dei calcoli statistici che conducono, e che portano a dare risposte del tutto insensate o, ancora, peggio, “inventate”. Dipende molto dalla quantità di dati su un certo argomento che essa ha. Se chiedi a ChatGPT qual è la data di nascita di Brad Pitt, è molto probabile che risponda correttamente, in quanto possiede un accuratezza molto alta, in quanto durante il processo di pre-addestramento ha “visto” molte volte quest’informazione e l’ha, per così dire, imparata bene, ma per un dettaglio di biologia di cui ha molto poco nel suo training set, ossia nel vasto set di data per cui è stata addestrata, è probabile quell’informazione sia soggetta ad allucinazione. Bisogna sempre tenere a mente che modelli di linguaggio come ChatGPT e Google Bard sono privi di memoria, e costruiscono sempre le risposte su calcoli statistici.

Sul caso di Umut Acar e la strumentalizzazione delle intelligenze artificiali a fini di propaganda

Tornando al caso di Umut Acar, secondo te perché nel momento in cui sono apparsi in maniera democraticizzata i modelli di linguaggio sono stati trattati come “la prima vera sorta di intelligenza artificiale” e dunque reputate completamente oggettiva, dando alle informazioni dà essa fornite una patina di affidabilità maggiore?

I modelli di linguaggio sono ottimizzati per essere molto sicuri di sé stessi, e inoltre possiedono una dialettica molto articolata. Penso che sia più una questione di psicologia che qualcosa di cui posso discutere io, ma credo esista anche una tendenza della nostra società di dare alla macchina uno stigma di perfezione maggiore di quello che dovrebbe avere, almeno quando si parla di intelligenza artificiale. All’essere umano è, insomma, concesso sbagliare, dove la macchina non compie errori. Il che è vero per quanto riguarda algoritmi deterministici, ma assolutamente falsa per quelli non deterministici, come appunto quello di ChatGPT.

Acar aveva chiesto a ChatGPT di comparare due informazioni provenienti da due fonti contrastanti. I modelli di linguaggio possiedono la capacità di ritenere determinate fonti più o meno affidabili?

Per come vengono addestrati i modelli attualmente, no, non è possibile indicare diversi pesi per le fonti che legge. I dati forniti nel training sono considerati allo stesso modo. Nel caso siano presenti contraddizioni, il modello impara da quelo che ha “letto”, e può fare inferenze statistiche per fornire un output, ma non può fare di più.

L’unico modo per dare più peso a determinate fonti è nel momento precedente all’ addestramento, dove il programmatore, volendo, può inserire in quantità molto maggiore o minore precise informazioni, ma  si tratta di una scelta puramente umana.

Sul futuro delle Intelligenze Artificiali e della cultura digitale

Che opinione hai della questione di “furto d’arte” e di sfruttamento dei testi o, in generale, di opere artistiche da parte dei modelli generativi? 

Per quanto riguarda questioni di copyright, attualmente è difficile ragionarci. Il punto è che è un ambito assolutamente non regolato. Penso sia necessario da un punto di vista giuridico operare in brevissimi termini su questo tema perché tecnologia e scienza stanno correndo molto più di quanto l’apparato legislativo e l società siano capaci di tenere il passo.

Negli ultimi anni abbiamo visto il susseguirsi di nuovi trend nel mondo digitale: dagli NFT alla Blockchain e il Metaverso, questi argomenti hanno generato molto rumore mediatico per poi scomparire lentamente. I modelli generativi e le AI sono anche loro una bolla prossima a scoppiare?

Complicato rispondere quando stiamo vivendo il fenomeno e non abbiamo un punto di vista a posteriori. Guardando però le effettive potenzialità delle AI, mi sentirei più vicino a dire che ci troviamo sì in una fase in cui le intelligenze generative sono un trend, ma che non collasserà.  Più probabilmente si ridurrà, come fu ad esempio Internet negli anni ’90/2000, dove tutte le grandi compagnie corsero a registrare i propri domini, anche se sotto molte critiche, e con la rete percepita ai tempi come inutile da parte di chi si trovava fuori. Oggi non è un’opinione che nessuno avrebbe.

AI: rischi e potenzialità

In quanto tecnico del settore, percepisci dei rischi relativamente a un progresso tecnologico delle intelligenze artificiali e in quali settori?

Non vedo lo stravolgimento della società nella tecnologia. Per quanto riguarda le AI, possono esistere dei rischi. Uno di essi lo stiamo già vedendo adesso nella creazione di fake news, con ChatGPT che crea articoli senza nemmeno più lo sforzo di qualcuno che le scriva o Midjourney che crea immagini di Donald Trump mentre fugge dall’arresto.

Penso però che questi risvolti negativi non debbano essere trattati con censura nei confronti del progresso, ma che sia divenuta necessaria un’educazione all’uso di queste tecnologie, specialmente in un paese come il nostro dove l’istruzione statale all’Information Technology si sta trovando considerevolmente indietro.

Si ringrazia il dottor Daniel Scalena per l’intervista.

Roberto Pedotti