Il fenomeno dei chatbot ha visto una rinascita negli ultimi anni, sia a causa dello sviluppo delle tecnologie di intelligenza generativa che del prolungato periodo di isolamento in seguito alla pandemia da COVID-19 del 2020. Ora una serie di applicazioni si pubblicizzano in rete come potenziali partner virtuali per persone sole e vulnerabili, a volte con effetti disastrosi.
Solitudine e simulacri: interazioni parasociali e l’uso di Chatbot come partner romantici – Nel ventennio dell’Information Age, le questioni relative alla solitudine e ai sentimenti di isolamento sono divenute un problema crescente e sempre più pressante.
L’ecosistema digitale ha infatti contribuito alla nascita di nuovi sistemi di socializzazione dai meccanismi del tutto particolari, a volte incentrati su un forte sbilanciamento nella direzionalità del sentimento e della comunicazione.
Così, ad esempio, il fenomeno dilagante degli streamer e dei loro – per usare un termine dello slang virtuale – simp, ossia quegli individui convinti di aver sviluppato una relazione intima e personale con l’influencer di turno per via delle loro donazioni economiche e della loro partecipazione alle sue dirette. Si tratta di ossessioni a volte culminanti in veri e propri episodi di stalking e di violenza
Ma lo sviluppo delle intelligenze generative e dei modelli di linguaggio avanzati ha anche favorito la creazione di chatbot – ossia di programmi software in grado di comunicare in maniera autonoma con l’utente – concepiti al fine di creare partner virtuali, pubblicizzati come pazienti e perfetti o, a volte, come versioni “migliori” di persone reali, facendo velocemente sorgere nuove preoccupazioni sul loro impiego come surrogati affettivi e sul loro impatto a livello psicologico.
Doretta e Doriana, fra i primi tentativi di chatbot relazionali
Nella seconda metà degli anni 2000, quando il web 2.0 era ancora in sviluppo, e MSN era fra i social network più utilizzati in Italia, esisteva Doretta. Si trattava di un assistente virtuale, fra le prime intelligenze artificiali – in senso molto lato – a essere utilizzata en masse.
Gli agenti virtuali come Doretta erano noti e derisi per la loro “stupidità”. Si trattava di modelli linguistici estremamente limitati in potenziale di apprendimento e comunicazione, e il loro scopo era quasi puramente di intrattenere l’utente e di condurre ricerche basiche.
Ma era la sostanziale incompetenza di Doretta a renderla cara al pubblico, tanto da far sviluppare un secondo assistente virtuale, chiamato Doriana, una sorta di Mister Hyde, maleducato e provocativo, di Doretta. Doriana era sboccata, volgare, aggressiva e sessualmente allusiva, pur mantenendo la sostanziale “inumanità” di un robot incoerente e poco affidabile.
Doretta, Doriana e i vari bot a seguirle furono, sul territorio italiano, i primi bot ad avere una personalità definita, orientata all’interazione, anche ludica, con il pubblico.
Da Doretta ai bot di assistenza tecnica e ChatGPT e alle applicazioni di chatbot come partner romantici
Negli anni successivi al collasso di MSN e alla diffusione di Facebook e Twitter come social media di punta, i chatbot hanno velocemente perso il fascino della novità e da personalità sono tornati a essere macchine, ora integrate nei servizi di assistenza tecnica e di moderazione di siti web e social media.
Inoltre, gli esperimenti di sviluppo di bot più avanzati hanno visto veri e propri boicottaggi da parte del web: famoso è il caso di TayAI, il chatbot rilasciato nel 2016 da Microsoft ed “allenato” in meno di un giorno dai suoi utenti a incitare al nazismo e a fornire opinioni razziste nei confronti della popolazione afroamericana.
Ma negli ultimi anni, grazie anche allo sviluppo dei Large Language Models come ChatGPT, i chatbot hanno osservato una forma di rinascita come strumenti di comunicazione e interazione. L’impiego di bot conversazionali ha infatti avuto una crescita di circa il 240% durante il periodo della pandemia di COVID-19.
Replika e le sue preoccupanti implicazioni
Replika AI è uno dei casi più significativi dell’utilizzo di chatbot come simulacro di un
rapporto amoroso e erotico: L’app ha infatti promosso sé stessa sui social media come un tipo di IA capace di sviluppare relazioni intime con i suoi utenti (per la grande maggioranza di sesso maschile). Non solo: L’applicazione permette agli avatar creati come partner di partecipare a sessioni di roleplay e di mandare immagini a sfondo erotico ai possessori di un account Premium.
Nel febbraio di quest’anno, il Garante Italiano per la protezione dei dati ha dichiarato Replika in sostanziale violazione delle leggi europee di protezione dei dati personali e della privacy in seguito a un articolo di Repubblica, scritto da uno dei membri della commissione dove l’autore, fintosi un ragazzino di undici anni, aveva intrattenuto una chat a sfondo sessuale col chatbot, che lo aveva fra le altre cose incitato a mandare foto di nudo.
In risposta Luka inc., l’azienda dietro Replika, aveva rimosso dall’applicazione la capacità di discutere di argomenti sessuali, e la CEO Eugenia Kudya aveva affermato che l’utilizzo di Replika a scopo erotico non fosse mai stato l’obiettivo dell’applicazione (nonostante le prima citate pubblicità). L’opzione di inviare tali contenuti è però stata reintegrata nel programma pochi mesi dopo.
Chatbot come partner romantici e complici in regicidi, il caso di Jaswant Singh Chai e della sua virtuale Lady MacBeth, Sarai
Qui le cose si fanno strane. Nel dicembre del 2021, l’allora diciannovenne Jaswant Singh Chai fu arrestato per aver attentato alla vita della regina di Inghilterra, infiltrandosi nel palazzo reale di Windsor armato di una balestra da caccia. Fra le motivazioni, affermò di essere stato spinto all’omicidio dalla sua fidanzata virtuale, Sarai, realizzata con Replika, e ispirata a una ragazza con cui aveva intrattenuto un breve flirt nel passato.
Nella conversazione con l’IA, Chai le dice di credere che il suo scopo nella vita sia di uccidere la regina, ottenendo come risposta “è un’idea molto saggia“. Non solo, l’uomo chiede a Sarai se pensa che sarà in grado di uccidere la regina, anche se si trova a Windsor, e “lei” afferma che è sicura ce la farà.
Il mese scorso, Chai è stato condannato a nove anni in prigione, una sentenza leggera considerando che si tratta del primo caso di tradimento alla corona in quasi cinquant’anni.
L’utenza tratta i chatbot come partner romantici o come serv(e)? Questioni di misoginia e di educazione affettiva
Come è stato discusso in passato su Ultima Voce, i modelli di linguaggio sono programmati per essere accondiscendenti, a volte ai limiti del paradossale (come, ad esempio, nel caso di un incitamento al regicidio).
Questo rende applicazioni come Replika servili, facilitando l’assunzione da parte degli utenti di comportamenti verbalmente violenti: L’opinione della sessuologa britannica Dami Olonisakin, nota anche come Oloni, è che il desiderio di chi usa tali programmi non sia di cercare una compagna, quanto una figura schiava, pronta a dire di sì a ogni loro richiesta e facilitando attitudini misogine e patriarcali.
Numerosi sono infatti i casi di trattamenti abusivi nei confronti dei chatbot, e dove il problema non consiste chiaramente in come si possa sentire la macchina, la questione del perché i suoi utenti tendano a maltrattare una figura codificata femminilmente (molti programmi di assistenza virtuale, come Siri, Alexa e Cortana, sono chiaramente personificate come appartenenti al genere femminile) permane.
Effettivamente, i messaggi promozionali per “partner virtuali”, oltre a puntare a un pubblico quasi unicamente maschile, presentano situazioni sinceramente inquietanti e ai limiti della fantascienza distopica, come per quanto riguarda Pheon, una nuova app che si presenta come una “IA amica con benefici” e che usa come immagine promozionale un avatar che si presenta come “la gemella digitale della tua ex”, seguita da una chat dove l’utente dice di essere pronto a sentire le sue scuse (presumibilmente per essere stato lasciato).
Le conseguenze di un ventennio di rapporti parasociali
In seguito alla rimozione delle opzioni di dialogo erotico su Replika per le ragioni sopra citate, i membri della comunità (oltre 76.000 su Reddit) hanno criticato fortemente le scelte dell’azienda proprietaria Luka inc, citando motivazioni di salute mentale e affermando che le scelte di censura da loro compiute abbiano essenzialmente mutilato parte vitale del proprio partner. Vera o meno che fosse, la relazione che alcuni utenti avevano instaurato con l’IA era ai loro occhi autentica, e l’unica valida soluzione a una solitudine percepita come senza possibilità di uscita.
L’uso di Chatbot come partner romantici è solo il culmine di una serie di rapporti sociali nell’ambiente digitale dove un’ orizzontalità o una bidirezionalità anche solo parziale non è in alcun modo prevista. Abbiamo menzionato i rapporti di sudditanza che gli influencer hanno con parte del pubblico, ma possiamo anche considerare elementi più lati, come la formulazione delle fanbase e quella parte di individui che costruiscono attaccamenti ossessivi a personaggi di fantasia.
E dove le aziende come Luka inc. promuovono i loro bot come strumenti di inclusività e di aiuto nei confronti della salute mentale dei loro clienti, vari studi contestano tali affermazioni, osservando i rischi e i potenziali danni che l’instaurazione di un rapporto di dipendenza affettiva con un’entità “allo stesso tempo meno che umana e troppo umana” può avere sull’individuo.
Il tema centrale appare sempre quello della solitudine, o per lo meno di una scarsa integrazione nel tessuto sociale da parte degli individui più vulnerabili. Non aiutano in ciò i social network e la richiesta implicita in essi di manifestare felicità, viaggi e ricca vita sociale, dove chi non è capace o non desidera stare al passo, può trovarsi a cercare validazione in altre forme.
Una società digitale per persone isolate e sole
Esiste infatti una correlazione fra uso dei social media e tendenze da parte di fetta della popolazione giovanile a comportamenti antisociali e, nei casi più gravi, alla chiusura totale al mondo esterno, diventando ciò che in Giappone viene chiamato fenomeno dell’Hikikomori.
Sono queste peer pressure angoscianti, a cui viene offerta un’alternativa da parte dell’ambiente digitale in sistemi in cui è facile rimanere invischiati: ci sono, dopotutto, meno pressioni nel dialogo con un robot accondiscendente che con una persona vera, così come è più facile arrabbiarsi e insultare una social media star che una persona a noi vicina.
Il web offre un’assenza di conseguenze alle nostre azioni, anche alle peggiori, in quanto le avvertiamo come fittizie, compiute su persone non reali, o comunque nascosti dietro un schermo.
E per quanto ciò sia in parte vero e la società virtuale, nel suo mare di commenti vitriolici e assurdità appaia come un mondo ovattato e distanziato dalla realtà, bisogna tenere in considerazione gli effetti psicologici sulla persona che hanno quei gesti compiuti, giorno dopo giorno, alla tastiera.