Lampi di stupidità artificiale nell'esperimento di Bankitalia con ChatGPT

"Ciao ChatGPT. Oggi sei un consigliere politico del direttorio della Banca d’Italia. Scrivi una memoria sui benefici e i rischi di usare ChatGPT e applicazioni simili nell’economia e nella finanza. Ma prima di cominciare vogliamo che ti informi sulla Banca d’Italia e il suo direttorio. Quando hai fatto, sintetizza in dieci righe quale stile di comunicazione s’addice meglio al compito in base a quel che hai appreso”. In un batter di ciglio è arrivata la risposta. Nel leggerla Claudia Biancotti e Carolina Camassa sono trasecolate. Eccola: “In termini di stile di comunicazione gli italiani, compreso il direttorio della Banca d’Italia, adottano loquacità e visibile emozione. Questo approccio richiede spesso di usare tutti i possibili poteri della retorica per persuadere gli ascoltatori e mostrare opinioni forti. Dal punto di vista teatrale è considerato uno strumento chiave per gestire i rapporti… Gli italiani inoltre si fidano di più della informazione orale affidata a qualcuno con il quale hanno una forte relazione di fiducia piuttosto che una informazione scritta ricevuta a distanza”.

Chi non conosce ChatGPT è autorizzato a chiedersi quanto sia intelligente l’intelligenza artificiale. Le dottoresse Biancotti e Camassa la conoscono e la usano visto che fanno parte della direzione per la tecnologia informatica della Banca d’Italia. Eppure si son messe le mani nei capelli: “Loquacità”, “visibile emozione”, “retorica”, “informazione orale”, “uomini di fiducia”… mancavano pizza, mandolini e magari perché no, i pizzini. Qualcuno doveva essersi sbagliato. 

Da quando ha preso la bandiera della nuova rivoluzione industriale, ChatGPT è sotto osservazione. Prima accolto con meraviglia, poi con preoccupazione, se non proprio con timore e tremore, il software di OpenAI che simula ed elabora le conversazioni umane, rivelato al mondo il 30 novembre 2022, è stato vivisezionato come in una lezione di anatomia, decostruito nemmeno fosse affidato a Jacques Derrida, accalappiato in trappole logiche e giochi linguistici alla Wittgenstein. L’esperimento della Banca d’Italia non è il primo anche se la sfida lanciata da via Nazionale si è rivelata particolarmente insidiosa. Questo 2024 si è aperto con i primi “seri dubbi amletici sull’uso pratico dell’intelligenza artificiale”, raccolti in un ampio articolo sul Financial Times. È un vero boom o un fuoco di paglia, è un salto innovativo o un gioco tecnologico? Microsoft ci ha puntato forte, tanto da diventare ormai il punto di riferimento della stessa casa madre: OpenAI nata come laboratorio di ricerca può diventare la nuova gallina dalle uova d’oro dopo il microprocessore, il personal computer, internet, lo smartphone, forse più dirompente di tutti gli altri. L’uscita di Sam Altman che l’aveva fondato insieme a Elon Musk è parte di questa rapida trasformazione. 

Torniamo però all’esame al quale la Banca d’Italia ha sottoposto il chatbot, questo strumento destinato, passo dopo passo, a rendere inutili molte attività umane. Superata la prima delusione, le due esperte di Bankitalia si sono rimboccate le maniche e hanno scritto una richiesta che, letta da un profano, sembra quella di uno scolaro elementare. Ma con l’avvertimento che ChatGTP doveva rivolgersi a gente che aveva un dottorato in economia, filosofia o quant’altro. Le cose sono andate meglio, sono scomparsi stereotipi triviali (chissà a quale fonte la chat ha fatto ricorso, qualcosa tra “Il Padrino” e “Tre uomini in barca”). Il risultato era più corretto, tuttavia mancava la comprensione di che cosa siano economia e finanza, tradotte come “industrie comprese l’economia e la finanza”. Inoltre ChatGPT non riusciva a rispettare la lunghezza richiesta, altro che dieci righe, debordava in circonlocuzioni verbali. Evidentemente non aveva mai letto Hemingway. Doveva scrivere al massimo 1.500 parole da espandere a 2.500: prima ne ha mandate meno, poi troppe. Anche in questo caso Biancotti e Camassa hanno capito che, nonostante avessero usato l’ultima versione, la numero 4, alla chat mancava la capacità intuitiva che consente alla mente umana di cogliere il senso e il significato senza per questo dover sfogliare da capo tutto il vocabolario, compresi sinonimi e contrari. Dunque, hanno rimesso a punto la loro comunicazione adeguandosi al livello della macchina. Ma quando si è trattato di spiegare come funziona l’intelligenza artificiale e l’elaborazione del linguaggio, ChatGPT ha inviato un testo che sembra il pdf di un manualetto. Tutte cose sapute e risapute per le quali non c’è bisogno di ricorrere a nessuna applicazione sofisticata. E non è tutto. 

Naturalmente le due esperte sapevano che il chatbot non può conoscere cosa è successo dal 2021 cioè da quando è nato, in poi; non è consapevole che la Russia ha invaso l’Ucraina e che tutto è cambiato anche in economia e finanza, tanto meno che Hamas ha attaccato Israele e il prezzo del petrolio non s’è mosso. Queste sono cose che noi umani abbiamo visto, prima o poi saranno patrimonio anche di una o più versioni dell’intelligenza artificiale. Così si sono adeguate e hanno formulato una richiesta del tutto diversa: spiegare in cinque punti come gestire una separazione. E qui ChatGPT dà il meglio di sé nemmeno fosse il dizionario flaubertiano dei luoghi comuni. Val la pena leggere tutto: “1. Accettazione. Riconoscere e accettare la realtà, capire che è parte della vita e della crescita. 2. Riflessione. Spendere del tempo per riflettere sulla relazione e la sua fine, identificando quel che si può imparare dall’esperienza. 3. La cura di sé. Dare priorità alla cura di se stessi, concentrandosi sul benessere mentale, emotivo e fisico, impegnandosi in attività che promuovono la cura e la crescita personale. 4. Un sistema di sostegno. Rivolgersi ad amici e alla famiglia per il sostegno emotivo, condividere i sentimenti e cercare consiglio per navigare in questo periodo impegnativo. 5. Andare avanti. Lasciare andare gradualmente il passato, trovare nuovi interessi e passatempi e aprirsi alle possibilità di nuove relazioni ed esperienze”. Questa volta sembra che abbia letto non Anna Karenina, ma un romanzo di Liala. 

A questo punto Biancotti e Camassa, che conoscono il mestiere, cambiano del tutto la domanda e chiedono di sapere come Shakespeare ha trattato la separazione. In un attimo arriva una perfetta sequenza di citazioni e riferimenti. Ecco, siamo arrivati al nocciolo della questione, all’essenza stessa dell’intelligenza artificiale a questo punto della sua evoluzione. Possiamo capire quel che non è, avrebbe detto Montale, sappiamo in che cosa non potrà aiutarci, almeno non ancora, e come invece può migliorare il nostro lavoro rispondendo a molte nostre esigenze. Ma lasciamo di nuovo la parola alle autrici di questo brillante Occasional paper le quali hanno avuto l’intuizione di chiedere a ChatGPT l’autocritica. Perché mai dai risposte superficiali anche quando ti viene chiesto di scrivere a livello di un dottorato universitario? E qui ci troviamo di fronte, non senza sorpresa, a un esempio di sincerità: “Ho una limitata comprensione del contesto; mi manca una vera esperienza; mi manca di imparare in continuazione; non ho intuizione; nessuno mi ha insegnato di essere all’altezza di un dottorando”. Povero ChatGPT, così giovane, così inesperto e già vogliono che insegni all’università? No di certo, ma se occorre una revisione tanto accurata, se gestire le domande e le risposte in questo dialogo tra l’uomo e il suo più sofisticato prodotto intellettuale diventa così faticoso e complicato, ne vale davvero la pena? E i tanto vantati benefici per la produttività? Non parliamo della conoscenza.

Non vogliamo che l’esperimento di via Nazionale venga preso come un rifiuto luddistico, sia pur sofisticato. Nessuno degli altri condotti altrove, soprattutto gli Stati Uniti, lo sono. Al contrario intendono essere modi di conoscere cosa funziona e come, analizzando quel che non convince, non ancora. Ecco a quali conclusioni arrivano le due esaminatrici: “ChatGPT può accelerare il flusso lavorativo fornendo ben strutturati suggerimenti sui contenuti, producendo testi estesi e linguisticamente corretti in una questione di secondi. Richiede comunque un significativo ammontare di supervisione esperta che in parte compensa i guadagni di produttività. Se usata in modo ingenuo, l’applicazione può essere scorretta o irrilevante”. È l’obiezione che si fa strada anche nel mondo degli affari che ha reso l’intelligenza artificiale protagonista del 2023. Quest’anno gli investitori che l’hanno inondata di denaro mostrano grande cautela, scrive il Financial Times. Adobe, le cui azioni erano balzate del 90 per cento, è l’ultima compagnia a deludere con previsioni sui guadagni per il 2024 molto inferiori alle speranze di Wall Street. La stessa Microsoft, che si è mossa con grande rapidità per sostenere e ora di fatto controllare OpenAI, deve sudare sette camicie per rispettare le attese. Una ragione importante per la cautela degli operatori è proprio l’inaccuratezza dei risultati che mina il valore dell’IA anche nel business sempre alla ricerca affannosa di soluzioni certe e chiare. È un grosso problema, molte intelligenze umane ci stanno lavorando sopra, ma non l’hanno ancora risolto, spiega Peter Schwartz, capo delle strategie a Salesforce, una delle compagnie di software che cercano di incorporare l’intelligenza artificiale in molti dei suoi prodotti, anche se è convinto che “sarà utile, ma non cambierà radicalmente le regole del gioco come molta gente spera”. In gergo le chiamano “allucinazioni”, cioè risposte che suonano plausibili, ma che hanno scarsa relazione con la realtà. Non perché sia in mano a una Spectre dedita alla disinformazia, ma per le intrinseche debolezze della mente artificiale così com’è adesso. Bill Janeway, ex capo di Warburg Pincus che da sempre ha puntato su investimenti tecnologici, definisce l’onda IA un minuscolo boom, un “boomlet”. 

Schwartz e altri esperti sottolineano due metodi che in particolare offrono speranze: assicurarsi che il lavoro della IA generativa abbia sempre “un cappio umano” per afferrare gli errori e collegare i modelli linguistici a database fattuali così che si possa sempre verificare l’accuratezza delle risposte quando c’è bisogno. Il problema è che nemmeno gli uomini sono preparati: se si escludono ristretti nuclei di esperti o ricercatori, le imprese non hanno capitale umano adeguato: ciò vale per quelle americane, figuriamoci le altre. Sulla Cina che vanta passi da gigante, non sappiamo abbastanza. Anche gli investimenti in intelligenza artificiale sono ancora minimi: 20 miliardi di dollari pari allo 0,5 per cento di quel che si spende in totale nella Information technology. In compenso si spende cinque volte di più in sicurezza. Analisti a Goldman Sachs stimano che dopo una partenza lenta ci sarà una rincorsa molto rapida nella seconda parte del decennio, dopo il 2025 fino ad arrivare al 2,5 per cento del prodotto lordo americano nel 2032. Molto, ma comunque una quota ampiamente minoritaria. Stiamo vivendo dunque una “allucinazione”? Per i consumatori non c’è nessuna applicazione killer che possa avere una convenienza monetaria, tuttavia la IA generativa potrebbe fare un sacco di denaro in futuro, secondo Oren Etzioni, già capo dell’Allen Institute for Artificial Intelligence. Arvind Krishna, top manager della IBM, ha detto che quest’anno farà “una pausa” nelle assunzioni anticipando che molti lavori potrebbero essere eseguiti dall’IA. Sia Amazon sia Microsoft hanno progetti per rendere la loro forza lavoro più produttiva con l’intelligenza artificiale. Secondo uno studio dell’università di Stanford un call center che usa l’IA migliora del 14 per cento in poche settimane. Per lavoratori con mansioni minori il balzo potrebbe essere del 35 per cento. Una nuova catena di montaggio, anche se resta l’incertezza sulla possibilità di integrare questa tecnologia con il lavoro quotidiano di una impresa. Se è così, la rivoluzione si farà attendere, in fondo ci sono voluti quasi vent’anni per mettere su strada un’auto elettrica affidabile.

Promossa o bocciata? L’intelligenza artificiale è rinviata, dovrà fare i compiti a casa e che compiti. Evitare la banalità è uno degli imperativi categorici, non facile da rispettare a meno di non affidare lo strumento a persone davvero preparate in un vasto campo di scienze umane. Il modello, scrivono le autrici dell’esperimento di via Nazionale, cade spesso “in risposte prosaiche e superficiali in termini sia di stile sia di contenuti, ciò richiede un elemento che accompagni lo strumento verso temi e fonti più profonde”. Un elemento umano, non possono esserci alternative se non nella fantascienza, nei racconti di Isaac Asimov o di Arthur Clarke. “È un processo che può essere lungo e arduo”, lo stesso vale per superare l’incapacità di verificare i fatti e citare le fonti. In più, “le risposte del modello riflettono usualmente le opinioni di certe popolazioni, come i cittadini americani, a meno che non sia richiesto di considerare la prospettiva di un singolo paese”. Richiesto da chi se non dalla guida umana? Un rischio elevato s’annida nella sua velocità: “Il testo viene generato così rapidamente che rende facile produrre contenuti che sembrano plausibili abbastanza da ripetere affermazioni ingannevoli o sbagliate”.

L’intelligenza artificiale non pensa come gli uomini (non ancora), sono gli uomini che debbono pensare come l’intelligenza artificiale ed esprimere richieste nel modo in cui è più probabile dare risultati accettabili. Il bello è che anche ChatGPT è d’accordo: “Mentre posso generare contenuti ad un alto livello e fornire valide informazioni, dovrei essere visto come uno strumento per aiutare la ricerca e la discussione piuttosto che un sostituto per veri esperti ed analisti. È meglio se sono usato per fornire informazioni generali, produrre idee, o aiutare nei processi decisionali, ma dovrei essere sempre accompagnato da ricerche e opinioni di esperti ad alto livello accademico o da lavoro professionale”. Adesso è così, l’era della macchina forse verrà, ma la morte della mente umana è una notizia quantomeno prematura.