Foto Unsplash
Cattivi scienziati
L'AI è utile, ma non può sostituire l'impresa conoscitiva della scienza
Il rischio che l'intelligenza artificiale “impari” cose sbagliate e la tendenza ad accettare un modello solo perchè produce previsioni accurate, senza che abbia compreso i meccanismi sottostanti. Ecco perchè non può essere usata come sostituto della teoria
Un articolo di Arvind Narayanan e Sayash Kapoor su Nature lancia un doppio allarme, chiaro e argomentato, sull’impatto dell’intelligenza artificiale nella scienza contemporanea. Gli autori identificano due problemi distinti ma intrecciati: uno riguarda gli errori metodologici commessi nell’uso degli strumenti di machine learning; l’altro, più profondo, investe il modo in cui si sta trasformando la stessa idea di conoscenza scientifica.
Il primo problema è tecnico e riguarda il modo in cui vengono costruiti, addestrati e valutati i modelli predittivi. L’intelligenza artificiale funziona cercando regolarità nei dati, ma se questi dati sono manipolati o suddivisi male, il modello finisce per “imparare” cose sbagliate, che sembrano funzionare ma non hanno alcuna validità. L’esempio più lampante è il cosiddetto data leakage, ovvero la presenza, nel set di addestramento del modello, di informazioni che in teoria dovrebbero essere escluse perché appartengono ai dati di test. In questi casi, il modello non sta davvero imparando a riconoscere un fenomeno, ma sfrutta in modo inconsapevole tracce che gli permettono di “indovinare” la risposta. È un po’ come se uno studente rispondesse bene all’esame non perché ha capito, ma perché ha visto le soluzioni – così brillantemente riassumono gli autori dell’articolo su Nature.
Inoltre, quando i dati di addestramento contengono bias e di verifica, è possibile che siano quelli ad essere usati dall’IA per sviluppare i suoi classificatori probabilistici. Narayanan e Kapoor riportano in proposito dati molto significativi sul fallimento sistematico dei modelli di intelligenza artificiale impiegati per analisi di imaging medico durante la pandemia di Covid-19. In particolare, citano una revisione sistematica di 415 studi che avevano affermato di poter diagnosticare il Covid-19 attraverso radiografie toraciche o Tac analizzate con AI. Ebbene, solo 62 di questi studi soddisfacevano i criteri minimi di qualità.
Anche tra questi pochi selezionati, erano comunque diffusi gravi difetti metodologici: valutazioni scorrette, dati duplicati, e incertezze su come i casi “positivi” fossero stati diagnosticati. Ancora più emblematico è il caso di oltre una dozzina di studi in cui l’addestramento del modello AI era stato effettuato su dati in cui tutti i pazienti positivi al Covid erano adulti, mentre tutti i negativi erano bambini tra 1 e 5 anni. Il risultato era che il modello aveva semplicemente imparato a distinguere adulti da bambini — non malati da sani. Eppure, gli autori di quegli studi avevano erroneamente interpretato il risultato come la prova dell’efficacia diagnostica del loro sistema di intelligenza artificiale.
Come giustamente rimarcato dagli autori dell’articolo su Nature, questo tipo di errore — in apparenza grossolano — è in realtà molto difficile da rilevare in modo sistematico. La valutazione dell’accuratezza predittiva è ancora priva di standard condivisi, i codici usati sono lunghissimi, e basta un singolo errore nascosto per compromettere tutto il modello.
Ma il secondo tipo di problema è ancora più profondo, e riguarda non come si addestrano ed usano i modelli, ma che cosa si intende oggi per conoscenza scientifica. Gli autori denunciano un cambiamento epistemico radicale: sempre più spesso si accetta che un modello sia “scientifico” solo perché produce previsioni accurate, anche se non fornisce alcuna comprensione dei meccanismi sottostanti.
Per capire meglio qual è il punto che preoccupa gli autori, dobbiamo considerare la natura delle soluzioni e dei problemi affrontati dalla IA. Per costruzione, tutti gli strumenti di IA sono dei complicati algoritmi in grado di riconoscere la probabilità che i dati osservati riproducano una certa organizzazione interna – un pattern – scoperto e appreso durante la fase di addestramento. Le IA generative utilizzano questo riconoscimento per “completare” il nostro input con dati che corrispondano al pattern riconosciuto, sia che si tratti di rispondere ad una domanda, sia di formulare una frase o generare un contenuto in risposta ad un input (input che può pure essere casuale, quando si chiede loro di “inventare”).
Dunque, una IA è semplicemente un modello probabilistico, la cui distribuzione di probabilità è stata appresa osservando una gran quantità di dati durante la fase di addestramento; come tale, una IA fornirà sempre risposte probabilistiche ad ogni input ad essa fornita, e la sua utilità è vincolata dall’appropriatezza, dalla mole e dalla pulizia dei dati usati durante l’addestramento e della procedura stessa di addestramento.
Una IA non offre spiegazioni o comprensione del mondo, cioè sapere scientifico, ma semplicemente una risposta su base probabilistica ad un input. Un arguto interlocutore, mentre discutevamo dell’articolo di Nature in questione, mi ha obiettato che anche la meccanica quantistica, in realtà, fornisce risposte di natura probabilistica: Arvind Narayanan e Sayash Kapoor stanno dunque invocando un impossibile ritorno alla fisica classica e alla scienza ottocentesca?
A prima vista, è vero che i modelli di intelligenza artificiale e le teorie della fisica quantistica sembrano accomunati dal fatto che entrambi producono risultati probabilistici. Ma questa somiglianza è affatto superficiale. Il punto non è che le risposte siano probabilistiche, ma in che senso e come lo sono — e che cosa si intende per “spiegazione” in ciascun caso.
La meccanica quantistica è fondata su un insieme preciso di principi — il formalismo degli operatori, la funzione d’onda, l’equazione di Schrödinger, il principio di sovrapposizione, il principio di indeterminazione — che spiegano come è fatto il mondo microscopico nella sua interezza. I fisici quantistici, cioè, formalizzano la struttura del mondo così come è descritto dalla teoria.
In altre parole, la meccanica quantistica fornisce un quadro teorico coerente e formalmente ben definito che rende conto del comportamento dei sistemi fisici. Questo quadro permette di dedurre conseguenze, di comprendere quali fenomeni sono compatibili con la teoria e quali no, di progettare esperimenti cruciali, e di collegare fenomeni tra loro — dall’effetto tunnel all’entanglement, dalla spettroscopia atomica alla superconduttività. Le previsioni probabilistiche sono il prodotto di una teoria del mondo ben definita. Anche quando non esiste una “immagine classica” intuitiva, perché il nostro cervello letteralmente non è attrezzato per andare oltre la descrizione matematica, c'è comunque una struttura concettuale forte, capace di rispondere alla domanda “perché vediamo questo comportamento” attraverso una rete di principi e leggi.
I modelli di IA, invece, sono sì probabilistici nelle loro risposte, come la meccanica quantistica — ad esempio, le reti neurali generative, i classificatori bayesiani, o i transformer nei modelli linguistici predicono la distribuzione di probabilità su possibili output - ma lo fanno senza un insieme di principi che mettano in relazione i dati con un sistema concettuale sottostante. Non c’è alcuna legge che spieghi perché un certo pattern nei dati debba verificarsi, né un’ipotesi di meccanismo causale. L’output è una funzione delle correlazioni apprese, non dell’inferenza su un modello del mondo. Così, un modello linguistico come ChatGPT può prevedere con alta precisione la parola successiva in una frase, ma non possiede una teoria della sintassi, né della semantica, né della mente umana: non sa perché quella parola è plausibile, né che cosa essa significhi nel contesto della comunicazione umana.
Questa non è una semplice differenza di grado rispetto alle teorie probabilistiche della fisica: è una differenza di natura. Un modello che sa “indovinare” senza sapere perché indovina – senza sapere, cioè, correlare una risposta ad una teoria generale del mondo - non è una teoria scientifica. È uno strumento utile — e può esserlo davvero, in medicina, in ingegneria, nell’analisi di grandi dati — ma non può sostituire l’impresa conoscitiva della scienza. Accettare l’equivalenza tra previsione e spiegazione significa abbassare l’asticella: rinunciare alla costruzione di significato, smettere di cercare nessi causali, lasciare che siano gli algoritmi a decidere quali regolarità meritano attenzione. È una forma di resa epistemica.
Questo è il nodo su cui insistono Arvind Narayanan e Sayash Kapoor: la scienza non si limita a fornire risposte che funzionano, ma cerca di spiegare perché funzionano — e lo fa attraverso modelli teorici che rendono conto dei fenomeni osservati. La meccanica quantistica rispetta questa aspirazione, anche se lo fa in modo controintuitivo e con esiti probabilistici. L’intelligenza artificiale, quando usata come sostituto della teoria, no. Può funzionare perfettamente, ma non spiega. E se dimentichiamo questa distinzione, rischiamo di rinunciare a ciò che rende la scienza qualcosa di più di una macchina per previsioni.
Per dirla in altri termini: l’intelligenza artificiale generalizza dai dati per induzione, la fisica teorica — anche quando probabilistica — deduce dai principi. La prima costruisce un algoritmo che “funziona”; la seconda costruisce un modello che “spiega”. E questa differenza è ciò che fonda il valore epistemico delle teorie scientifiche: non solo sapere che cosa succede, ma perché, come, in base a quali leggi, entro quali limiti e con quali implicazioni, rispetto al modello di mondo che abbiamo costruito. È ciò che rende la scienza più che una semplice macchina predittiva, un’impresa di comprensione.
