Gli strumenti per riconoscere un testo prodotto da una IA non risolvono il problema, anzi

Per identificare i testi scritti utilizzando l’intelligenza artificiale generativa, sono stati sviluppati e rilasciati al pubblico alcuni strumenti che, esaminando certe particolari caratteristiche di uno scritto, dovrebbero essere in grado di assegnare la probabilità che questo non sia stato scritto da un essere umano.

Un lavoro appena pubblicato ha ora provato che molti di questi strumenti possono introdurre più problemi di quanti ne risolvano. In particolare, in uno studio recentemente pubblicato sulla rivista Patterns? Alcuni ricercatori di Stanford dimostrano che gli algoritmi informatici utilizzati allo scopo spesso etichettano erroneamente gli articoli scritti da persone che scrivono un testo in una lingua diversa dalla loro lingua madre come creati dall’intelligenza artificiale. I ricercatori avvertono che le prestazioni inaffidabili di questi programmi di rilevamento del testo basati sull’intelligenza artificiale potrebbero avere effetti negativi su molte persone, inclusi studenti e candidati al lavoro.

Nello specifico, i ricercatori hanno messo alla prova sette famosi rilevatori di testi scritti da ChatGPT. Esaminando 91 saggi in inglese scritti da persone non di madrelingua inglese per un test di conoscenza della lingua inglese ampiamente riconosciuto, il TOEFL, i rilevatori automatici hanno erroneamente etichettato più della metà dei saggi come generati dall’intelligenza artificiale, con un singolo software che ha segnalato quasi il 98% di questi saggi come scritti dall’intelligenza artificiale. In confronto, i rilevatori sono stati in grado di classificare correttamente più del 90% dei saggi scritti da studenti di terza media degli Stati Uniti come generati dall’uomo.

Il problema consiste nel fatto che gli algoritmi usati dai rilevatori valutano come tipicamente umana la presenza nel testo di parole e di forme sintattiche inusuali, mentre attribuiscono all’intelligenza artificiale testi che siano troppo “omogenei” dal punto di vista delle scelte sintattiche. In altre parole, se si usano termini inglesi comuni senza eccezioni, i rilevatori daranno un punteggio di alta probabilità che il saggio sia stato scritto dall’intelligenza artificiale. Scegliendo termini più sofisticati e meno usuali, è più probabile che i testi siano invece classificati come scritti da esseri umani. Questo accade perché i modelli linguistici di grandi dimensioni come ChatGPT sono addestrati a generare testo per simulare meglio il modo “medio” in cui parla un essere umano.

Poiché, in generale, coloro che scrivono in una lingua diversa dalla propria tendono a usare parole più semplici ed un vocabolario più ristretto e stereotipato, almeno per quel che riguarda ChatGPT essi producono testi che, dal punto di vista degli algoritmi usati per scoprirne i prodotti, sono più simili a quanto è nelle capacità dell’intelligenza artificiale generativa. La controprova si è avuta quando i ricercatori hanno fornito gli stessi saggi TOEFL scritti da esseri umani non madrelingua a ChatGPT, chiedendo esplicitamente all’intelligenza artificiale di modificare il testo utilizzando un linguaggio più sofisticato, inclusa la sostituzione di parole semplici con un vocabolario complesso. I rilevatori GPT hanno etichettato questi saggi modificati dall’intelligenza artificiale come scritti da esseri umani.

A questo punto, è evidente quale sia il problema nell’affidarsi a simili rivelatori automatici.

Innanzitutto, è ovvio che in ogni paese, e ad oggi specialmente in quelli di lingua inglese, questi strumenti introducono pregiudizio contro qualunque straniero che scriva un testo da valutarsi ai fini lavorativi, di carriera o di altro tipo, portando a false accuse circa l’uso di intelligenza artificiale. Inoltre, l’uso dei rilevatori GPT potrebbe avere implicazioni anche ulteriori. Ad esempio, i motori di ricerca come Google svalutano i contenuti generati dall’intelligenza artificiale, il che potrebbe inavvertitamente mettere a tacere gli scrittori inglesi non nativi.

In sostanza, abbiamo un nuovo problema di diversità: quello dovuto alla costruzione di sistemi automatici di identificazione di potenziali abusi dell’intelligenza artificiale generativa, dovuto ad algoritmi che non sono stati allenati a partire da campioni di testi ben bilanciati sia per quel che riguarda la lingua che per quel che riguarda la complessità dei testi. Usare algoritmi, per perseguire l’utilizzo di altri algoritmi, non sembra esattamente una buona idea, se non si è assolutamente certi della robustezza del metodo che si sta adottando; ma, naturalmente, il mercato che spinge per il rilascio dell’intelligenza artificiale ha pure creato le opportunità per gli strumenti che dovrebbero servire al suo controllo, generando un circolo vizioso in cui si vendono prodotti prima di essere certi della loro sicurezza e reale accuratezza.