“Coded Bias”, o della stupidità delle macchine

“Coded Bias” di Netflix è un giro del mondo videosorvegliato in un’ora e mezza. Un po’ confuso, con qualche forzatura, ma che pone questioni politiche (e filosofiche) dirimenti attraverso un buon numero di aneddoti inquietanti raccolti in giro per il mondo. La storia portante è quella della ricercatrice afroamericana Joy Buolamwini, autrice di un paper – poi ripreso da tutta la stampa statunitense – sui pregiudizi razziali e di genere dei software per il riconoscimento facciale come Amazon Rekognition. La ricerca ha dimostrato come gli algoritmi di Amazon e di altre grandi società sappiano riconoscere benissimo un maschio bianco mentre fanno molta più fatica con il volto di un maschio nero, ancora di più con quello di una donna bianca e hanno un’altissima probabilità di sbagliare quando provano a identificare una donna nera.

La ricerca ha anche rivelato che Amazon Rekognition riscontra un “criminal match”, cioè classifica come probabili pregiudicati ben 28 membri del Congresso americano che non hanno mai avuto problemi con la legge. E’ un pasticcio, e la prima questione che si pone è come sia stato possibile utilizzare su larga scala (dalle indagini della polizia all’incrocio dei dati per determinare se un privato cittadino sia un bravo o un cattivo pagatore) sistemi così poco affidabili. L’algoritmo è infatti adoperato in America per decidere chi interrogare come sospettato di un delitto, se un detenuto meriti o meno la libertà vigilata, se un cittadino meriti o meno un prestito, oltre che per valutare insegnanti delle scuole medie e per decidere di licenziarli, per vagliare candidature al college e curriculum. E’ venuto fuori che l’algoritmo utilizzato da Amazon sui profili di chi si era proposto per lavorare nei loro magazzini escludeva automaticamente tutti quelli in cui comparivano due parole: “pallavolo femminile”.

Perché? Di preciso non lo sapremo mai. Mentre nella programmazione classica è l’uomo a dire al computer cosa deve fare, l’algoritmo funziona tramite machine learning. E’ la macchina stessa che, analizzando l’immensa montagna di dati a disposizione, impara da sola come catalogarli e giudicarli. Per questo una ragazza afroamericana si è vista revocare la libertà vigilata nonostante il parere positivo del suo responsabile sulla buona condotta, senza che il giudice sapesse dirle altro che “lo ha deciso l’algoritmo”. Daniel Santos, che insegna nella scuola media di Jackson, è stato premiato decine di volte nella sua carriera come “docente del mese” dalla dirigenza, dagli alunni e dai genitori, eppure ha ricevuto dall’algoritmo la valutazione “pessimo insegnante”, mentre i suoi colleghi con una valutazione inferiore di pochi punti sono stati licenziati.

La domanda filosofica è: possiamo accettare delle sentenze emesse da qualcuno (qualcosa) che non è in grado di spiegarci come sia arrivato a quella conclusione? Possiamo fidarci del risultato senza conoscere il metodo e il processo con cui è stato ottenuto? C’è qualcosa di vagamente compatibile con la logica o con il metodo scientifico in una macchina che esclude arbitrariamente qualsiasi donna a cui piace la pallavolo? Henry Kissinger, ormai tre anni fa, sosteneva sull’Atlantic che l’Intelligenza artificiale fosse l’unica innovazione in grado di decretare la fine dell’Illuminismo. La seconda questione è quella della responsabilità, nel momento in cui anche le società che forniscono il servizio ammettono di non sapere come i loro software arrivino a un risultato piuttosto che a un altro. La terza questione è come sia possibile che, rispetto a strumenti tanto invasivi, negli Stati Uniti ci sia ancora un vuoto legislativo.