Il paradosso della sicurezza

15 aprile 2019, Parigi. Il tetto della cattedrale di Notre-Dame, simbolo della cristianità europea, prende fuoco. Brucerà per una decina di ore, lasciando danni ingenti. Come dopo ogni catastrofe, si tratta poi di stabilire la dinamica dei fatti e le eventuali responsabilità. Di solito le cause si dividono in due tipologie: umane o tecniche? Ma le cose sono più complesse. Sono così complesse che, a un anno di distanza degli eventi, ci permettono non soltanto di raccontare la storia di quello spaventoso incidente, ma inoltre di riflettere sui limiti della nostra fiducia nella tecnologia.

 

Sono le 18.18. Quando la cattedrale di Notre-Dame a Parigi prende fuoco, il suo costosissimo impianto di rilevamento del fumo individuava correttamente un principio d’incendio. Eppure i vigili del fuoco sono stati contattati solo mezz’ora dopo, quando le fiamme si erano già propagate nella capriata lignea della cattedrale. Cos’è successo in quella mezz’ora? Il ritardo tra il rilevamento delle prime fiamme e la chiamata ai vigili del fuoco non è tecnicamente un problema tecnico, se consideriamo tecnico soltanto ciò che riguarda il funzionamento materiale dell’impianto antincendio: rilevatore di fumo, misurazione della temperatura, dispositivi elettronici, centralina. Quello installato nella cattedrale, che aveva richiesto sei anni di lavoro a una squadra di decine di persone, era un sistema di rilevazione ad alta sensibilità (High Sensitivity Smoke Detection o HSSD), il sistema più perfezionato disponibile sul mercato. Funzionò perfettamente anche quel 15 aprile, sebbene i piani di sicurezza avessero sottovalutato la velocità di propagazione delle fiamme. Ma se invece consideriamo “sistema” l’insieme di processi che portano dalla rilevazione all’intervento, allora la questione non è meramente tecnica in senso tecnico, in quanto coinvolge le condizioni di utilizzo del rilevatore e il modo in cui reagiscono i soggetti umani alla rilevazione: la questione è tecnica in senso più ampio. Quando parliamo di “sistema antincendio” non intendiamo un insieme di fili e di transistor ma una grande macchina costituita da rigorose procedure e margini di azione umana, ed è qui che si è presentato un problema essenzialmente (sebbene non-tecnicamente) tecnico.

  

Molte cose restano ancora da accertare ma alcune sono già note. Il fuoco si scatena nella capriata della cattedrale, la cosiddetta “foresta” del XIII secolo, forse a partire dalle impalcature installate pochi mesi prima per realizzare dei lavori di restauro, oppure dalle campane elettrificate. Quando alle 18.18 l’addetto alla sicurezza viene allertato dall’impianto antincendio, l’interfaccia gli fornisce una serie di informazioni di difficile interpretazione: la prima è una descrizione approssimativa, per quanto esatta, della zona dell’incendio (“combles nef sacristie”, in italiano “capriata navata sacrestia”) basata sulla suddivisione dell’intero complesso in quattro aree molto grandi; la seconda è un codice alfanumerico (“ZDA-110-3-15-1”) associato a uno dei 160 rilevatori di fumo della cattedrale. Forse ritenendo erroneamente che la prima informazione indicasse che il problema fosse circoscritto alla sacrestia (la descrizione poteva essere interpretata: “capriata della navata della sacrestia”) la reazione dell’addetto è di spedire una guardia a verificare sul posto invece che nel sottotetto sotto la capriata: non trovandovi evidentemente nessun principio d’incendio, per qualche decina di minuti l’addetto sembra convincersi che si tratti soltanto di un errore dell’impianto, insomma di un falso allarme. Nel frattempo ha comunque cercato di contattare il suo superiore, senza successo; soltanto mezz’ora dopo questi richiama e, forse capendo l’errore, intima prontamente di chiamare i vigili del fuoco. Ma è troppo tardi: su Twitter cominciano ad apparire le foto del tetto di Notre-Dame in fiamme. L’incendio durerà fino alle quattro del mattino, malgrado gli sforzi dei pompieri per domarlo.

  

  

Giovanni Salmeri sul sito Agenda Digitale ha riassunto il paradosso in questo modo: “Anni di lavoro per generare un messaggio di allarme incomprensibile”. In effetti non solo i tre termini “capriata”, “navata” e “sacrestia” appartengono al lessico specifico dell’architettura ecclesiastica (e raramente gli addetti alla sicurezza sono anche storici dell’arte) ma inoltre i due primi sono squisitamente vaghi: la capriata può indicare qualsiasi zona sotto il tetto dell’intera cattedrale, mentre di navate Notre-Dame ne ha addirittura cinque, una principale e quattro laterali. La sacrestia fortunatamente è una sola, ma essendo situata al di fuori dal corpo centrale viene da chiedersi in base a quale logica sia stata inclusa nelle medesima zona delle precedenti. E’ evidente che non era questa l’informazione che doveva servire all’addetto, bensì il codice alfanumerico del rilevatore. Ma è qui che sorge il secondo problema. La persona incaricata di tenere sotto controllo il pannello antincendio ed eventualmente di chiamare i vigili del fuoco, impiegata da un’azienda esterna di sicurezza, lavorava a Notre-Dame da… tre giorni.

  

La logica del subappalto interviene spesso in situazioni di incidente, per ragioni comprensibili. Come indica un rapporto della Commissione europea del 2015 (“Major accidents involving contractors”) in merito al caso specifico dell’industria petrolchimica, l’esternalizzazione aumenta i rischi perché limita l’accesso all’informazione. Nel caso di Notre-Dame, questa logica era portata alle sue estreme conseguenze: l’organizzazione della sicurezza sul sito era suddivisa fra tre attori differenti, che definire coordinati “male” pare un eufemismo. C’era innanzitutto l’operatore incaricato del monitoraggio del pannello antincendio, impiegato dall’azienda privata Elytis; poi un agente (volontario) al servizio della diocesi incaricato di fare le verifiche in loco per conto del primo; infine un impiegato del ministero della Cultura che, se allertato dai precedenti, deve verificare la validità dell’allarme. In seguito all’incendio, Elytis ha peraltro diramato un comunicato in cui precisava che fin dal 2016 gli operatori al pannello di sicurezza, che dovevano essere due, erano stati ridotti a uno per questioni di budget. E’ indubbio che la presenza di due persone, con esperienza più o meno lunga, avrebbe ridotto di molto il rischio di incidente ed era probabilmente così previsto nel protocollo originario: per la medesima ragione gli aerei di linea hanno sempre due piloti che vegliano l’uno sull’altro. Ma anche con un solo operatore è necessaria una considerevole combinazione di fattori perché accada un simile incidente. Aggiungiamone ancora, dunque: nel momento in cui si scatena l’incendio il turno di otto ore dell’agente di controllo è finito da poco ma nessuno viene a sostituirlo. Anche la questione della rotazione dei turni è ricorrente nei casi di incidente, basti pensare a quello che successe nella centrale atomica V.I. Lenin di Chernobyl la notte del 26 aprile 1986, poco dopo l’arrivo del personale notturno. Inoltre a Notre-Dame, come abbiamo visto, il suo capo è rimasto irreperibile per almeno una ventina di minuti. Il sospetto che l’indicazione “capriata navata sacrestia” non significasse nulla avrebbe potuto venire all’addetto se avesse avuto una minima competenza in storia dell’arte, ma è raro che le agenzie di sicurezza assumano i loro dipendenti tra gli storici dell’arte. Insomma la variabile umana su cui riposava l’intera procedura era un individuo inesperto, poco formato e probabilmente stanco.

  

Basta questo a concludere che si trattò allora di un errore non tecnico ma umano? E’ proprio su questo punto che è importante insistere: la questione degli esseri umani che si troveranno concretamente a interagire con la tecnologia è una questione tecnica. La questione della leggibilità delle interfacce è una questione tecnica. Impedire che un errore di comunicazione si trasformi in una catastrofe è una questione tecnica. Lo è tanto più che sappiamo come va il mondo, nell’Occidente capitalista proprio come a Chernobyl: il personale potrebbe non essere sempre competente come dovrebbe essere, perché la competenza costa, figuriamoci se si tratta di orientarsi in una cattedrale medievale.

  

Per leggere l’interfaccia l’addetto doveva conoscere il codice interpretativo o sapere su quale supporto (uno schermo? una mappa? un manuale?) andare a verificare la stringa ZDA-110-3-15-1. Per usare il vocabolario della teoria dell’informazione, possiamo dire che il messaggio dalla macchina all’uomo ovvero dalla fonte (l’impianto) al destinatario (l’addetto) è stato recapitato correttamente attraverso il canale (il display dell’impianto) ma non è stato decifrato. L’addetto non era stato adeguatamente formato alla padronanza del codice che gli avrebbe permesso di interagire senza errori con la macchina. In questi casi gli esperti di sicurezza prescrivono di aumentare il grado di ridondanza del messaggio, di modo che seppure il segnale viene alterato in certi suoi elementi, resta alta la possibilità che altri elementi arrivino a destinazione. E’ il principio per cui nelle comunicazioni radio, spesso disturbate, le parole vengono ripetute almeno due volte. Nel caso dell’impianto antincendio il codice ZDA-110-3-15-1 è assolutamente non ridondante: basta confondere un numero con un altro per trovarsi nel luogo sbagliato.

  

Dare per scontato che le cose nella realtà si svolgeranno senza intoppi come in una simulazione — come se gli uomini stessi si comportassero come macchine — è il più grande errore che può fare chi progetta un sistema di sicurezza. Secondo gli standard questi devono essere “a prova di errore umano”, attraverso la parcellizzazione delle mansioni per ridurre al massimo lo spazio di autonomia al di fuori dal rigido flusso di procedure e operazioni determinate a monte. Ad esempio negli Stati Uniti il pasticcio di Notre-Dame non avrebbe potuto accadere perché i siti strategici sono equipaggiati con impianti antincendio che contattano automaticamente i soccorsi. Resta il problema, anche per loro, di individuare in quale dei 160 punti potenziali della cattedrale si è scatenato l’incendio prima che le fiamme si vedano dallo spazio. D’altra parte la soluzione tecnica ha conseguenze a sua volta sulla capacità di intervenire (come talvolta necessario) al di fuori della procedura, per esempio fermando la macchina per impedirle di fare un errore. Gran parte degli studi sulla sicurezza e sulla sociologia dell’errore concordano nel ritenere che la piena automazione dei processi o delle procedure non sia praticabile. Nel secondo volume della sua trilogia sulle Decisioni assurde, il sociologo Christian Morel cita i dibattiti sorti nell’aeronautica civile attorno al rischio connesso a procedure troppo rigide: esse da un lato possono fornire un’eccessiva sicurezza in condizioni incerte, ad esempio quando un pilota deve atterrare su una pista bagnata senza nessuna possibilità di prevedere il tasso di frizione del suolo, oppure creare un sovraccarico che limita la capacità del personale di volo di adattarsi al contesto. Morel conclude che “L’idea astratta che la sicurezza implichi un rispetto rigoroso delle regole si scontra frontalmente con la necessità concreta di trasgredirle, il che produce un vero e proprio rompicapo che caratterizza tutte le riflessioni sulla sicurezza. Gli adepti del rispetto totale delle procedure sostengono che si debba regolamentare tutto e costringere al rigido rispetto delle regole. Da parte loro, i sociologi sul campo fanno notare che gli operatori non possono lavorare senza allontanarsi dalle regole. La contraddizione si risolve spesso occultando le trasgressioni sul campo.”

  

 

Per capire in che modo l’automazione può produrre più rischi di quanti ne debelli non è il caso di arrivare alle tecnologie impazzite della fantascienza come HAL 9000 in 2001: Odissea nello spazio o la rete Skynet in Terminator, basta pensare al problema che porrebbe per ogni sito turistico una tecnologia antincendio particolarmente sensibile che lanciasse un’allerta a ogni minimo segnale di fumo. L’azienda Elytis aveva già denunciato il problema connesso al sistema antincendio tanto perfezionato e sensibile della cattedrale, che si attivava senza ragione. Il problema è innanzitutto economico: non è immaginabile che per ogni rilevazione di potenziale incendio vengano chiamati automaticamente i vigili del fuoco, in quanto questi sono già sollecitati per un gran numero di emergenze (di cui, secondo le stime della loro federazione francese, a Parigi circa la metà sono falsi allarmi). Al problema della prevenzione dei falsi allarmi sono dedicati numerosi studi e manuali di decine di pagine, ulteriore area di competenza che produce nuovi costi. In uno di questi (“A guide to reducing the number of false alarms from fire-detection and fire-alarm systems”) si stima per l’intero Regno Unito un costo globale di un miliardo all’anno.

  

Ci sono molti piccoli disguidi oggettivi nella catena della catastrofe di Notre-Dame: se l’infiammabilità della capriata fosse stata correttamente stimata, la procedura di sicurezza sarebbe stata migliore; forse se l’interfaccia utente dell’impianto di allarme fosse stata progettata meglio, sarebbe stato più semplice prendere decisioni; se l’addetto alla sicurezza fosse stato più esperto, avrebbe capito da dove veniva l’allarme interpretando correttamente i termini forniti dall’interfaccia; se il suo capo fosse stato disponibile, e non probabilmente impegnato a gestire problemi di altri clienti, lo avrebbe aiutato… In ogni caso abbiamo a che fare con un “difetto di competenza” che però diventa catastrofico soltanto perché il sistema presuppone la competenza, cioè presuppone più competenza di quanta ne sia disponibile. In fondo tutti questi disguidi si possono riassumere sotto categorie più generali: neanche gli esperti sono in grado di prevedere tutto quello che potrebbe andare storto (come la velocità di combustione di travi di legno del Tredicesimo secolo) e comunque non siamo economicamente in grado di garantire un grado di competenza ideale — come un dottorato in storia dell’architettura per ogni addetto alla sicurezza di un sito costruito in epoca medievale — per servire all’insieme delle macchine e delle procedure che siamo in grado di concepire in teoria.

  

Torna in mente la battuta formulata negli anni Cinquanta dal futurologo Robert Jungk: “Considerato sotto il profilo puramente tecnico, l’essere umano è un fallimento”. L’alternativa è secca: o il sistema lascia meno autonomia all’umano, trasformandolo in puro operatore, o l’umano per essere più autonomo doveva anche essere più competente, quindi professionalizzato. In entrambi i casi queste opzioni presentano un costo supplementare: da una parte il costo di tutti gli interventi d’urgenza inutili (falsi positivi) che una macchina non-supervisionata provoca, dall’altra il costo di tutte le formazioni per il personale necessarie per renderla davvero autonomo. Nessuna di queste due opzioni — piena automazione contro piena professionalizzazione — è economicamente sostenibile su larga scala. Ed è per questo che la regola della gestione della sicurezza consiste in una soluzione intermedia: tecnologie di sicurezza fallibili che lasciano margini di manovra a esseri umani fallibili. Soluzione ottimale viste le condizioni reali — non possiamo spendere cifre astronomiche per proteggerci da ogni rischio — ma che produce occasionali catastrofi, sicuramente di più che se avessimo impianti antincendio totalmente automatizzati che chiamano i pompieri a ogni minima variazione di temperatura (creando però nuovi rischi altrove) o addetti alla sicurezza totalmente professionalizzati ovvero assunti a tempo pieno, ben pagati, con un solido background di studi alle spalle e una formazione minuziosa sul luogo di lavoro. Ma se vogliamo sognare, allora perché non immaginare anche un copilota per ogni addetto alla sicurezza, come negli aerei di linea, o 160 telecamere ad alta definizione e una plancia di controllo con 160 schermi? Di tutta evidenza non si tratta di trovare soluzioni teoricamente valide, bensì soluzioni praticabili.

  

L’incendio di Notre-Dame è un incidente e sarebbe ingiusto trarne conclusioni troppo generali. Ma resta paradossale che nella storia millenaria della cattedrale il più grave danno sia avvenuto precisamente nel momento in cui era installato il sistema di sicurezza considerato più avanzato della storia umana. Tre fattori generali hanno reso particolarmente “rischiosa” la situazione in cui si trovava Notre-Dame nel momento in cui ha preso fuoco: il primo è la presenza del sistema di sicurezza stesso, che tende a deresponsabilizzare l’essere umano tanto più quanto viene considerato infallibile; il secondo è la condizione di “stress” alla quale viene sottoposto un monumento visitato da dieci milioni di turisti all’anno, circa trentamila persone al giorno, con cinque funzioni al giorno, interamente illuminato, riscaldato, elettrificato fin su nelle campane, in mezzo alla capriata lignea, subappaltato a diverse aziende per le diverse funzioni: sicurezza, manutenzione, accoglienza. Questo evidentemente moltiplica i rischi — cortocircuito, surriscaldamento, vandalismo, negligenza, terrorismo, ecc. — seppure all’interno di una gestione del flusso sicuramente ottimale se confrontata all’alternativa (ovviamente assurda) di lasciar entrare dieci milioni di visitatori con una candela in mano. Ma c’è ancora un terzo fattore di rischio ed è la scarsità relativa di risorse a fronte delle spese crescenti per gestire il sito: come denunciato da molti esperti e storici dell’arte prima e dopo l’incidente, i 456 milioni di euro allocati annualmente al restauro e alla manutenzione del patrimonio storico francese non sono sufficienti a mettere in sicurezza tutti i monumenti presenti sul territorio, per un totale di 290.000 oggetti et 44.000 edifici secondo la ricostruzione del Figaro. Il ricorso ad agenzie di sicurezza esterne, in grado di comprimere i costi, è soltanto una delle forme in cui si manifesta la scarsità relativa di mezzi. E ogni volta che spostiamo delle risorse per aumentare la sicurezza di un sito, le sottraiamo alla sicurezza di tutti gli altri.

  

Questi tre fattori generali di rischio li ritroviamo ovunque e sono anzi caratteristici della nostra civiltà: circondati da macchine e da procedure, tendiamo a convincerci che tutto andrà liscio perché progettato in maniera ottimale, sottovalutando sia l’incertezza strutturale che le trasformazioni che potrebbero rendere obsolete le nostre previsioni; inoltre ci troviamo a dover gestire tecnicamente delle situazioni sempre più complesse, simili a enormi cattedrali gotiche: aeromobili con centinaia di passeggeri, reti stradali, centrali nucleari, economie nazionali sempre più interdipendenti, reti bancarie, ampi territori percorsi da tensioni e rischi sanitari, eccetera. Oggi siamo sempre meno sicuri di potere finanziare la manutenzione di questi sistemi all’altezza dei requisiti con cui sono stati progettati: materiali di qualità, tempi ottimali per svolgere le operazioni, personale competente e motivato. Una buona regola di precauzione — soprattutto per una società, ai tempi del Covid-19, che non può essere certa di potersi garantire in ogni momento e all’infinito delle condizioni di cui ha goduto in una fase particolare del suo sviluppo — sarebbe di progettare dei sistemi in grado di reggere a ogni possibile shock economico. Le porte automatiche sono pratiche, forse, ma basta un blackout per renderle inutili. E nel momento in cui avremo cablato con fili elettrici tutte le chiese medievali d’Europa, speriamo soltanto di poterci ancora permettere degli addetti alla sicurezza per sorvegliare che non prendano fuoco.