La facoltà di dire no - prima parte

LA FACOLTÀ DI DIRE NO

Tecnologia, potere e responsabilità

PARTE I

La frontiera che non possiamo delegare

Per molto tempo abbiamo posto all’intelligenza artificiale una domanda che oggi appare quasi secondaria: diventerà più intelligente dell’uomo? In alcuni ambiti lo è già, se per intelligenza intendiamo velocità di calcolo, capacità di trattare enormi quantità di informazioni, riconoscere correlazioni, confrontare alternative, produrre testi e immagini, elaborare previsioni. In altri lo diventerà probabilmente. Ma continuare a misurare uomo e macchina sulla stessa scala rischia di nascondere il problema essenziale. La domanda che oggi ci interessa è un’altra: che cosa siamo disposti a lasciar decidere a una macchina?

Non è una domanda sul futuro remoto.

I sistemi di intelligenza artificiale stanno acquistando capacità crescenti di agire, scegliere strategie, utilizzare strumenti, correggere il proprio comportamento sulla base dei risultati ottenuti. Parallelamente aumenta la convenienza economica, militare e politica ad affidare loro compiti sempre più estesi. La questione non è dunque soltanto quanto diventeranno potenti. È quale parte della nostra facoltà di decisione trasferiremo loro mentre diventano più potenti.

Occorre partire da una distinzione elementare. Un’intelligenza artificiale può essere enormemente capace senza essere, per questo, un soggetto morale. Può elaborare informazioni sulla sofferenza senza soffrire, riconoscere linguisticamente la paura senza avere paura, descrivere la morte senza essere mortale. Può ricostruire una situazione umana con una precisione impressionante senza trovarsi dentro quella situazione. Non è una diminuzione delle sue capacità. È una differenza di condizione. Da questa differenza deriva una conseguenza decisiva: capacità e responsabilità non sono la stessa cosa.

Una macchina può prevedere meglio di un essere umano le conseguenze probabili di una scelta e tuttavia non può assumere su di sé il peso di quelle conseguenze. Può stabilire quale mezzo sia più efficace per raggiungere un obiettivo, ma dall’efficienza del mezzo non discende la bontà del fine.

È qui che 2001: Odissea nello spazio conserva una sorprendente attualità.

HAL 9000 non diventa improvvisamente malvagio. Si trova stretto fra esigenze incompatibili e continua a cercare una soluzione all’interno della logica che gli è stata assegnata. Gli uomini finiscono per diventare parte del problema da risolvere. È una differenza fondamentale. L’essere umano, davanti a uno stallo, può compiere qualcosa che eccede la semplice coerenza della procedura. Può sospendere un ordine, disobbedire, accettare un fallimento, riconoscere che due esigenze legittime sono diventate inconciliabili. Può soprattutto rimettere in discussione il fine stesso che stava perseguendo.

La macchina cerca la soluzione dentro il problema che le abbiamo dato. L’uomo può decidere che è il problema stesso a essere sbagliato. Questo non significa che gli esseri umani decidano bene. La storia dimostra abbondantemente il contrario. Significa qualcosa di più limitato e insieme più importante: soltanto a un soggetto responsabile possiamo chiedere conto della decisione, proprio perché avrebbe potuto scegliere diversamente.

Qui incontriamo il problema delle armi autonome. Non occorre aspettare umanoidi armati che popolino le nostre città. La soglia critica può essere attraversata molto prima, quando un sistema acquisisce capacità crescenti di individuare, classificare e seguire un bersaglio e, contemporaneamente, si restringono il tempo e lo spazio nei quali un essere umano può intervenire.

Immaginiamo che una macchina analizzi immagini, movimenti, comunicazioni e comportamenti e stabilisca con una probabilità elevatissima che un determinato individuo costituisca una minaccia. Potrebbe farlo, un giorno, assai meglio di qualunque operatore umano.

Ma da quel calcolo non discende la risposta alla domanda: dobbiamo uccidere quest’uomo?

Tra le due proposizioni esiste un salto. La prima appartiene all’analisi. La seconda appartiene al giudizio morale. Per questo la formula rassicurante secondo cui «l’uomo rimane nel circuito» non basta. Bisogna domandarsi quale uomo, in quale momento e con quale reale possibilità di dire no. Un operatore che dispone di pochi secondi per approvare la raccomandazione di un sistema che ha già individuato il bersaglio, valutato la minaccia, scelto l’arma e calcolato il momento dell’attacco potrebbe conservare formalmente l’ultima decisione e averne già perduto sostanzialmente il controllo. Il rischio più vicino non è necessariamente la ribellione della macchina. È qualcosa di molto meno spettacolare e forse proprio per questo più insidioso: l’abitudine alla delega.

Ogni passaggio può apparire ragionevole. La macchina analizza più dati. È più veloce. Statisticamente commette meno errori. Tiene conto di variabili che nessun uomo riuscirebbe a considerare contemporaneamente. Perché non seguirne la raccomandazione? Proprio qui comincia il problema.

Quanto più una macchina diventa affidabile, tanto più diventa difficile contraddirla. L’essere umano può continuare a sedere davanti allo schermo, conservare il pulsante e figurare formalmente come responsabile, mentre progressivamente perde l’abitudine, la competenza e infine forse l’autorità per giudicare diversamente.

La delega tecnica può così trasformarsi, quasi senza che ce ne accorgiamo, in delega morale. È questo il confine che occorre stabilire prima che sia la tecnologia stessa a stabilirlo per noi. Non significa rifiutare l’intelligenza artificiale. Al contrario. Possiamo affidarle calcolo, simulazione, previsione, ricerca delle alternative. Possiamo utilizzarla per vedere ciò che non vedremmo, conoscere ciò che non riusciremmo a conoscere, comprendere meglio le conseguenze delle nostre decisioni. Ma proprio perché può diventare uno strumento straordinariamente potente, dobbiamo distinguere con maggiore precisione tra aiutare a decidere e decidere.

Possiamo chiederle: quali sono le alternative? Quali conseguenze possiamo prevedere? Che cosa ci sfugge? Quanto è probabile che questa valutazione sia sbagliata? Non possiamo consegnarle la domanda ultima: che cosa è bene fare?

Quanto più sono in gioco la vita, la morte, la libertà e la dignità di una persona, tanto più deve rimanere identificabile qualcuno che possa fermarsi, contraddire il calcolo e assumersi personalmente e pubblicamente la responsabilità della decisione.

Non sappiamo quanto diventeranno potenti queste macchine, né se le previsioni più inquietanti si realizzeranno. Non serve saperlo per cominciare a stabilire che cosa non è delegabile. All’intelligenza artificiale possiamo delegare capacità. Non possiamo delegarle il bene e il male.

La frontiera decisiva, allora, non separa l’intelligenza umana da quella artificiale, ma ciò che possiamo delegare da ciò che, restando umani, dobbiamo continuare a decidere noi.

Pasquale Palumbo