L’ordine che non sappiamo revocare

L’ordine che non sappiamo revocare

Nel Breve racconto dell’Anticristo, che chiude i Tre dialoghi (1900), Vladimir Solov’ëv immagina che il Giappone assimili con sorprendente rapidità le forme materiali della cultura europea e le rivolga contro l’Europa. La previsione storica, presa alla lettera, non si è realizzata: non è mai sorto l’impero panmongolico descritto nel racconto. Eppure Solov’ëv aveva riconosciuto qualcosa di più profondo degli avvenimenti che immaginava.

Aveva compreso che la tecnica non appartiene per sempre alla civiltà che l’ha prodotta. Può essere appresa, riprodotta e utilizzata per finalità opposte. L’Occidente credeva che l’esportazione della scienza, dell’industria e del mercato avrebbe diffuso anche i propri valori. Ma la potenza tecnica e la coscienza morale non viaggiano necessariamente insieme.
Nel racconto i giapponesi spiegano ai cinesi di avere preso le armi degli occidentali per colpirli con quelle stesse armi. È la formulazione più limpida del rovesciamento previsto da Solov’ëv: l’Europa universalizza i propri strumenti di dominio e, così facendo, rende universale anche la possibilità di essere dominata.
Ma il problema non riguarda soltanto il trasferimento della potenza da una parte del mondo all’altra. Dai Tre dialoghi si può ricavare un’intuizione più generale: l’intelletto è un servitore ambiguo, capace di servire due padroni. Può trovare i mezzi più efficaci per curare oppure uccidere, liberare oppure sorvegliare, soccorrere oppure sottomettere. La razionalità garantisce la coerenza fra il mezzo e il fine. Non garantisce la bontà del fine.
Il Novecento ha mostrato quanto fosse fondato questo timore. Basta l’esempio della bomba atomica. Alla sua costruzione lavorarono decine di migliaia di persone, molte delle quali ignoravano a che cosa servisse il proprio lavoro. Ciò che insieme resero possibile a Hiroshima superava quanto ciascuno di loro fosse in grado di rappresentarsi.
Günther Anders ha chiamato “dislivello prometeico” la distanza crescente fra ciò che siamo capaci di produrre e ciò che siamo capaci di immaginare e assumere moralmente. Possiamo fabbricare effetti smisurati, ma continuiamo a sentirci responsabili soltanto dei gesti limitati che compiamo personalmente.
Il tecnico progetta un componente. L’operatore inserisce un dato. L’algoritmo seleziona un bersaglio. Il dirigente autorizza la procedura. Il politico dichiara inevitabile il risultato. Ciascuno svolge correttamente una funzione circoscritta, mentre l’esito complessivo può essere mostruoso senza che nessuno si riconosca come suo autore.
Il male contemporaneo non deve necessariamente presentarsi come odio o crudeltà. Può assumere la forma rassicurante della competenza, dell’efficienza e della corretta esecuzione di una procedura.
L’intelligenza artificiale accentua questo processo. Non perché la macchina possieda necessariamente una volontà malvagia. Accade perché sistemi sempre più complessi possono apprendere regolarità, adattare le proprie risposte e produrre risultati che neppure i loro progettisti riescono a prevedere completamente. All’ambiguità dell’intelletto descritta da Solov’ëv si aggiunge così un’accelerazione che aggrava il dislivello di Anders. Non solo produciamo più di quanto sappiamo immaginare: lo produciamo più in fretta di quanto riusciamo a giudicare. Una tecnologia viene applicata prima che ne siano compresi gli effetti. Quando questi diventano visibili, essa ha già modificato comportamenti, istituzioni e rapporti di potere.
È qui che il racconto di Solov’ëv ritrova la sua attualità. Fermare una tecnologia significherebbe rinunciare a investimenti, vantaggi economici o superiorità militare. E nessuno vuole arrestarsi per primo, perché teme che gli altri continuino. La corsa all’intelligenza artificiale fra le grandi potenze obbedisce alla stessa logica che egli aveva intravisto: ciascuno si affretta perché sa che le armi che sviluppa potranno essere apprese e rivolte contro di lui. La paura di essere superati diventa la ragione per non fermarsi mai.
Nasce così una forma nuova dell’incubo dell’apprendista stregone di Goethe. L’uomo mette in movimento una forza conoscendone l’obiettivo immediato, ma non tutte le trasformazioni successive. Le affida un compito misurabile: aumentare il rendimento, individuare il sospetto, vincere la competizione, neutralizzare la minaccia. Ma non riesce a tradurre in istruzioni tutto ciò che dovrebbe limitarla: la dignità della persona, la pietà, l’eccezione, il dubbio, la possibilità di perdonare.
L’intelligenza artificiale non inventa necessariamente il male. Può però renderlo più rapido, impersonale e difficilmente arrestabile. Può moltiplicare un errore, un pregiudizio o un fine ingiusto, nascondendoli dietro l’apparente neutralità del calcolo.
Per questo non basta conservare formalmente “l’uomo nel circuito”. Occorre che qualcuno possa comprendere la decisione, contestarla, assumersene la responsabilità e soprattutto interromperla. Un controllo umano privo del tempo, delle informazioni o dell’autorità necessari per dire di no è soltanto una finzione rassicurante.
La questione decisiva non è se l’intelligenza artificiale diventerà cattiva. È se noi conserveremo la capacità politica e morale di arrestare un processo tecnicamente efficiente quando comprenderemo che sta servendo il male.
La revocabilità dovrebbe diventare per questo una categoria politica, non un dettaglio tecnico. Ogni delega a un sistema automatico dovrebbe nascere insieme al modo di ritirarla, e nessuna potenza dovrebbe poter invocare la corsa degli altri per sottrarsi a questo vincolo. Dobbiamo introdurre nel progresso ciò che la sua accelerazione tende a espellere: tempo per giudicare, responsabilità riconoscibili, verificabilità delle decisioni, possibilità effettiva di revoca. Non tutto ciò che può essere automatizzato deve esserlo. E alcune decisioni, specialmente quelle che riguardano la libertà e la vita, devono rimanere sottratte alla velocità della macchina.
L’apprendista stregone non è colpevole di aver creato una forza malvagia. È colpevole di averle impartito un ordine prima di sapere come revoca.