Napoleone avrebbe potuto imparare dal passato. dipinto di Adolph Northen/wikipedia

È un cliché che non conoscere la storia la faccia ripetere. Come molte persone hanno anche sottolineato, l'unica cosa che impariamo dalla storia è che raramente impariamo qualcosa dalla storia. Le persone si impegnano guerre di terra in Asia ancora ed ancora. Ripetono anche gli stessi errori di datazione, ancora e ancora. Ma perché succede questo? E la tecnologia porrà fine a tutto ciò?

Un problema è l'oblio e "miopia”: non vediamo come gli eventi passati siano rilevanti per quelli attuali, trascurando lo schema in corso. Napoleone avrebbe dovuto notare le somiglianze tra la sua marcia su Mosca e il re svedese Il tentativo fallito di Carlo XII di fare altrettanto circa un secolo prima di lui.

Siamo anche pessimo nell'apprendere quando le cose vanno male. Invece di determinare perché una decisione è stata sbagliata e come evitare che accada di nuovo, spesso cerchiamo di ignorare l'imbarazzante svolta degli eventi. Ciò significa che la prossima volta che si presenta una situazione simile, non vediamo la somiglianza e ripetiamo l'errore.

Entrambi rivelano problemi con le informazioni. Nel primo caso, non riusciamo a ricordare informazioni personali o storiche. Nel secondo, non riusciamo a codificare le informazioni quando sono disponibili.

Detto questo, commettiamo errori anche quando non possiamo dedurre in modo efficiente cosa accadrà. Forse la situazione è troppo complessa o richiede troppo tempo per pensarci. Oppure siamo prevenuti nell'interpretare male ciò che sta accadendo.

Il fastidioso potere della tecnologia

Ma sicuramente la tecnologia può aiutarci? Ora possiamo immagazzinare informazioni al di fuori del nostro cervello e utilizzare i computer per recuperarle. Questo dovrebbe rendere facile l'apprendimento e il ricordo, giusto?

La memorizzazione delle informazioni è utile quando possono essere recuperate bene. Ma ricordare non è la stessa cosa che recuperare un file da una posizione o una data nota. Ricordare implica individuare somiglianze e portare cose alla mente.

Un'intelligenza artificiale (AI) deve anche essere in grado di portare spontaneamente somiglianze nella nostra mente, somiglianze spesso sgradite. Ma se è bravo a notare possibili somiglianze (dopotutto potrebbe cercare in tutta internet e in tutti i nostri dati personali) spesso ne noterà anche di false.

Per gli appuntamenti falliti, si può notare che tutti hanno coinvolto la cena. Ma non è mai stata la cena il problema. Ed è stata una pura coincidenza che ci fossero dei tulipani sul tavolo, nessun motivo per evitarli. Ripetiamo spesso gli errori di datazione. 

Ciò significa che ci avviserà di cose che non ci interessano, forse in modo fastidioso. Abbassare la sua sensibilità significa aumentare il rischio di non ricevere un avviso quando è necessario.

Questo è un problema fondamentale e vale per qualsiasi consigliere: il consigliere cauto griderà troppo spesso al lupo, il consigliere ottimista perderà i rischi.

Un buon consigliere è qualcuno di cui ci fidiamo. Hanno all'incirca lo stesso livello di cautela che abbiamo noi e sappiamo che sanno cosa vogliamo. Questo è difficile da trovare in un consigliere umano, e ancora di più in un'intelligenza artificiale.

Dove la tecnologia ferma gli errori? Funziona a prova di idiota. Le macchine da taglio richiedono di tenere premuti i pulsanti, tenendo le mani lontane dalle lame. Un "interruttore uomo morto" arresta una macchina se l'operatore diventa incapace.

I forni a microonde spengono la radiazione quando la porta è aperta. Per lanciare missili, due persone devono girare le chiavi contemporaneamente attraverso una stanza. Qui, un'attenta progettazione rende gli errori difficili da commettere. Ma non ci interessano abbastanza le situazioni meno importanti, rendendo il design molto meno a prova di idiota.

Quando la tecnologia funziona bene, spesso ci fidiamo troppo. Oggi i piloti di linea hanno meno ore di volo effettive rispetto al passato grazie alla straordinaria efficienza dei sistemi di pilota automatico. Questa è una cattiva notizia quando l'autopilota fallisce e il pilota ha meno esperienza per correggere la situazione.

Il primo di a una nuova generazione di piattaforma petrolifera (Sleipnir A) affondò perché gli ingegneri si fidavano del calcolo software delle forze che agiscono su di esso. Il modello era sbagliato, ma presentava i risultati in modo così convincente da sembrare affidabili.

Gran parte della nostra tecnologia è incredibilmente affidabile. Ad esempio, non notiamo come i pacchetti di dati persi su Internet vengano costantemente trovati dietro le quinte, come i codici di correzione degli errori rimuovano il rumore o come i fusibili e la ridondanza rendano sicuri gli apparecchi.

Ma quando accumuliamo livello dopo livello di complessità, sembra molto inaffidabile. Notiamo quando il video Zoom è in ritardo, il programma AI risponde in modo errato o il computer si blocca. Tuttavia, chiedi a chiunque abbia utilizzato un computer o un'auto 50 anni fa come funzionavano effettivamente e noterai che erano entrambi meno capaci e meno affidabili.

Rendiamo la tecnologia più complessa finché non diventa troppo fastidiosa o pericolosa da usare. Man mano che le parti diventano migliori e più affidabili, spesso scegliamo di aggiungere nuove funzionalità interessanti e utili piuttosto che attenerci a ciò che funziona. Ciò alla fine rende la tecnologia meno affidabile di quanto potrebbe essere.

Verranno commessi errori

Questo è anche il motivo per cui l'IA è un'arma a doppio taglio per evitare errori. L'automazione spesso rende le cose più sicure ed efficienti quando funziona, ma quando fallisce rende il problema molto più grande. Autonomia significa che il software intelligente può integrare il nostro pensiero e scaricarci, ma quando non pensa come vorremmo, può comportarsi male.

Più è complesso, più fantastici possono essere gli errori. Chiunque abbia avuto a che fare con studiosi molto intelligenti sa quanto bene possono rovinare le cose con grande ingegno quando il loro buon senso fallisce - e l'intelligenza artificiale ha pochissimo buon senso umano.

Questo è anche un motivo profondo per preoccuparsi che l'IA guidi il processo decisionale: fanno nuovi tipi di errori. Noi umani conosciamo gli errori umani, il che significa che possiamo stare attenti a loro. Ma le macchine intelligenti possono commettere errori che non potremmo mai immaginare.

Inoltre, i sistemi di intelligenza artificiale sono programmati e addestrati dagli esseri umani. E ci sono molti esempi di tali sistemi diventando prevenuto e persino bigotto. Imitano i pregiudizi e ripetono gli errori del mondo umano, anche quando le persone coinvolte cercano esplicitamente di evitarli.

Alla fine, gli errori continueranno a verificarsi. Ci sono ragioni fondamentali per cui ci sbagliamo sul mondo, perché non ricordiamo tutto ciò che dovremmo e perché la nostra tecnologia non può aiutarci perfettamente a evitare problemi.

Ma possiamo lavorare per ridurre le conseguenze degli errori. Il pulsante Annulla e il salvataggio automatico hanno salvato innumerevoli documenti sui nostri computer. Il Monumento a Londra, pietre dello tsunami in Giappone e altri monumenti agiscono per ricordarci alcuni rischi. Le buone pratiche di progettazione rendono le nostre vite più sicure.

In definitiva, è possibile imparare qualcosa dalla storia. Il nostro obiettivo dovrebbe essere quello di sopravvivere e imparare dai nostri errori, non impedire che si verifichino. La tecnologia può aiutarci in questo, ma dobbiamo riflettere attentamente su ciò che realmente vogliamo da essa e progettare di conseguenza.

Circa l'autore

Anders Sandberg, James Martin Research Fellow, Future of Humanity Institute e Oxford Martin School, Università di Oxford

Questo articolo è ripubblicato da The Conversation sotto una licenza Creative Commons. Leggi il articolo originale.