Nel 1956, durante un viaggio di un anno a Londra e poco più che ventenne, il matematico e biologo teorico Jack D. Cowan visitò Wilfred Taylor e il suo strano nuovo “macchina per l'apprendimento”. Al suo arrivo rimase sconcertato dall’”enorme banco di apparati” che si trovò di fronte. Cowan poteva solo restare a guardare “la macchina che faceva il suo dovere”. Sembrava che stesse eseguendo uno “schema di memoria associativa”: sembrava essere in grado di imparare a trovare connessioni e recuperare dati.
Potrebbero sembrare goffi blocchi di circuiti, saldati insieme a mano in una massa di fili e scatole, ma ciò a cui Cowan stava assistendo era una prima forma analogica di rete neurale, un precursore dell’intelligenza artificiale più avanzata di oggi, compreso il sistema nervoso centrale. molto discusso ChatGPT con la sua capacità di generare contenuto scritto in risposta a quasi tutti i comandi. La tecnologia alla base di ChatGPT è una rete neurale.
Mentre Cowan e Taylor osservavano la macchina lavorare, non avevano idea esattamente di come riuscisse a svolgere questo compito. La risposta al mistero del cervello macchina di Taylor può essere trovata da qualche parte nei suoi “neuroni analogici”, nelle associazioni fatte dalla sua memoria macchina e, soprattutto, nel fatto che il suo funzionamento automatizzato non può essere completamente spiegato. Ci vorranno decenni prima che questi sistemi trovino il loro scopo e affinché quel potere venga sbloccato.
Il termine rete neurale comprende una vasta gamma di sistemi, ma a livello centrale, secondo IBM, queste “reti neurali – note anche come reti neurali artificiali (ANN) o reti neurali simulate (SNN) – sono un sottoinsieme dell’apprendimento automatico e sono al centro degli algoritmi di deep learning”. Fondamentalmente, il termine stesso, la loro forma e “struttura sono ispirati al cervello umano, imitando il modo in cui i neuroni biologici si segnalano tra loro”.
Potrebbero esserci stati alcuni dubbi residui sul loro valore nelle fasi iniziali, ma con il passare degli anni la moda dell’intelligenza artificiale si è spostata saldamente verso le reti neurali. Ora sono spesso considerati il futuro dell’intelligenza artificiale. Hanno grandi implicazioni per noi e per ciò che significa essere umani. Abbiamo sentito echi di queste preoccupazioni di recente con gli appelli a sospendere i nuovi sviluppi dell’intelligenza artificiale per un periodo di sei mesi per garantire la fiducia nelle loro implicazioni.
Sarebbe certamente un errore liquidare la rete neurale considerandola costituita esclusivamente da nuovi gadget patinati e accattivanti. Sono già ben radicati nelle nostre vite. Alcuni sono potenti nella loro praticità. Già nel 1989, un team guidato da Yann LeCun presso gli AT&T Bell Laboratories utilizzava tecniche di retropropagazione per addestrare un sistema a riconoscere i codici postali scritti a mano. La recente annuncio da parte di Microsoft che le ricerche di Bing saranno alimentate dall’intelligenza artificiale, rendendolo il tuo “copilota per il web”, illustra come le cose che scopriamo e il modo in cui le comprendiamo saranno sempre più un prodotto di questo tipo di automazione.
Attingendo a vasti dati per trovare modelli, l’intelligenza artificiale può essere addestrata in modo simile a fare cose come il riconoscimento rapido delle immagini, con il risultato di incorporarle in riconoscimento facciale, ad esempio. Questa capacità di identificare modelli ha portato a molte altre applicazioni, come ad esempio prevedere i mercati azionari.
Le reti neurali stanno cambiando anche il modo in cui interpretiamo e comunichiamo. Sviluppato dal titolo interessante La squadra del cervello di Google, Google Traduttore è un'altra importante applicazione di una rete neurale.
Non vorrai nemmeno giocare a scacchi o a shogi con uno di essi. La loro comprensione delle regole, il ricordo delle strategie e di tutte le mosse registrate significa che sono eccezionalmente bravi nei giochi (anche se ChatGPT sembra lotta con Wordle). I sistemi che stanno preoccupando i giocatori umani di Go (il Go è un gioco da tavolo strategico notoriamente complicato) e i grandi maestri di scacchi, sono costituiti da reti neurali.
Ma la loro portata va ben oltre questi casi e continua ad espandersi. Una ricerca di brevetti limitata solo alla menzione della frase esatta “reti neurali” produce 135,828 risultati. Con questa espansione rapida e continua, le possibilità che riusciamo a spiegare pienamente l’influenza dell’intelligenza artificiale potrebbero diventare sempre più scarse. Queste sono le domande che ho esaminato nella mia ricerca e il mio nuovo libro sul pensiero algoritmico.
Strati misteriosi di “inconoscibilità”
Guardare indietro alla storia delle reti neurali ci dice qualcosa di importante sulle decisioni automatizzate che definiscono il nostro presente o su quelle che avranno un impatto forse più profondo in futuro. La loro presenza ci dice anche che probabilmente comprenderemo ancora meno le decisioni e gli impatti dell’intelligenza artificiale nel corso del tempo. Questi sistemi non sono semplicemente scatole nere, non sono solo parti nascoste di un sistema che non possono essere viste o comprese.
È qualcosa di diverso, qualcosa di radicato negli obiettivi e nella progettazione di questi sistemi stessi. C’è una lunga ricerca dell’inspiegabile. Quanto più opaco, tanto più autentico e avanzato si ritiene che il sistema sia. Non si tratta solo di sistemi che diventano più complessi o di controllo della proprietà intellettuale che limita l’accesso (anche se questi ne fanno parte). Si tratta invece di dire che l’etica che li guida ha un interesse particolare e radicato per l’“inconoscibilità”. Il mistero è persino codificato nella forma stessa e nel discorso della rete neurale. Sono dotati di strati profondamente accumulati – da qui la frase apprendimento profondo – e all’interno di quelle profondità ci sono gli “strati nascosti” dal suono ancora più misterioso. I misteri di questi sistemi sono ben nascosti sotto la superficie.
Ci sono buone probabilità che maggiore sarà l’impatto che l’intelligenza artificiale avrà nelle nostre vite, meno capiremo come e perché. Oggi c’è una forte spinta per l’intelligenza artificiale che è spiegabile. Vogliamo sapere come funziona e come arriva a decisioni e risultati. L’UE è così preoccupata dai “rischi potenzialmente inaccettabili” e persino dalle applicazioni “pericolose” che sta attualmente avanzando una nuova legge sull’IA intendeva stabilire uno “standard globale” per “lo sviluppo di un’intelligenza artificiale sicura, affidabile ed etica”.
Queste nuove leggi si baseranno sulla necessità di spiegabilità, pretendendolo “Per i sistemi di IA ad alto rischio, i requisiti di dati di alta qualità, documentazione e tracciabilità, trasparenza, supervisione umana, accuratezza e robustezza sono strettamente necessari per mitigare i rischi per i diritti fondamentali e la sicurezza posti dall’IA”. Non si tratta solo di cose come le auto a guida autonoma (anche se i sistemi che garantiscono la sicurezza rientrano nella categoria UE dell’intelligenza artificiale ad alto rischio), ma c’è anche la preoccupazione che in futuro emergano sistemi che avranno implicazioni per i diritti umani.
Ciò rientra in una più ampia richiesta di trasparenza nell’IA in modo che le sue attività possano essere controllate, verificate e valutate. Un altro esempio potrebbe essere quello della Royal Society briefing politico sull’intelligenza artificiale spiegabile in cui sottolineano che “i dibattiti politici in tutto il mondo vedono sempre più richieste di una qualche forma di spiegabilità dell’intelligenza artificiale, come parte degli sforzi per incorporare principi etici nella progettazione e nell’implementazione di sistemi abilitati all’intelligenza artificiale”.
Ma la storia delle reti neurali ci dice che in futuro probabilmente ci allontaneremo ulteriormente da quell’obiettivo, piuttosto che avvicinarci ad esso.
Ispirato dal cervello umano
Queste reti neurali possono essere sistemi complessi ma hanno alcuni principi fondamentali. Ispirati dal cervello umano, cercano di copiare o simulare forme di pensiero biologico e umano. In termini di struttura e design sono, come Lo spiega anche IBM, composto da "strati nodo, contenenti uno strato di input, uno o più strati nascosti e uno strato di output". All’interno di questo, “ogni nodo, o neurone artificiale, si connette a un altro”. Poiché richiedono input e informazioni per creare output, “si affidano ai dati di addestramento per apprendere e migliorare la loro precisione nel tempo”. Questi dettagli tecnici sono importanti, ma lo è anche il desiderio di modellare questi sistemi sulla complessità del cervello umano.
Comprendere l’ambizione che sta dietro a questi sistemi è fondamentale per comprendere il significato pratico di questi dettagli tecnici. In un 1993 intervista, lo scienziato delle reti neurali Teuvo Kohonen ha concluso che un sistema “auto-organizzato” “è il mio sogno”, che funzioni “qualcosa di simile a ciò che il nostro sistema nervoso fa istintivamente”. Ad esempio, Kohonen immaginava come un sistema “auto-organizzato”, un sistema che monitorava e gestiva se stesso, “potrebbe essere utilizzato come pannello di monitoraggio per qualsiasi macchina… in ogni aereo, aereo a reazione, o ogni centrale nucleare, o ogni auto". Questo, pensava, significherebbe che in futuro “si potrà vedere subito in che condizioni è il sistema”.
L’obiettivo generale era quello di avere un sistema in grado di adattarsi all’ambiente circostante. Sarebbe istantaneo e autonomo, operando secondo lo stile del sistema nervoso. Questo era il sogno, avere sistemi in grado di gestirsi da soli senza la necessità di un grande intervento umano. Le complessità e le incognite del cervello, del sistema nervoso e del mondo reale avrebbero presto influenzato lo sviluppo e la progettazione delle reti neurali.
"C'è qualcosa di sospetto"
Ma tornando al 1956 e a quella strana macchina per l'apprendimento, è stato l'approccio pratico adottato da Taylor durante la sua costruzione a catturare immediatamente l'attenzione di Cowan. Aveva chiaramente sudato per l'assemblaggio dei pezzi. Taylor, osservò Cowan durante un'intervista sulla sua parte nella storia di questi sistemi, "non lo ha fatto in teoria, e non lo ha fatto su un computer". Invece, con gli strumenti in mano, “ha effettivamente costruito l’hardware”. Era una cosa materiale, una combinazione di parti, forse addirittura un aggeggio. Ed è stato "tutto fatto con circuiti analogici" impiegando Taylor, nota Cowan, "diversi anni per costruirlo e per giocarci". Un caso di tentativi ed errori.
Comprensibilmente Cowan voleva fare i conti con ciò che stava vedendo. Ha cercato di convincere Taylor a spiegargli questa macchina per l'apprendimento. I chiarimenti non sono arrivati. Cowan non riuscì a convincere Taylor a descrivergli come funzionava la cosa. I neuroni analogici sono rimasti un mistero. Il problema più sorprendente, pensò Cowan, era che Taylor “non capiva veramente cosa stesse succedendo”. Non si è trattato solo di una momentanea interruzione della comunicazione tra i due scienziati con specializzazioni diverse, è stato molto di più.
In un intervista della metà degli anni '1990, ripensando alla macchina di Taylor, Cowan ha rivelato che “fino ad oggi negli articoli pubblicati non si riesce a capire bene come funzioni”. Questa conclusione suggerisce come l’ignoto sia profondamente radicato nelle reti neurali. L'inspiegabilità di questi sistemi neurali è presente fin dalle fasi fondamentali e di sviluppo risalenti a quasi sette decenni fa.
Questo mistero rimane ancora oggi e si trova nelle forme avanzate di intelligenza artificiale. L'insondabilità del funzionamento delle associazioni create dalla macchina di Taylor portò Cowan a chiedersi se ci fosse “qualcosa di sospetto in tutto ciò”.
Radici lunghe e aggrovigliate
Cowan fece riferimento alla sua breve visita con Taylor quando gli fu chiesto dell'accoglienza riservata al suo lavoro alcuni anni dopo. Negli anni ’1960 le persone erano, rifletté Cowan, “un po’ lente nel capire il senso di una rete neurale analogica”. Ciò nonostante, ricorda Cowan, il lavoro di Taylor degli anni '1950 sulla “memoria associativa” fosse basato su “neuroni analogici”. L’esperto di sistemi neurali vincitore del Premio Nobel, Leon N. Cooper, ha concluso che gli sviluppi intorno all’applicazione del modello cerebrale negli anni ’1960 erano considerati “tra i misteri più profondi”. A causa di questa incertezza rimaneva uno scetticismo su ciò che una rete neurale avrebbe potuto ottenere. Ma le cose cominciarono lentamente a cambiare.
Circa 30 anni fa il neuroscienziato Walter J. Freeman, rimase sorpreso dal “notevole" gamma di applicazioni che sono state trovate per le reti neurali, già commentava il fatto che non le vedeva come "un tipo di macchina fondamentalmente nuovo". Si trattava di un processo lento, con la tecnologia che veniva prima e poi venivano trovate le successive applicazioni per essa. Ci è voluto del tempo. In effetti, per trovare le radici della tecnologia delle reti neurali potremmo andare ancora più indietro della visita di Cowan alla misteriosa macchina di Taylor.
Lo scienziato delle reti neurali James Anderson e il giornalista scientifico Edward Rosenfeld hanno notato che le origini delle reti neurali risalgono agli anni '1940 e ad alcuni primi tentativi di, come descrivono, "comprendere il sistema nervoso umano e costruire sistemi artificiali che si comportino come noi, almeno un po'". E così, negli anni Quaranta, i misteri del sistema nervoso umano divennero anche i misteri del pensiero computazionale e dell’intelligenza artificiale.
Riassumendo questa lunga storia, lo scrittore informatico Larry Hardesty ha sottolineato che il deep learning sotto forma di reti neurali “va avanti e indietro di moda da più di 70 anni”. Più specificamente, aggiunge, queste “reti neurali furono proposte per la prima volta nel 1944 da Warren McCulloch e Walter Pitts, due ricercatori dell'Università di Chicago che si trasferirono al MIT nel 1952 come membri fondatori di quello che a volte viene chiamato il primo dipartimento di scienze cognitive”.
Altrove, 1943 a volte è la data indicata come primo anno per la tecnologia. In ogni caso, per circa 70 anni i resoconti suggeriscono che le reti neurali sono passate di moda, spesso trascurate ma poi a volte prendendo piede e entrando in applicazioni e dibattiti più tradizionali. L'incertezza persisteva. Quei primi sviluppatori spesso descrivono l'importanza della loro ricerca come se fosse stata trascurata, finché non ha trovato il suo scopo spesso anni e talvolta decenni dopo.
Passando dagli anni ’1960 fino alla fine degli anni ’1970 possiamo trovare ulteriori storie sulle proprietà sconosciute di questi sistemi. Anche allora, dopo tre decenni, la rete neurale doveva ancora trovare uno scopo. David Rumelhart, che aveva una formazione in psicologia ed era coautore di una serie di libri pubblicati nel 1986 che avrebbero poi riportato l'attenzione verso le reti neurali, si ritrovò a collaborare allo sviluppo delle reti neurali con il suo collega Jay McClelland.
Oltre ad essere colleghi, si erano anche incontrati di recente ad una conferenza in Minnesota, dove il discorso di Rumelhart sulla “comprensione della storia” aveva provocato qualche discussione tra i delegati.
Dopo quella conferenza McClelland tornò con una riflessione su come sviluppare una rete neurale che potesse combinare modelli per essere più interattivi. Ciò che conta qui è Il ricordo di Rumelhart delle “ore e ore e ore di armeggiare sul computer”.
Ci siamo seduti e abbiamo fatto tutto questo al computer e abbiamo costruito questi modelli computerizzati, e semplicemente non li capivamo. Non capivamo perché funzionassero o perché non funzionassero o cosa ci fosse di critico in loro.
Come Taylor, Rumelhart si ritrovò ad armeggiare con il sistema. Anche loro hanno creato una rete neurale funzionante e, cosa fondamentale, non erano nemmeno sicuri di come o perché funzionasse in quel modo, apparentemente imparando dai dati e trovando associazioni.
Imitando il cervello, strato dopo strato
Potresti aver già notato che quando si parla delle origini delle reti neurali l'immagine del cervello e la complessità che questo evoca non sono mai lontane. Il cervello umano ha agito come una sorta di modello per questi sistemi. Nelle fasi iniziali, in particolare, il cervello – ancora una delle grandi incognite – è diventato un modello di come potrebbe funzionare la rete neurale.
Quindi questi nuovi sistemi sperimentali erano modellati su qualcosa il cui funzionamento era in gran parte sconosciuto. L'ingegnere neuroinformatico Carver Mead ha parlato in modo rivelatore della concezione di un “iceberg cognitivo” che aveva trovato particolarmente attraente. È solo la punta dell'iceberg della coscienza di cui siamo consapevoli e che è visibile. La scala e la forma del resto rimangono sconosciute sotto la superficie.
Nel 1998, James Anderson, che lavorava da tempo sulle reti neurali, ha osservato che quando si tratta di ricerca sul cervello “la nostra scoperta più importante sembra essere la consapevolezza che in realtà non sappiamo cosa sta succedendo”.
In un resoconto dettagliato nel Financial Times nel 2018, il giornalista tecnologico Richard Waters ha osservato come le reti neurali “sono modellate su una teoria su come opera il cervello umano, trasmettendo dati attraverso strati di neuroni artificiali finché non emerge un modello identificabile”. Ciò crea un problema a catena, ha proposto Waters, poiché “a differenza dei circuiti logici utilizzati in un programma software tradizionale, non c’è modo di tracciare questo processo per identificare esattamente il motivo per cui un computer fornisce una risposta particolare”. La conclusione di Waters è che questi risultati non possono essere ignorati. L’applicazione di questo tipo di modello del cervello, che analizza i dati attraverso molti livelli, significa che la risposta non può essere facilmente rintracciata. La stratificazione multipla è una buona parte della ragione di ciò.
Durezza hanno anche osservato che questi sistemi sono “modellati vagamente sul cervello umano”. Ciò porta con sé il desiderio di integrare una complessità di elaborazione sempre maggiore per cercare di adattarsi al cervello. Il risultato di questo obiettivo è una rete neurale “costituita da migliaia o addirittura milioni di semplici nodi di elaborazione densamente interconnessi”. I dati si muovono attraverso questi nodi in una sola direzione. Hardesty ha osservato che “un singolo nodo potrebbe essere connesso a diversi nodi nello strato sottostante, da cui riceve dati, e a diversi nodi nello strato superiore, a cui invia dati”.
I modelli del cervello umano facevano parte del modo in cui queste reti neurali furono concepite e progettate fin dall'inizio. Ciò è particolarmente interessante se consideriamo che il cervello stesso era un mistero dell’epoca (e per molti versi lo è ancora).
"L'adattamento è tutto il gioco"
Scienziati come Mead e Kohonen volevano creare un sistema che potesse realmente adattarsi al mondo in cui si trovava. Risponderebbe alle sue condizioni. Per Mead era chiaro che il valore delle reti neurali risiedeva nel fatto che potevano facilitare questo tipo di adattamento. All’epoca, e riflettendo su questa ambizione, - aggiunse Mead che produrre adattamento “è l’intero gioco”. Questo adattamento è necessario, pensava, “a causa della natura del mondo reale”, che secondo lui è “troppo variabile per avere qualcosa di assoluto”.
Bisognava fare i conti con questo problema soprattutto perché, secondo lui, si tratta di qualcosa che “il sistema nervoso ha capito molto tempo fa”. Questi innovatori non solo lavoravano con un’immagine del cervello e delle sue incognite, ma la combinavano con una visione del “mondo reale” e delle incertezze, incognite e variabilità che ciò comporta. I sistemi, pensava Mead, dovevano essere in grado di rispondere e adattarsi alle circostanze senza istruzioni.
Più o meno nello stesso periodo, negli anni ’1990, Stephen Grossberg – un esperto di sistemi cognitivi che operava in matematica, psicologia e ingegneria biomedica – lo ha anche sostenuto l’adattamento sarebbe stato il passo importante a lungo termine. Grossberg, mentre lavorava sulla modellazione delle reti neurali, pensava tra sé che tutto dipende “da come i sistemi biologici di misurazione e controllo sono progettati per adattarsi rapidamente e stabilmente in tempo reale a un mondo in rapida fluttuazione”. Come abbiamo visto in precedenza con il “sogno” di Kohonen di un sistema “auto-organizzato”, una nozione di “mondo reale” diventa il contesto in cui la risposta e l'adattamento vengono codificati in questi sistemi. Il modo in cui il mondo reale viene compreso e immaginato determina senza dubbio il modo in cui questi sistemi sono progettati per adattarsi.
Strati nascosti
Man mano che gli strati si moltiplicavano, il deep learning ha raggiunto nuove profondità. La rete neurale viene addestrata utilizzando dati di addestramento che, Ha spiegato Hardesty, “viene alimentato allo strato inferiore – lo strato di input – e attraversa gli strati successivi, moltiplicandosi e sommandosi in modi complessi, fino ad arrivare infine, radicalmente trasformato, allo strato di output”. Maggiore è il numero degli strati, maggiore è la trasformazione e maggiore è la distanza dall'input all'output. Lo sviluppo delle unità di elaborazione grafica (GPU), ad esempio nei videogiochi, ha aggiunto Hardesty, "ha permesso alle reti a uno strato degli anni '1960 e alle reti a due o tre strati degli anni '1980 di sbocciare fino a diventare dieci, quindici o addirittura cinquanta". reti a strati di oggi”.
Le reti neurali stanno diventando più profonde. In effetti, è proprio questa aggiunta di livelli, secondo Hardesty, che è “ciò a cui si riferisce il 'deep' nel 'deep learning'”. Questo è importante, propone, perché “attualmente, il deep learning è responsabile dei sistemi più performanti in quasi ogni area della ricerca sull’intelligenza artificiale”.
Ma il mistero diventa ancora più profondo. Man mano che gli strati delle reti neurali si sono accumulati, la loro complessità è aumentata. Ha anche portato alla crescita di quelli che vengono definiti “strati nascosti” all’interno di queste profondità. La discussione sul numero ottimale di strati nascosti in una rete neurale è in corso. Il teorico dei media Ha scritto Beatrice Fazi che “a causa del modo in cui opera una rete neurale profonda, che si basa su strati neurali nascosti inseriti tra il primo strato di neuroni (lo strato di input) e l’ultimo strato (lo strato di output), le tecniche di apprendimento profondo sono spesso opache o illeggibili anche per programmatori che li hanno originariamente impostati”.
Man mano che gli strati aumentano (compresi quelli nascosti) diventano ancora meno spiegabili – anche, come si scopre, ancora una volta, a coloro che li creano. Katherine Hayles, eminente e interdisciplinare pensatrice dei nuovi media, ha espresso un punto simile anche notato che ci sono limiti a “quanto possiamo sapere sul sistema, un risultato rilevante per lo 'strato nascosto' nella rete neurale e negli algoritmi di deep learning”.
Alla ricerca dell'inspiegabile
Nel loro insieme, questi lunghi sviluppi fanno parte di ciò che il sociologo della tecnologia Taina Bucher ha definito la “problematica dell’ignoto”. Harry Collins ha ampliato la sua influente ricerca sulla conoscenza scientifica nel campo dell'intelligenza artificiale lo ha sottolineato l’obiettivo delle reti neurali è che possano essere prodotte da un essere umano, almeno inizialmente, ma “una volta scritto il programma vive di vita propria, per così dire; senza grandi sforzi, il modo esatto in cui funziona il programma può rimanere misterioso”. Ciò riecheggia quei sogni a lungo coltivati di un sistema auto-organizzato.
Aggiungerei a ciò che l'ignoto e forse anche l'inconoscibile sono stati perseguiti come parte fondamentale di questi sistemi fin dalle loro fasi iniziali. Ci sono buone probabilità che maggiore sarà l’impatto che l’intelligenza artificiale avrà nelle nostre vite, meno capiremo come e perché.
Ma questo non va bene a molti oggi. Vogliamo sapere come funziona l’intelligenza artificiale e come arriva alle decisioni e ai risultati che hanno un impatto su di noi. Man mano che gli sviluppi nell’intelligenza artificiale continuano a modellare la nostra conoscenza e comprensione del mondo, ciò che scopriamo, come siamo trattati, come apprendiamo, consumiamo e interagiamo, questo impulso alla comprensione crescerà. Quando si parla di IA spiegabile e trasparente, la storia delle reti neurali ci dice che in futuro probabilmente ci allontaneremo da quell’obiettivo, piuttosto che avvicinarci ad esso.
Davide Birra, Professore di sociologia, Università di York
Questo articolo è ripubblicato da The Conversation sotto una licenza Creative Commons. Leggi il articolo originale.
