Gli algoritmi di riconoscimento facciale vengono solitamente testati utilizzando facce bianche, il che si traduce nell'incapacità della tecnologia di distinguere tra individui razzializzati. (Shutterstock)
La polizia di Detroit ha arrestato ingiustamente Robert Julian-Borchak Williams nel gennaio 2020 per un taccheggio avvenuto due anni prima. Anche se Williams non ha avuto nulla a che fare con l'incidente, la tecnologia di riconoscimento facciale utilizzata dalla polizia di stato del Michigan ha "abbinato" il suo viso a un'immagine sgranata ottenuta da un video di sorveglianza in negozio che mostra un altro afroamericano che prende orologi per un valore di 3,800 dollari.
Due settimane dopo, il caso è stato archiviato su richiesta dell'accusa. Tuttavia, facendo affidamento sulla corrispondenza difettosa, la polizia aveva già ammanettato e arrestato Williams di fronte alla sua famiglia, lo aveva costretto a fornire una foto segnaletica, impronte digitali e un campione del suo DNA, lo aveva interrogato e imprigionato durante la notte.
Gli esperti suggeriscono che Williams non è solo e che altri sono stati sottoposti a simili ingiustizie. La controversia in corso sull'uso da parte della polizia di Clearview AI sottolinea certamente i rischi per la privacy posti dalla tecnologia di riconoscimento facciale. Ma è importante rendersene conto non tutti noi sopportiamo questi rischi allo stesso modo.
Formazione di algoritmi razzisti
Tecnologia di riconoscimento facciale che è addestrato e sintonizzato su volti caucasici identifica sistematicamente e erroneamente gli individui razzializzati: numerosi studi riportano che la tecnologia di riconoscimento facciale è "imperfetto e parziale, con tassi di errore significativamente più elevati se utilizzato contro persone di colore. "
La sezione mina l'individualità e l'umanità delle persone razzializzate che hanno maggiori probabilità di essere identificati erroneamente come criminali. La tecnologia - e gli errori di identificazione che compie - riflette e rafforza ulteriormente divisioni sociali di vecchia data che sono profondamente intrecciate con il razzismo, il sessismo, l'omofobia, il colonialismo dei coloni e altre oppressioni intersecanti.
{vembe Y=vSuDE6wvQlU}
Un'indagine di France24 sui pregiudizi razziali nella tecnologia di riconoscimento facciale.
Come la tecnologia classifica gli utenti
Nel suo rivoluzionario libro del 1993, L'ordinamento panottico, lo studioso Oscar Gandy ha avvertito che "la tecnologia complessa [che] coinvolge la raccolta, l'elaborazione e la condivisione di informazioni su individui e gruppi che vengono generate attraverso le loro vite quotidiane ... viene utilizzata per coordinare e controllare il loro accesso ai beni e servizi che definiscono la vita in la moderna economia capitalista ". Le forze dell'ordine lo usano per strappare i sospetti dal pubblico in generale e le organizzazioni private lo usano per determinare se abbiamo accesso a cose come bancario ed occupazione.
Gandy ha profeticamente avvertito che, se lasciata incontrollata, questa forma di "triage cibernetico" svantaggerebbe esponenzialmente i membri delle comunità in cerca di uguaglianza - per esempio, gruppi che sono razzializzati o socio-economicamente svantaggiati - sia in termini di ciò che sarebbe stato assegnato loro che come potrebbero arrivare a capire se stessi.
Circa 25 anni dopo, ora viviamo con il tipo panottico con gli steroidi. E gli esempi dei suoi effetti negativi sulle comunità in cerca di uguaglianza abbondano, come la falsa identificazione di Williams.
Bias preesistente
Questo smistamento tramite algoritmi si infiltra negli aspetti più fondamentali della vita quotidiana, provocando violenza sia diretta che strutturale.
La violenza diretta subita da Williams è immediatamente evidente negli eventi che circondano il suo arresto e la detenzione, e i danni individuali che ha subito sono evidenti e possono essere ricondotti alle azioni della polizia che ha scelto di fare affidamento sulla "corrispondenza" della tecnologia per effettuare un arresto. Più insidioso è il violenza strutturale perpetrato attraverso la tecnologia di riconoscimento facciale e altre tecnologie digitali che valutano, abbinano, categorizzano e classificano gli individui in modi che amplificano i modelli discriminatori preesistenti.
I danni causati dalla violenza strutturale sono meno evidenti e meno diretti e causano danni ai gruppi in cerca di uguaglianza attraverso la negazione sistematica del potere, delle risorse e delle opportunità. Allo stesso tempo, aumenta il rischio diretto e il danno ai singoli membri di quei gruppi.
Usi di polizia predittiva elaborazione algoritmica dei dati storici per prevedere quando e dove è probabile che si verifichino nuovi crimini, assegna le risorse della polizia di conseguenza e integra una sorveglianza rafforzata della polizia nelle comunità, di solito nei quartieri a basso reddito e razzializzati. Ciò aumenta le possibilità che qualsiasi attività criminale, inclusa l'attività criminale meno grave che altrimenti potrebbe non richiedere alcuna risposta da parte della polizia, venga rilevata e punita, limitando in definitiva le possibilità di vita delle persone che vivono in quell'ambiente.
E le prove di disuguaglianze in altri settori continuano a crescere. Centinaia di studenti nel Regno Unito protestò il 16 agosto contro i disastrosi risultati di Ofqual, un algoritmo difettoso utilizzato dal governo britannico per determinare quali studenti si qualificherebbero per l'università. Nel 2019, il servizio di annunci di microtargeting di Facebook ha aiutato dozzine di datori di lavoro del settore pubblico e privato escludere le persone dalla ricezione di annunci di lavoro in base all'età e al sesso. La ricerca condotta da ProPublica ha documentato discriminazione di prezzo basata sulla razza per i prodotti online. E i motori di ricerca producono regolarmente risultati razzisti e sessisti.
Perpetuare l'oppressione
Questi risultati sono importanti perché perpetuano e approfondiscono le disuguaglianze preesistenti basate su caratteristiche come razza, sesso ed età. Sono importanti anche perché influenzano profondamente il modo in cui arriviamo a conoscere noi stessi e il mondo che ci circonda, a volte preselezione delle informazioni riceviamo in modi che rafforzano le percezioni stereotipate. Anche le stesse aziende tecnologiche riconoscono il urgenza di impedire agli algoritmi di perpetuare la discriminazione.
Ad oggi il successo delle indagini ad hoc, condotte dalle stesse società tecnologiche, è stato incoerente. Occasionalmente, le società coinvolte nella produzione di sistemi discriminatori li ritirano dal mercato, ad esempio quando Clearview AI ha annunciato che non offrirà più la tecnologia di riconoscimento facciale in Canada. Ma spesso tali decisioni derivano solo dal controllo regolamentare o dalla protesta pubblica dopo i membri delle comunità in cerca di uguaglianza sono già stati danneggiati.
È ora di fornire alle nostre istituzioni normative gli strumenti di cui hanno bisogno per affrontare il problema. Le semplici tutele della privacy che dipendono dall'ottenimento del consenso individuale per consentire l'acquisizione e il riutilizzo dei dati da parte delle aziende non possono essere separate dai risultati discriminatori di tale utilizzo. Ciò è particolarmente vero in un'epoca in cui la maggior parte di noi (comprese le stesse aziende tecnologiche) non possono comprendere appieno cosa fanno gli algoritmi o perché producono risultati specifici.
La privacy è un diritto umano
Parte della soluzione comporta l'abbattimento degli attuali silos normativi che trattano la privacy ei diritti umani come questioni separate. Affidarsi a un modello di protezione dei dati basato sul consenso va contro il principio fondamentale che la privacy e l'uguaglianza sono entrambi diritti umani che non possono essere contratti.
Anche Carta digitale canadese - L'ultimo tentativo del governo federale di rispondere alle carenze dell'attuale stato dell'ambiente digitale - mantiene queste distinzioni concettuali. Tratta l'odio e l'estremismo, il controllo e il consenso e una forte democrazia come categorie separate.
Per affrontare la discriminazione algoritmica, dobbiamo riconoscere e inquadrare sia la privacy che l'uguaglianza come diritti umani. E dobbiamo creare un'infrastruttura che sia altrettanto attenta ed esperta in entrambi. Senza tali sforzi, la lucentezza patinata della matematica e della scienza continuerà a camuffare i pregiudizi discriminatori dell'IA e ci si può aspettare che le parolacce come quella inflitta a Williams si moltiplichino.
Informazioni sugli autori
Jane Bailey, professore di diritto e co-leader del progetto eQuality, L'Université d'Ottawa / Università di Ottawa; Jacquelyn Burkell, Vicepresidente associato, Ricerca, Università occidentalee Valerie Steeves, professore ordinario, L'Université d'Ottawa / Università di Ottawa
Questo articolo è ripubblicato da The Conversation sotto una licenza Creative Commons. Leggi il articolo originale.
Libri sulla disuguaglianza dall'elenco dei best seller di Amazon
"Casta: le origini del nostro malcontento"
di Isabel Wilkerson
In questo libro, Isabel Wilkerson esamina la storia dei sistemi di caste nelle società di tutto il mondo, compresi gli Stati Uniti. Il libro esplora l'impatto delle caste sugli individui e sulla società e offre un quadro per comprendere e affrontare la disuguaglianza.
Clicca per maggiori informazioni o per ordinare
"Il colore della legge: una storia dimenticata di come il nostro governo ha segregato l'America"
di Richard Rothstein
In questo libro, Richard Rothstein esplora la storia delle politiche governative che hanno creato e rafforzato la segregazione razziale negli Stati Uniti. Il libro esamina l'impatto di queste politiche sugli individui e sulle comunità e offre un invito all'azione per affrontare la disuguaglianza in corso.
Clicca per maggiori informazioni o per ordinare
"La somma di noi: quanto costa a tutti il razzismo e come possiamo prosperare insieme"
di Heather McGhee
In questo libro, Heather McGhee esplora i costi economici e sociali del razzismo e offre una visione per una società più equa e prospera. Il libro include storie di individui e comunità che hanno sfidato la disuguaglianza, nonché soluzioni pratiche per creare una società più inclusiva.
Clicca per maggiori informazioni o per ordinare
"Il mito del deficit: teoria monetaria moderna e nascita dell'economia popolare"
di Stephanie Kelton
In questo libro, Stephanie Kelton sfida le idee convenzionali sulla spesa pubblica e sul deficit nazionale e offre un nuovo quadro per comprendere la politica economica. Il libro include soluzioni pratiche per affrontare la disuguaglianza e creare un'economia più equa.
Clicca per maggiori informazioni o per ordinare
"Il nuovo Jim Crow: l'incarcerazione di massa nell'era del daltonismo"
di Michelle Alexander
In questo libro, Michelle Alexander esplora i modi in cui il sistema di giustizia penale perpetua la disuguaglianza e la discriminazione razziale, in particolare contro i neri americani. Il libro include un'analisi storica del sistema e del suo impatto, nonché un invito all'azione per la riforma.
