Come gli algoritmi possono essere più giusti degli umani

Amazon ha recentemente iniziato a offrire consegna in giornata in aree metropolitane selezionate. Ciò può essere positivo per molti clienti, ma il rollout mostra come il processo decisionale informatizzato può anche fornire una forte dose di discriminazione.

Sensibilmente, la società ha iniziato il suo servizio in aree in cui i costi di consegna sarebbero più bassi, identificando i codici postali di luoghi densamente popolati a casa di molti clienti Amazon esistenti con livelli di reddito sufficientemente elevati da rendere frequenti gli acquisti di prodotti disponibili per la consegna in giornata. L'azienda ha fornito una pagina Web che consente ai clienti di inserire il loro codice postale per vedere se la consegna in giornata li ha serviti. I giornalisti investigativi di Bloomberg News hanno usato quella pagina per creare mappe dell'area di servizio di Amazon per la consegna in giornata.

L'analisi di Bloomberg ha rivelato che molte aree urbane povere sono state escluse dall'area di servizio, mentre sono state incluse aree limitrofe più ricche. Molti di questi esclusi aree povere erano prevalentemente abitati da minoranze. Ad esempio, tutta Boston era coperta tranne Roxbury; La copertura di New York includeva quasi tutti i quattro distretti, ma escludeva completamente il Bronx; La copertura di Chicago lasciò il lato sud impoverito, mentre si estendeva sostanzialmente verso i sobborghi occidentali e ricchi.

Mentre si è tentati di credere che le decisioni basate sui dati siano imparziali, ricerca e discussione accademica stanno iniziando a dimostrarlo rimangono ingiustizia e discriminazione. Nel mio corso online su etica dei dati, gli studenti lo imparano gli algoritmi possono discriminare. Ma potrebbe esserci un po 'di un rivestimento d'argento: come suggerisce la ricerca di Bloomberg, basare le decisioni sui dati può anche rendere più facile individuare i pregiudizi.

Il pregiudizio può essere involontario

Ingiustizia come quella nella politica di consegna di Amazon può sorgere per molte ragioni, tra cui pregiudizi nascosti - come ipotesi che le popolazioni siano distribuite uniformemente. I progettisti dell'algoritmo probabilmente non intendono discriminare e potrebbero anche non rendersi conto che un problema si è insinuato.


innerself iscriviti alla grafica


Amazon ha detto a Bloomberg che non aveva intenzioni discriminatorie, e ci sono tutte le ragioni per credere a questa affermazione. In risposta al rapporto Bloomberg, città funzionari ed altri politici ha invitato Amazon per risolvere questo problema. L'azienda spostato rapidamente per aggiungere i codici postali urbani poveri esclusi originariamente nella sua area di servizio.

Una domanda simile è stata ha chiesto di Uber, che sembra fornire un servizio migliore alle aree abitate da percentuali più elevate di bianchi. È probabile che ci saranno più esempi di vendita al dettaglio e del settore dei servizi di discriminazione algoritmica non intenzionale scoperti in futuro.

Chiedendo troppi algoritmi?

Dovremmo fermarci un attimo a considerare se stiamo indebitamente chiedendo decisioni algoritmiche. Le aziende che gestiscono negozi fisici prendono decisioni sulla posizione in ogni momento, tenendo conto di criteri non diversi da quelli di Amazon. I negozi cercano di avere sedi che siano convenienti per un grande gruppo di potenziali clienti con denaro da spendere.

Di conseguenza, pochi negozi scelgono di localizzarsi nei quartieri poveri della città. In particolare nel contesto dei negozi di alimentari, questo fenomeno è stato ampiamente studiato e il termine "deserto di cibo"È stato usato per descrivere aree urbane i cui residenti non hanno un comodo accesso al cibo fresco. Questo bias di posizione è meno studiato per i negozi al dettaglio in generale.

Come esempio indicativo, ho guardato le location 55 Michigan di Target, una grande catena di vendita al dettaglio. Quando ho risolto tutti i codici postali del Michigan in base al fatto che il reddito medio fosse nella metà superiore o inferiore a livello statale, ho scoperto che solo 16 dei negozi Target (percentuale 29) erano in codici postali del gruppo a reddito inferiore. Più del doppio dei negozi 39 erano collocati in codici postali dalla metà più ricca.

Identificazione della discriminazione

Inoltre, non ci sono negozi Target nella città di Detroit, anche se ci sono molti nei suoi sobborghi (più ricchi). Eppure non c'è stata alcuna protesta popolare che asserisce che Target ingiustamente discrimini le persone povere nelle decisioni relative alla posizione nei negozi. Ci sono due ragioni principali per cui le preoccupazioni su Amazon sono giustificate: rigidità e dominio.

La rigidità ha a che fare con i processi decisionali del rivenditore online e con il risultato. Amazon decide quali codici postali sono nella sua area di servizio. Se un cliente abita dall'altra parte della strada rispetto al confine stabilito da Amazon, è fuori dall'area di servizio e può fare ben poco. Al contrario, chi vive in un codice ZIP senza un negozio Target può ancora acquistare su Target, anche se potrebbe essere necessario più tempo per arrivarci.

Importa anche quanto sia dominante un rivenditore nella mente dei consumatori. Mentre Target è solo una delle molte catene di negozi fisici, Amazon gode dominanza del mercato come rivenditore webe quindi attira più attenzione. Tale dominio è una caratteristica di oggi winner-takes-all aziende web.

Anche se la loro rigidità e il loro dominio possono causarci maggiore preoccupazione per le attività online, siamo anche più in grado di rilevare la loro discriminazione rispetto a quanto facciamo per i negozi di mattoni. Per una catena di negozi tradizionali, dobbiamo indovinare fino a che punto i consumatori sono disposti a viaggiare. Potremmo anche aver bisogno di essere consapevoli del tempo: cinque miglia fino alla prossima uscita dell'autostrada non è la stessa cosa di cinque miglia attraverso strade congestionate dall'altra parte della città. Inoltre, il tempo di viaggio può variare ampiamente a seconda dell'ora del giorno. Dopo aver identificato le aree probabili servite da un negozio, non possono mappare ordinatamente in unità geografiche per le quali disponiamo di statistiche sulla razza o sul reddito. In breve, l'analisi è caotica e richiede molto sforzo.

Al contrario, i giornalisti di Bloomberg avrebbero impiegato solo poche ore per sviluppare una mappa dell'area di servizio di Amazon e correlarla con il reddito o la razza. Se Amazon lo avesse fatto internamente, avrebbero potuto eseguire la stessa analisi in pochi minuti - e forse avrebbe notato i problemi e risolto i problemi prima ancora che iniziasse il servizio in giornata.

Come si confrontano gli umani?

Esaminiamo un esempio molto diverso per vedere come gli stessi punti si applicano ampiamente. Di recente, è stato pubblicato ProPublica un'eccellente analisi della discriminazione razziale da un algoritmo che prevede la probabilità di un criminale di offendere di nuovo. L'algoritmo considera decine di fattori e calcola una stima di probabilità. L'analisi di ProPublica ha rilevato un sistematico pregiudizio razziale sistematico, anche se la razza non era tra i fattori specifici considerati.

Senza l'algoritmo, un giudice umano farebbe una stima simile, come parte di una decisione di condanna o condizionale. La decisione umana potrebbe prendere in considerazione un insieme più ricco di fattori, come il contegno del tribunale del criminale. Ma sappiamo, da studi in psicologia, quella il processo decisionale umano è pieno di pregiudizi, anche quando facciamo del nostro meglio per essere giusti.

Ma gli errori che derivano da pregiudizi nelle decisioni dei giudici umani sono probabilmente diversi tra i giudici, e anche per le diverse decisioni prese dallo stesso giudice. Nel complesso, ci può essere discriminazione razziale a causa di pregiudizio subconscioma stabilirlo definitivamente è complicato. Uno studio del Dipartimento di Giustizia degli Stati Uniti ha trovato prove evidenti disparità nella condanna dei detenuti bianchi e neri, ma non poteva determinare chiaramente se la razza stessa fosse un fattore in quelle decisioni.

Al contrario, lo stesso algoritmo utilizzato da ProPublica è utilizzato in migliaia di casi in molti stati. La sua rigidità e il grande volume facilitano il compito di determinare se discrimina e possono offrire modi per correggere in modo efficiente il problema.

L'uso della tecnologia dell'informazione sembra rendere le linee più luminose, le differenze più rigide e i dati su tutto questo molto più facilmente disponibili. Quello che potrebbe essere spazzolato sotto il tappeto di ieri ora è a caccia di attenzioni. Poiché troviamo sempre più usi per algoritmi basati sui dati, non è ancora comune analizzare la loro equità, in particolare prima del lancio di un nuovo servizio basato sui dati. Farlo farà molta strada per misurare e migliorare l'equità di questi calcoli computerizzati sempre più importanti.

Circa l'autoreThe Conversation

HV Jagadish, Bernard A Galler Collegiata Professore di Ingegneria Elettrica e Informatica, University of Michigan

Questo articolo è stato pubblicato in origine The Conversation. Leggi il articolo originale.

libri correlati

at InnerSelf Market e Amazon