Le persone che richiedono un prestito da una banca o da una società emittente della carta di credito e sono respinte, devono una spiegazione del motivo per cui ciò è accaduto. È una buona idea - perché può aiutare a insegnare alle persone come riparare il loro credito danneggiato - ed è una legge federale, il Equal Credit Opportunity Act. Ottenere una risposta non era un gran problema negli anni passati, quando gli umani prendevano quelle decisioni. Ma oggi, poiché i sistemi di intelligenza artificiale assistono o sostituiscono sempre più persone che prendono decisioni sul credito, ottenere queste spiegazioni è diventato molto più difficile.

Tradizionalmente, un ufficiale di prestito che ha rifiutato una domanda poteva dire a un potenziale mutuatario che c'era un problema con il loro livello di reddito, o la storia lavorativa, o qualunque fosse il problema. Ma sistemi computerizzati che usano complessi machine learning i modelli sono difficili da spiegare, anche per gli esperti.

Le decisioni sul credito al consumo sono solo un modo in cui questo problema si pone. Preoccupazioni simili esiste in assistenza sanitaria, marketing online e persino giustizia criminale. Il mio interesse in quest'area è iniziato quando ho scoperto un gruppo di ricerca di cui facevo parte pregiudizio di genere nel modo in cui gli annunci online sono stati presi di mira, ma non è riuscito a spiegare perché è successo.

Tutte quelle industrie, e molte altre, che usano l'apprendimento automatico per analizzare i processi e prendere decisioni hanno poco più di un anno per essere molto più bravi nello spiegare come funzionano i loro sistemi. A maggio 2018, il nuovo Regolamento generale sulla protezione dei dati dell'Unione europea ha effetto, compresa una sezione che dà alle persone il diritto di ottenere una spiegazione per le decisioni automatiche che influenzano le loro vite. Che forma dovrebbero prendere queste spiegazioni e possiamo effettivamente fornirle?

Identificazione dei motivi principali

Un modo per descrivere il motivo per cui una decisione automatica è venuta fuori è quello di identificare i fattori che sono stati più influenti nella decisione. Quanto di una decisione di negazione del credito era perché il richiedente non ha fatto abbastanza soldi, o perché non aveva rimborsato i prestiti in passato?

Il mio gruppo di ricerca presso la Carnegie Mellon University, tra cui lo studente di dottorato Shayak Sen e l'allora post-dottor Yair Zick, ha creato un modo per misurare l'influenza relativa di ogni fattore Lo chiamiamo influenza dell'input quantitativo.

Oltre a dare una migliore comprensione di una decisione individuale, la misurazione può anche far luce su un gruppo di decisioni: un algoritmo ha negato il credito principalmente a causa di preoccupazioni finanziarie, come ad esempio quanto un richiedente deve già su altri debiti? Oppure il codice postale del richiedente era più importante - suggerendo che erano disponibili dati demografici di base come la gara?

Catturare la causalità

Quando un sistema prende decisioni basate su molteplici fattori, è importante identificare quali fattori causano le decisioni e il loro contributo relativo.

Ad esempio, immagina un sistema di decisione del credito che richiede solo due input, il rapporto debito / reddito di un candidato e la sua razza, e ha dimostrato di approvare i prestiti solo per i caucasici. Sapere quanto ogni fattore ha contribuito alla decisione può aiutarci a capire se si tratta di un sistema legittimo o se è discriminante.

Una spiegazione potrebbe semplicemente guardare gli input e il risultato e osservare la correlazione - i non-caucasici non hanno ottenuto prestiti. Ma questa spiegazione è troppo semplicistica. Supponiamo che i non-caucasici a cui sono stati negati i prestiti avessero anche redditi molto più bassi rispetto ai caucasici le cui domande hanno avuto successo. Quindi questa spiegazione non può dirci se la razza dei richiedenti o il rapporto debito / reddito ha causato i dinieghi.

Il nostro metodo può fornire queste informazioni. Raccontare la differenza significa che possiamo scoprire se il sistema sta discriminando o giudicando ingiustamente criteri legittimi, come le finanze dei richiedenti.

Per misurare l'influenza della razza in una decisione di credito specifica, ripetiamo la procedura di richiesta, mantenendo lo stesso rapporto debito / reddito ma cambiando la razza del richiedente. Se cambiare la gara influisce sul risultato, sappiamo che la razza è un fattore decisivo. In caso contrario, possiamo concludere che l'algoritmo sta esaminando solo le informazioni finanziarie.

Oltre a identificare i fattori che sono le cause, possiamo misurare la loro influenza causale relativa su una decisione. Lo facciamo variando casualmente il fattore (ad esempio, la razza) e misurando la probabilità che il risultato cambi. Maggiore è la probabilità, maggiore è l'influenza del fattore.

Influenza aggregante

Il nostro metodo può anche incorporare più fattori che funzionano insieme. Prendi in considerazione un sistema decisionale che dia credito ai candidati che soddisfano due dei tre criteri: punteggio di credito superiore a 600, proprietà di un'automobile e se il richiedente ha rimborsato completamente un mutuo per la casa. Dire ad un richiedente, Alice, con un punteggio di credito di 730 e nessuna macchina o mutuo per la casa, è negato il credito. Si chiede se il suo stato di proprietà della macchina o la storia di rimborso del mutuo per la casa è la ragione principale.

Un'analogia può aiutare a spiegare come analizziamo questa situazione. Si consideri un tribunale in cui le decisioni sono prese dal voto a maggioranza di un gruppo di tre giudici, in cui uno è un conservatore, uno liberale e il terzo un voto a rotazione, qualcuno che potrebbe schierarsi con uno dei suoi colleghi. In una decisione conservatrice 2-1, il giudice di swing ha avuto una maggiore influenza sul risultato rispetto al giudice liberale.

I fattori nel nostro esempio di credito sono come i tre giudici. Il primo giudice di solito vota a favore del prestito, perché molti candidati hanno un punteggio di credito abbastanza alto. Il secondo giudice vota quasi sempre contro il prestito perché pochissimi candidati hanno mai pagato una casa. Quindi la decisione arriva al giudice altalenante, che nel caso di Alice rifiuta il prestito perché non possiede un'auto.

Possiamo fare esattamente questo ragionamento usando teoria del gioco cooperativo, un sistema di analisi più specifica di come diversi fattori contribuiscono a un singolo risultato. In particolare, combiniamo le nostre misurazioni dell'influenza causale relativa con il Valore shapley, che è un modo per calcolare come attribuire l'influenza a più fattori. Insieme, questi formano la nostra misura dell'input dell'input quantitativo.

Finora abbiamo valutato i nostri metodi sui sistemi decisionali che abbiamo creato addestrando algoritmi di machine learning comuni con set di dati del mondo reale. Valutare gli algoritmi al lavoro nel mondo reale è un argomento per il lavoro futuro.

Una sfida aperta

Il nostro metodo di analisi e spiegazione del modo in cui gli algoritmi prendono le decisioni è più utile in contesti in cui i fattori sono facilmente comprensibili dagli esseri umani - come il rapporto debito / reddito e altri criteri finanziari.

Tuttavia, la spiegazione del processo decisionale di algoritmi più complessi rimane una sfida significativa. Prendiamo, per esempio, un sistema di riconoscimento delle immagini, come quelli che rilevare e monitorare i tumori. Non è molto utile spiegare la valutazione di una particolare immagine in base ai singoli pixel. Idealmente, vorremmo una spiegazione che fornisse ulteriori informazioni sulla decisione, come l'identificazione di caratteristiche specifiche del tumore nell'immagine. In effetti, la progettazione di spiegazioni per tali compiti decisionali automatizzati sta mantenendo molti ricercatori occupato.

Circa l'autore

Anupam Datta, professore associato di informatica e ingegneria elettrica e informatica, Carnegie Mellon University

Questo articolo è stato pubblicato in origine The Conversation. Leggi il articolo originale.

libri correlati

at InnerSelf Market e Amazon