Nei sistemi di giustizia penale, mercati del credito, arene di occupazione, processi di ammissione all'istruzione superiore e persino reti di social mediaalgoritmi basati sui dati ora guida il processo decisionale in modi che toccano le nostre vite economiche, sociali e civiche. Questi sistemi software classificano, classificano, associano o filtrano le informazioni, utilizzando regole elaborate da persone o dati che consentono un trattamento coerente su vaste popolazioni.

Ma mentre ci possono essere guadagni di efficienza da queste tecniche, possono anche pregiudizi nei confronti dei gruppi svantaggiati or rafforzare la discriminazione strutturale. In termini di giustizia penale, ad esempio, è giusto formulare giudizi sulla libertà condizionale di un individuo sulla base di tendenze statistiche misurate attraverso un ampio gruppo di persone? La discriminazione potrebbe derivare dall'applicazione di un modello statistico sviluppato per la popolazione di uno stato ad un altro, popolazione demograficamente diversa?

Il pubblico deve comprendere il pregiudizio e il potere degli algoritmi utilizzati nella sfera pubblica, compresi gli enti governativi. Uno sforzo con cui sono coinvolto, chiamato responsabilità algoritmica, cerca di rendere più chiare e più ampiamente comprese le influenze di questo tipo di sistemi.

Le tecniche di trasparenza esistenti, se applicate agli algoritmi, potrebbero consentire alle persone di monitorare, controllare e criticare il modo in cui tali sistemi funzionano o meno, a seconda dei casi. Sfortunatamente, le agenzie governative sembrano impreparate a domande sugli algoritmi e sui loro usi nelle decisioni che influenzano in modo significativo sia gli individui che il pubblico in generale.

Algoritmi di apertura al controllo pubblico

L'anno scorso il il governo federale ha iniziato a studiare i pro e i contro dell'utilizzo di analisi dei dati computerizzati per aiutare a determinare la probabilità dei detenuti di recidiva al momento del rilascio. Valutare gli individui come a basso, medio o alto rischio può aiutare con le decisioni sull'alloggio e il trattamento, identificando persone che possono essere tranquillamente inviate in un carcere di sicurezza minimo o anche in una "casa a metà strada" o che beneficerebbero di un particolare tipo di cura psicologica.

Queste informazioni possono rendere il processo giudiziario più efficiente e meno costoso e persino ridurre l'affollamento delle carceri. È stato mostrato come trattare i criminali a basso rischio come i criminali ad alto rischio in alcuni studi per indurli a interiorizzare di essere un criminale "malato" e bisognoso di cure per il loro comportamento deviante. La loro separazione può quindi ridurre lo sviluppo di comportamenti negativi che porterebbero alla recidiva al momento del rilascio.

Dati e algoritmi per il rischio di recidiva dei detenuti sono già presenti usato estensivamente dagli stati per la gestione della detenzione preventiva, libertà vigilata, libertà condizionale e persino condanna. Ma è facile per loro passare inosservati - spesso sembrano documenti burocratici senza pretese.

Tipicamente gli algoritmi sono riassunti in fogli di punteggio semplificati che vengono compilati dai dipendenti pubblici con poca comprensione dei calcoli sottostanti. Ad esempio, un operatore del caso potrebbe valutare un detenuto utilizzando un modulo in cui il lavoratore del caso segnala che il prigioniero è stato condannato per un crimine violento, era giovane al momento del primo arresto e non si era diplomato o aveva ottenuto un GED. Questi fattori e altre caratteristiche della persona e del crimine determinano un punteggio che suggerisce se il detenuto potrebbe essere idoneo per la revisione della libertà vigilata.

Il modulo stesso, così come il suo sistema di punteggio, spesso rivela caratteristiche chiave dell'algoritmo, come le variabili considerate e come si uniscono per formare un punteggio di rischio complessivo. Ma ciò che è importante anche per la trasparenza algoritmica è sapere come tali forme sono state progettate, sviluppate e valutate. Solo allora il pubblico può sapere se i fattori e i calcoli coinvolti nell'arrivare al punteggio sono giusti e ragionevoli, o non informati e prevenuti.

Utilizzo della legge sulla libertà di informazione

Il nostro strumento principale per mettere le mani su queste forme e il loro materiale di supporto è la legge e, nello specifico, le leggi sulla libertà di informazione. Sono tra i più potenti meccanismi a disposizione del pubblico per garantire trasparenza al governo. A livello federale, il Legge sulla libertà di informazione (FOIA) consente al pubblico di richiedere formalmente - e si aspetta di ricevere in cambio - documenti dal governo federale. Esistono statuti analoghi per ogni stato.

Realizzato in 1966, FOIA è stato creato prima dell'uso diffuso dell'informatica e ben prima che grandi quantità di dati fossero utilizzate di routine nei sistemi software per gestire le persone e fare previsioni. C'è stato qualche ricerca iniziale se FOIA è in grado di facilitare la divulgazione del codice sorgente del software. Ma rimane una domanda sul fatto che le leggi attuali siano rispondenti ai bisogni del pubblico del 21st secolo: possiamo noi gli algoritmi FOIA?

Un caso di studio nella trasparenza dell'algoritmo

Ho deciso di rispondere a questa domanda al Philip Merrill College of Journalism all'Università del Maryland, dove sono un assistente professore. Nella caduta di 2015, lavorando con il corso di legge sui media della mia collega Sandy Banisky, abbiamo guidato gli studenti a inviare richieste FOIA a ciascuno degli stati 50. Abbiamo chiesto documenti, descrizioni matematiche, dati, valutazioni di convalida, contratti e codice sorgente relativi agli algoritmi utilizzati nella giustizia penale, come per la libertà vigilata e la libertà vigilata, la cauzione o le decisioni di condanna.

Essendo un progetto semestrale, lo sforzo era necessariamente limitato dal tempo, con molti ostacoli e relativamente pochi successi. Come per le inchieste di molti giornalisti, anche capire chi chiedere - e come - è stata una sfida. Diverse agenzie possono essere responsabili di diverse aree del sistema di giustizia penale (la condanna potrebbe essere fatta dai tribunali, ma la gestione delle parole è gestita da un Dipartimento delle correzioni).

Anche dopo aver identificato la persona giusta, gli studenti hanno scoperto che i funzionari governativi usavano una terminologia diversa che rendeva difficile comunicare quali informazioni volevano. A volte, gli studenti dovevano lavorare sodo per spiegare "algoritmi di giustizia criminale" a un funzionario pubblico non esperto di dati. In retrospettiva, potrebbe essere stato più efficace chiedere "strumenti di valutazione del rischio", poiché questo è un termine spesso usato dai governi statali.

Gestire le risposte

Alcuni stati, come Colorado, hanno negato la nostra richiesta, affermando che gli algoritmi erano contenuti nel software, che non era considerato un "documento" che le leggi governative aperte richiedevano che i funzionari rendessero pubblici. Stati diversi hanno regole diverse sulla divulgazione dell'uso del software. Questo è talvolta emerso nei tribunali, come un 2004 vestito contro la città di Detroit se la formula per il calcolo delle tariffe idriche addebitate a una città adiacente debba essere resa pubblica.

Nei nostri sforzi, abbiamo ricevuto solo una descrizione matematica di un algoritmo di giustizia penale: l'Oregon ha rivelato le variabili 16 e i loro pesi in un modello usato lì per predire la recidiva. Lo stato del North Dakota ha pubblicato un foglio di calcolo Excel che mostra l'equazione utilizzata per determinare le date in cui i detenuti potrebbero essere considerati per la libertà condizionale. Dall'Idaho e dal Nuovo Messico abbiamo ricevuto documenti con alcune descrizioni delle valutazioni del rischio di recidiva utilizzate da questi stati, ma nessun dettaglio su come sono stati sviluppati o convalidati.

Nove stati hanno basato il loro rifiuto di divulgare dettagli sui loro algoritmi di giustizia penale sull'affermazione che l'informazione era realmente di proprietà di una società. Questa implicazione è che il rilascio dell'algoritmo danneggerebbe l'impresa che lo ha sviluppato. Un questionario comune sul rischio di recidiva, chiamato LSI-R, risulta essere un prodotto commerciale, protetto da copyright. Stati come Hawaii e Maine hanno affermato che ha impedito la sua divulgazione al pubblico.

La Louisiana ha dichiarato che il suo contratto con lo sviluppatore di una nuova tecnica di valutazione del rischio ha bloccato il rilascio delle informazioni richieste per sei mesi. Lo stato del Kentucky ha citato il suo contratto con a fondazione filantropica come la ragione per cui non poteva rivelare ulteriori dettagli. Le preoccupazioni sulle informazioni proprietarie possono essere legittime, ma dal momento che il governo stipula regolarmente contratti con società private, come bilanciare tali preoccupazioni con un sistema di giustizia spiegabile e legittimo?

Fare miglioramenti

La riforma FOIA di cui c'è tanto bisogno è attualmente in fase di deliberazione dal Congresso. Ciò fornisce un'opportunità per la modernizzazione della legge, ma i cambiamenti proposti fanno ancora poco per adattarsi al crescente uso di algoritmi nel governo. Informazioni sulla trasparenza algoritmica potrebbe essere codificato in rapporti che il governo genera e rende pubblici su base regolare, come parte del business come al solito.

Come società, dovremmo richiedere che i funzionari delle informazioni pubbliche siano formati in modo da essere istruiti e in grado di parlare correttamente la terminologia che possono incontrare quando il pubblico chiede algoritmi. Il governo federale potrebbe persino creare una nuova posizione per uno "zar degli algoritmi", un difensore civico il cui compito sarebbe quello di comunicare e indagare sul campo dell'automazione del governo.

Nessuno dei documenti che abbiamo ricevuto nella nostra ricerca ci ha detto come sono state sviluppate o valutate le forme di valutazione del rischio di giustizia criminale. Poiché gli algoritmi governano sempre più la nostra vita, i cittadini hanno bisogno - e devono chiedere - di maggiore trasparenza.

Circa l'autore

Nicholas Diakopoulos, Tow Fellow, Tow Center for Digital Journalism presso la Columbia University; Assistente Professore di giornalismo, Università del Maryland. La sua ricerca è nel giornalismo computazionale e di dati con un'enfasi sulla responsabilità algoritmica, visualizzazione dei dati narrativi e social computing nelle notizie.

Questo articolo è stato pubblicato in origine The Conversation. Leggi il articolo originale.

libri correlati

at InnerSelf Market e Amazon