I Big Data rafforzano diseguaglianze e discriminazioni

di Teresa Numerico

Nell’ultimo libro di Don DeLillo Zero K il ricchissimo capitalista Ross Lockhart finanzia Convergence un’impresa che si propone di interrompere il processo della morte per un gruppo privilegiato di esseri umani. L’idea è semplice e già adottata in pratica: ibernare i corpi per sospendere la morte in attesa che la tecnologia produca gli strumenti che consentiranno loro di riprendere a vivere, o a un’altra più potente loro proiezione di sopravvivere in eterno. Il freddo oltretomba dove sono contenuti i non-morti, ma non più vivi, è visitato dal figlio dell’imprenditore, Jeff, voce narrante del romanzo, che ne attraversa gli spazi in una discesa agli inferi moderna, descrivendo grandiosità e orrore sprigionati dall’esperienza.
Una terra di mezzo tra vita e morte che si prefigge il completo controllo e la prevedibilità di ogni avvenimento, la sottrazione dalla storia e dall’indeterminatezza dell’esistenza con il suo carico di dolore, morte, perdita, incertezza degli accadimenti.

Lo scenario magistralmente dipinto dallo scrittore americano somiglia a quello raccontato da due saggiste, Cathy O’Neil e Wendy Hui Kyong Chun, che più diverse non potrebbero essere, ma che hanno pubblicato due interessanti libri sul tema dell’uso degli algoritmi e dell’organizzazione della Rete ai fini di costruire previsioni affidabili sulle persone e i loro comportamenti.

Cathy O’Neil è una ex quant (analista quantitativa) pentita, una scienziata dei dati, esperta di algoritmi e strumenti matematici che lavorava per D.E. Shaw, un hedge fund, favorendo, attraverso tecniche matematiche, l’accumulazione di immense ricchezze finanziarie. Nella crisi del 2008 si è accorta che dietro quei numeri tanto affascinanti si nascondevano uomini e donne che a causa loro perdevano le abitazioni. Dopo essersi licenziata, si è impegnata nel dibattito sul rapporto tra tecnologia, politica e ingiustizia sociale.

Nel suo libro Weapons of math destruction («Armi di distruzione matematica» (Allen Lane, Penguin books) racconta da insider gli effetti nefasti dell’uso incontrollato di procedure matematiche, tra cui gli algoritmi, per processare dati ai fini della presa di decisioni su temi di natura sociale.

Gli esempi variano dalla scelta da parte delle università degli studenti da accettare alla ricerca di lavoro, dai ritmi di lavoro agli strumenti usati dalla polizia per prevedere i crimini, dai meccanismi di valutazione dei docenti nelle scuole alla valutazione i premi dell’assicurazione, la concessione di un mutuo, e a tutte le transazioni finanziarie e alle ricerche di informazioni in Rete. Tutte attività governate e processate da meccanismi automatici basati sull’interpretazione di grandi quantità di dati ricavati dalle tracce dei comportamenti dei singoli.

Ma gli algoritmi sono guidati solo dall’efficienza e dalla massimizzazione dei profitti e nessuno li programma per garantire l’equità o la giustizia dei loro risultati. Così gli strumenti per prevedere i crimini usati dalla polizia tendono a mandare i poliziotti nei sobborghi più disastrati dove le persone sono più povere e dove la presenza delle forze dell’ordine non farà che rafforzare il pregiudizio secondo cui vi si commettono più crimini. Il problema sollevato da O’Neil è la «categorizzazione» adottata dagli strumenti di analisi che tendono a perpetuare i pregiudizi ufficialmente dismessi come quelli razziali e a considerare la povertà come una malattia dalla quale ci si deve difendere perché non si propaghi.

La costruzione delle pratiche di disprezzo e di sfiducia avviene attraverso tecniche erroneamente considerate obiettive e neutrali. Perché i test per trovare lavoro in un fast food escludono persone che manifestino segni d’instabilità emotiva? L’importante sembra solo evitare di assumere persone che potrebbero creare problemi di relazione. Non dovendo selezionare l’eccellenza, i test psicologici, somministrati in modo automatico per risparmiare, si preoccupano solo di escludere che siano assunti possibili piantagrane. Ma non è forse questa una pratica discriminatoria?

Oppure gli e-score sui quali si basano una serie di valutazioni per la solvibilità dei potenziali clienti si fondano spesso su informazioni non corrette, o comunque sull’istituzione di correlazioni tra elementi che nulla hanno a che vedere con la capacità di pagamento di una certa persona, per la quale sono impiegati. Non conta se un certo soggetto sia o meno solvibile, ma se lo sono le persone che appartengono alla sua stessa categoria. Il comportamento del singolo è schiacciato su quello del gruppo al quale è affiliato da meccanismi oscuri di somiglianza, costruiti su classificazioni discriminatorie, come la geolocalizzazione.

La tecnologia produce risultati a partire dagli obiettivi che animano i suoi programmatori. Qui il paragone con il sotterraneo dei non-morti di DeLillo si fa stringente, perché gli algoritmi assumono la possibilità di misurare ogni cosa, di schiacciare il futuro sul passato e il comportamento del singolo su quello della categoria di appartenenza, e di modellare continuità e cambiamenti in un orizzonte di ripetizione dal quale è assente ogni imprevedibilità.

Pproprio su questo tema, trattato in modo più filosofico, è al centro del libro di Wendy Chun, Updating to remain the same («Rinnovarsi per restare gli stessi», Mit Press). Il libro, che sarebbe bello vedere tradotto in Italiano, affronta diversi temi caldi intorno alla rete, ai social network, alla soggettività istituita dai Big Data e alla possibilità di vivere le proprie fragilità nello spazio pubblico online senza esservi inchiodato, conservando l’opzione di una non adesione completa alle nostre azioni. Wendy Chun si oppone al principio Consent once, circulate forever, acconsentire una volta significa permettere una circolazione permanente della propria scelta.

L’autrice privilegia l’analisi filosofica del concetto di abitudine. Le abitudini si contraggono, non sono delle dipendenze, e possono cambiare. Non dobbiamo e non possiamo essere schiacciati sulle nostre abitudini come se fossero eterne. Non è giusto che i Big Data si affidino alla ripetizione e a una concezione della memoria intesa come magazzino. Il diritto all’oblio non riguarda soltanto una protezione legale da far valere presso un motore di ricerca. Significa pensare a un perdono permanente e anticipato (in inglese forgive, si può intendere anche come un dare in anticipo che vale per il futuro). Cancellare la memoria digitale non significa dimenticare, ma rendere possibile un ricordo non allucinatorio che non ci riduca inesorabilmente all’agito del passato.

Chun analizza la rete come qualcosa che per sua natura fa perdere il controllo sulle nostre informazioni, facendole circolare indebitamente. Tuttavia non è necessario che tale perdita venga sfruttata dall’istituzione pubblico-privata della sorveglianza, come è avvenuto ed è stato mostrato da Edward Snowden. La politica decide come usare o come abusare di questa perdita e se inchiodare gli individui al una loro passata attività per sospettarli come terroristi, o disprezzarli come «puttane senza vergogna» per essersi denudate in una videochat.

L’autrice analizza il video di Amanda Todd, una giovane americana poi suicidatasi, che descrive la sua storia di vittima di bullismo e derisione senza mai mostrare il volto, solo attraverso l’inquadratura di post-it sui quali narra per scritto abusi, solitudine, sadismo e vergogna per aver ceduto una volta alla richiesta di uno sconosciuto di denudare il seno in chat. La tesi interessante del libro è che si tratti di una rivendicazione di forza e di diritto alla propria fragilità, a che non venga abusata, né giudicata anche quando viene indebitamente esposta. Il video di Amanda Todd reclama di poter cancellare ciò che è stato senza condanna morale. Richiede di essere dimenticata, di vivere online un’intimità insicura senza scatenare disprezzo e odio, senza restare sola.

Wendy Chun ritiene che si debba abitare la rete rinnovandosi e rinnovando la responsabilità politica che ci consente di essere difesi dalla perdita di informazione su di noi, e la garanzia che le notizie non siano ripetute senza fine. Una rete dove possiamo essere altro dalle azioni del corpo, dove possiamo spiegare il senso della nostra storia a parole. La cattura dei sistemi di sorveglianza – siano essi di marketing o di intelligence – ci identifica attraverso le tracce che lasciamo online, come in una realtà aumentata. Il linguaggio con cui ci descriviamo non ha voce, spazio o valore secondo l’assunto che solo il corpo non mente. Ma senza linguaggio non si affermano i diritti e quale democrazia può sostenere la perdita di parola dei propri cittadini, incarnati esclusivamente nelle tracce lasciate dai propri comportamenti?

Wendy Chun suggerisce la necessità di rinnovarsi per abitare la cattura degli schemi di comportamento senza subirli, rivendicando uno spazio pubblico che non ci inchiodi al magazzino di una memoria impazzita, incapace di oblio. Suggerisce, cioè, un cambio di mentalità che auspichiamo sia possibile. In agguato, altrimenti, c’è solo il rischio di essere rinchiusi ancora vivi nel sotterraneo dei non-morti di Zero K, privati della possibilità dell’imprevisto, propria dell’indeterminazione del vivente.

Fonte: Il manifesto 

Originale: http://ilmanifesto.info/quei-flussi-di-dati-che-inchiodano-le-vite-alla-piatta-monotonia/