Armas de destrucción matemática, de Cathy O'Neil

Resulta fácil vivir con una venda en los ojos. Es más cómodo. Si no tienes que mirar por dónde pisas, probablemente no repares en todos esos cadáveres sobre los que tienes que pasar para avanzar. Pero avanzar, ¿hacia dónde? ¿Hacia un mundo de datos privatizados en el que cualquier desliz presente condicione y determine tu futuro? Bienvenidos al mundo de los datos.

‘Armas de destrucción matemática: Cómo el Big Data aumenta la desigualdad y amenaza la democracia’ (2017) es un libro redactado por la experta en datos Cathy O’Neil, y que nace de querer contar varias experiencias personales que le hicieron ver el big data de una forma diferente: como un arma de destrucción matemática, o ADM. Publica en España Capitán Swing Libros.

“Si no establecemos una medida de control, las ADM del futuro nos parecerán misteriosas y poderosas. Harán lo que quieran con nosotros y ni siquiera nos daremos cuenta de ello”

Las ADM son sistemas informáticos con un poder inimaginable. Su opacidad, la escala a la que actúan y el año que causan, sumado al hecho de que su mecanismo esté oculto incluso para sus propios creadores, las hace especialmente peligrosas. Pero, ¿qué es una ADM y dónde están?

Lo cierto es que se encuentran en todas partes: en el instituto, evaluando la capacidad de los alumnos y de los profesores a través de métricas sesgadas e injustas; en la universidad, retirando fondos de investigación por ratios sin fundamento; en los puestos de trabajo, a los que muchas personas no pueden acceder debido a errores a la hora de analizar con rigor la realidad; en los sistemas de seguros y la educación privada, que se ceba con los pobres; en los tribunales, incapaces de hacer frente a sus propios sesgos; e incluso en los sistemas de vigilancia y policiales, cuyo análisis endogámico de la delincuencia les hace acudir una y otra vez a barrios afroamericanos.

La pregunta clave es: ¿dónde no están las ADM? Por lo que sabemos, estas son ubicuas. También son muy poderosas. Y al ser mecanismos de caja negra, no hay posibilidad de reclamar nada. Si el algoritmo ha decidido que no recibirás el crédito (o peor, que lo harás pero con condiciones abusivas), no hay posibilidad para llamar al encargado. A veces no hay encargado. A veces el encargado no entiende cómo funciona el sistema. La mayoría de las veces no hay nadie que se encoja de brazos. No hay transparencia, rendición de cuentas, ni derechos. Solo datos.

Muchos de estos sistemas son entornos en los que las personas ricas o las bien informadas (que suelen coincidir) cuentan con ventaja, mientras que los pobres o quienes ignoren cómo funciona el sistema (de nuevo, suelen coincidir) contarán con una desventaja considerable. Es más, ocurre que este segundo conjunto de personas nunca sabrá por qué no ha sido contratado por qué no le han concedido el préstamo. Y si se lo dan, rara vez entenderá que se lo han dado en condiciones muy desfavorables o que el contrato es de alta vulnerabilidad.

Todos nosotros creamos enormes flujos de información cuando accedemos a internet, y con las ADM nunca sabremos en qué han sido utilizados o cómo nos han afectado a nivel personal, porque son mecanismos de caja negra. Opacos. Uno de los mayores problemas de estas armas de destrucción matemática es que “no nos ven como individuos, sino como miembros de tribus, y una vez calificados, no hay manera de deshacerse de esa etiqueta”.

Un día muestras interés por una tendencia en Twitter y a seguir a personas que hablan de ello, y una década más tarde un algoritmo que compró los datos a esta red social le dice a la empresa a la que te postulas que no eres un candidato a tener en cuenta solo porque la gente de esa comunidad es ligeramente más propensa a dejar el trabajo por otro puesto a corto plazo. ¿Es eso justo? Probablemente no.

Las ADM buscan la eficiencia, y “la cuestión reside en si nosotros como sociedad estamos dispuestos a sacrificar un poco de eficiencia en aras de la justicia”. De momento, la sociedad espera en silencio a que la sombra de la injusticia crezca en el seno de servidores al otro lado del mundo. Espectante, casi sin hacer nada.

Por eso ‘Armas de destrucción matemática’, de Cathy O’Neil es tan importante: te quita una venda de los ojos. Una lectura altamente recomendada porque: