La matemática de la discriminación
La matemática de la discriminación
O cómo los modelos matemáticos pueden perpetuar las desigualdades
Bienvenidos una semana más a la newsletter de Innovation by Default 💡. Una semana más, Álex Fuenmayor (@adefuros) a los mandos de la nave. Una vez más y en medio del sofocante calor que afecta a gran parte de España debido a una cuarta ola que más bien parece una constante durante todo el verano, esta semana nos sumergimos en el mundo de la ética y el uso de la ciencia para el bien común.
Según muchos, el lenguaje y el arte son propios de los seres humanos; son formas de expresión que hemos desarrollado gracias a la evolución de nuestro cerebro. Algunas ramas de la ciencia, como la física o la química, representan nuestra visión como especie del mundo que nos rodea y la capacidad que tenemos, mediante herramientas como las matemáticas, de representar y racionalizar.
Sin embargo, las matemáticas no parecen estar tan claramente arraigadas en los seres humanos. La aritmética, como representación numérica de la realidad, ha sido utilizada por diversas culturas durante más de cinco mil años, lo que podríamos llegar a considerar como una verdad universal. Ha sido expresada a través de numerosas representaciones y notaciones, aunque curiosamente todas han empleado la suma y la multiplicación.
La razón por la que la aritmética es auténtica y universal no se conoce del todo, pero investigaciones recientes sugieren que tiene raíces biológicas y es una consecuencia natural de cómo percibimos el mundo que nos rodea.
La correspondencia entre las matemáticas y la realidad física ha sido objeto de asombro a lo largo de la historia, como se explora en el libro de Mario Livio, "¿Es Dios matemático?".
Llegados a este punto, podríamos debatir si las matemáticas son una innovación humana, una herramienta o una simple representación de la realidad. Desde mi humilde opinión, es una mezcla de todas ellas. Nuestra perspectiva del mundo y las necesidades a lo largo de la historia han hecho evolucionar la ciencia de los números exactos. En los últimos años, seguramente se ha acelerado al mismo ritmo que el resto de las evoluciones tecnológicas. ¿No es así?
Hace aproximadamente un mes, Sam Altman hablaba sobre su percepción de la creatividad.
“Todo lo "creativo" es una remezcla de cosas que sucedieron en el pasado, más épsilon y multiplicado por la calidad del bucle de retroalimentación y el número de iteraciones.
La gente cree que debe maximizar épsilon, pero el truco está en maximizar los otros dos.
(inspirado, por supuesto, en ideas de otras personas)”
Podríamos pensar que lo mismo ha ocurrido con las matemáticas; cada civilización ha ido incorporando sus propias innovaciones, desde las antiguas culturas como la babilónica, egipcia, etrusca, maya o jemer, hasta nuestros días.
Pero hoy en día, el debate sobre el uso de las matemáticas está tomando otro cariz. Son muchas las voces que critican el uso inadecuado de las mismas y las desigualdades que están comenzando a surgir. Y ese es el tema que me gustaría abordar en la edición de esta semana: las matemáticas como arma, en este caso, un arma de destrucción masiva, tal como lo enunciaba Cathy O’Neil en el título de su famoso libro 📕, Weapons of Math Destruction.
Suscríbete para leer esta y otras muchas historias sobre innovación, tecnología y negocios.
No diga algoritmo, diga matemáticas
Hoy en día, una gran parte de las decisiones tomadas en el mundo están influenciadas o asistidas por algoritmos. En mi opinión, el uso de la palabra "algoritmo" es un eufemismo, una forma de atribuir una deidad y representación suprema a algo o alguien que parece tener más capacidades que el resto de los humanos para tomar decisiones en nuestro nombre.
Nuestro cerebro tiende a ser perezoso por naturaleza, y los seres humanos también lo somos. Por esta razón, hemos externalizado una parte significativa de nuestro día a día a algo que es a menudo incomprendido y despreciado por la mayoría de nosotros: las matemáticas. Sí, las matemáticas.
Un algoritmo, según la RAE, no es más que un conjunto ordenado y finito de operaciones que permite encontrar la solución a un problema, o un método y notación en las distintas formas del cálculo.
Es por ello que hablo del uso del término "algoritmo" como un eufemismo o representación de una deidad, similar a cómo Dios o Alá representan mucho para muchos cristianos o musulmanes. Es una forma de simplificar y delegar todos nuestros miedos y desconocimientos en un tercero.
La realidad es que si reflexionamos, muchas de las acciones que llevamos a cabo en el día a día están respaldadas por algoritmos. Lo que vemos en Netflix, lo que nos llegan a través de terceros en las redes sociales, los algoritmos deciden a quién contratamos para nuestra empresa.
Los algoritmos incluso llegan a determinar aspectos tan importantes como la admisión de nuestros hijos en una escuela en particular o en una u otra universidad, y así sucesivamente, en una lista interminable de acciones y decisiones que impactan y moldean el rumbo de nuestras vidas.
Si te gusta lo que estas leyendo, no olvides que también tienes disponible el podcast de Innovation by Deafult 💡.
Aunque esta semana no tenemos edición de audio, puedes escuchar alguno de los capítulos anteriores.
Entre números y cuerdas de guitarra 🎸
El fin de semana pasado asistí al concierto de mi banda favorita en Texas, aunque en realidad no estuve en los EE.UU.; lo vi a través de la pantalla de cine en Kinepolis. En la actualidad, la innovación está presente en todas partes.
Metallica, sin lugar a dudas, ha sido una de las bandas más innovadoras, tanto en la creación de su propio estilo como en la formulación de modelos de negocio en la industria musical. El hecho de realizar transmisiones en vivo de sus conciertos es solo una muestra de ello. Sin embargo, a veces no pudieron evitar nadar contracorriente, y el fenómeno de Napster e Internet les asestó un golpe inesperado, no solo a ellos, sino a toda la industria musical de los años 90.
Esto me hizo pensar sobre cómo la música, las matemáticas y los algoritmos comparten varias similitudes y conexiones, a pesar de pertenecer a campos aparentemente diferentes.
Patrones y estructuras: Tanto la música como las matemáticas y los algoritmos están intrínsecamente ligados a la idea de patrones y estructuras, desde la melodía de las canciones a los fractales presentes en la naturaleza.
Lenguaje universal: La música, las matemáticas y los algoritmos pueden considerarse lenguajes universales en cierto sentido, en cualquier parte del globo terraqueo han evolucionado de forma similar.
Creatividad e innovación: Tanto los músicos como los matemáticos y los desarrolladores de algoritmos utilizan la creatividad e innovación en sus respectivas áreas para seguir avanzando.
Impacto en la vida cotidiana: La música nos acompaña en momentos de alegría y reflexión, las matemáticas están presentes en áreas como la tecnología, la ciencia, la economía y los algoritmos influyen en casi todo hoy en día.
Las matemáticas y el tirititero
En los últimos años hemos visto como esta combinación de datos y algortimos, han condicionado nuestras elecciones y las de terceros, impactando en la línea de flotación de nuestras sociedades democráticas, ya que los algoritmos sin querer estan privando la libertad de nuestra sociedad, y no me refiero sólo a la sociedad occidental, china es un gran ejemplo de como la algoritmia aplicada en el día a día, puede controlar y condicionar la vida de los ciudadanos.
Internet, las redes sociales y la peridida de libertad
Internet puede ser una herramienta poderosa para la democracia, pero también es vulnerable a la manipulación. Hemos visto como los algoritmos de los motores de búsqueda y las redes sociales se pueden usar para influir en las decisiones de los usuarios, y los candidatos políticos son conscientes de este poder.
Según reoge Cathy O’Neil en Weapons of Math Destruction hay distintos estudios que encontraton patrones entre los votantes indecisos que usaban un motor de búsqueda que había sido programado para favorecer a un candidato específico, y como se decantaron en un 20% por la opción preferida del algoritmo. Otro estudio encontró que los usuarios de Facebook que eran bombardeados con noticias políticas eran más propensos a votar en las elecciones.
En las elecciones de 2012, el equipo de Obama utilizó un equipo de analistas de datos para crear perfiles matemáticos de los votantes. Estos perfiles se utilizaron después para encontrar personas similares en bases de datos nacionales y enviarles anuncios específicos que apelaran a sus gustos.
Estos estudios nos muestran que Internet puede ser una herramienta poderosa para la manipulación.
Pero la pregunta es si podemos evitarlo, y aquí nuestro pensamiento crítico cobra gran interes. Como premisa no hemos de tomar nada por sentado y verifique los hechos antes de tomarlos como verdad. Así que al menos deberíamos pensar en que:
No hemos de confiar en todo lo que vemos en interner, averiguemos de dónde viene la información.
Seamos conscientes de nuestros sesgos, que influyen en nuestras decisiones.
No seamos espectadores pasivos, hemos de ser participes en conversaciones y debates en las redes sociales, para equilibrar la balanza de la injusticia del algoritmo,
Garbage in, garbage out
El principal problema de los algoritmos es que pueden estar sesgados por los datos con los que han sido entrenados. Estos datos pueden reflejar los sesgos de la sociedad o de las personas que los han entrenado.
Un ejemplo de esto es su uso para la anticipación y tratamiento de la delincuencia en el mundo de la investigación criminal, algo que ya está recogido en la nueva regulación para la Inteligencia Artificial de la UE. En 2009, el Departamento de Policía de Chicago recibió una subvención para desarrollar un nuevo programa informático de predicción de la delincuencia. Este programa utilizó un algoritmo que elaboró una lista de las 400 personas con más probabilidades de estar implicadas en un homicidio.
Una de esas personas era Robert McDaniel, un joven de 22 años que se convirtió en el centro de atención de la policía. En 2013, un agente de policía incluso visitó la casa de McDaniel para hacerle saber que la policía tenía los ojos puestos en él.
Sin embargo, McDaniel nunca fue acusado de ningún delito. Acabó siendo marcado en rojo por el algoritmo basándose únicamente en la gente a la que seguía en las redes sociales y en los delincuentes que casualmente vivían en su barrio.
¿Pero cómo ha ocurrido esto?
Los algoritmos se basan en datos históricos para determinar dónde es más probable que se produzcan delitos. En este caso, la policía determinó qué datos se introdujeron en el algoritmo. Y dónde puso foco, en aquellos barrios que más delitos habían recibido, normalmente aquellos barrios con minorías étnicas o concentración de rentas bajas.
Pero hay más ejemplos, como es el caso de las aseguradoras, que calculan los riesgos asociados a cada conductor en base al histórico del mismo, así como otras fuentes de datos externas, como puede ser su historial crediticio.
Tal es el caso que en Florida, donde adultos con un historial de conducción impecable y malos informes de crédito acaban pagando una media de 1.552 dólares más al año que los conductores con un crédito excelente y antecedentes de conducción bajo los efectos del alcohol.
Y sin querer, la desigualdad social se ve afectada por un ente externo, como es una aseguradora. Al verse obligados a pagar más por el seguro, las familias con problemas de liquidez tendrán más probabilidades de dejar de pagar otra factura y empeorar aún más su calificación crediticia. Y luego, cuando su seguro actual caduque, la tarifa de su próximo contrato subirá aún más, aunque no hayan infringido ni una sola norma de tráfico.
Sesgos, segos, tú eres todo sesgos
Pero hay más ejemplos de como el uso indiscriminado de algoritmos en vez de hacer nuestra sociedad un lugar mejor donde vivir, ponen en riesgo la equidad entre sus ciudadanos. Déjame acabar la entrada de esta semana con dos ejemplos más.
El primero de ellos es la influencia de los algoritmos a la hora de encontrar trabajo, y como datos erroneos o tratados inadecuadamente pueden poner en riesgo de exclusión a determinadas personas, como es el caso de Bhen y Catherine.
Kyle Behm, afectado por trastorno bipolar, enfrentó múltiples rechazos debido a un algoritmo que lo etiquetó como profesional bajo rendimiento. Lo que le hizo presentar una demanda contra siete empresas diferentes en virtud de la Ley de Estadounidenses con Discapacidades. Catherine Taylor, por otro lado, fue rechazada por un cargo debido a un error en los datos que la relacionó con un delito que nunca cometió.
Ambos casos destacan cómo la influencia de los algoritmos puede generar injusticias y desafíos en la toma de decisiones laborales. Si quieres escuchar más sobre como los algoritmos campan a sus anchas en los procesos de selección, escucha la serie de episodio del podcast del MIT Technology Review y se te pondran los pelos como escarpias. Beating the AI hiring machines es solo el último episodio de una serie de episodios donde hablan de las trampas, engaños y errores inducidos de los algoritmos en los procesos de selección.
El último de los ejemplos que te traigo, es el de la influencia negativa de los rankings universitarios en la educación superior en EE.UU y su papel en el aumento de los costos de matrícula en un 500%.
El algoritmo utilizado por US News and World Report en la década de los ochenta para clasificar universidades estadounidenses basado en factores como puntuaciones del SAT y tasas de aceptación, llevó a las instituciones a competir por mejores resultados en esas áreas para mejorar su clasificación. Esto generó una carrera por acaparar más recursos, aumentando significativamente el costo de la educación.
Además, la inclusión de tasas de aceptación baja en la fórmula, arruinó el concepto de "escuela de seguridad", ya que las instituciones buscaban bajar sus tasas para obtener una mejor posición en los rankings, afectando a la elección de estudiantes y perjudicando sus planes académicos.
Tradicionalmente, una universidad segura era aquella que tenía un alto índice de aceptación y servía como plan de respaldo para un estudiante que también solicitaba plaza en una universidad más prestigiosa, como Harvard o Yale.
En última instancia, esta buena idea de evaluación se volvió contraproducente y dañina. Creando todavía una mayor distancia entre la reputación de las grandes escuelas y esas escuelas de seguridad.
Food for thought
Los algoritmos fueron inicialmente concebidos para ser de ayuda, una verdad inmutable que, sin embargo, sufrió de una implementación defectuosa. Los programadores o matemáticos detrás de este proceso nunca consideraron en sus inicios la necesidad de que fueran neutrales y justos. Nadie había previsto que los prejuicios humanos y las falencias lógicas de nuestra sociedad pudieran ser transferidos de manera tan literal a lo que un ordenador procesaba matemáticamente.
No obstante, hoy en día hemos aprendido que muchos de los algoritmos empleados, desde aquellos que calculan el costo de seguros para autos hasta sistemas judiciales, han incorporado los prejuicios y conceptos equivocados de sus creadores. El problema subyacente es que, como estos algoritmos operan a gran escala, estos sesgos resultan en millones de decisiones injustas, y esto ocurre mucho más rápido que si pusiéramos a nuestro cuñado al mando de la nave Enterprise.