Julio César Guanche
En 2021 un hombre, afroamericano, fue arrestado en Michigan, y esposado frente a su casa delante de su familia. La orden de detención fue generada por un sistema de Inteligencia Artificial (IA), que identificó al sujeto como el comisor de un hurto. La IA había sido entrenada mayoritariamente con rostros blancos, y erró por completo al identificar al infractor. Probablemente, haya sido el primer arresto injusto de su tipo.
Ese mismo año, en Holanda 26 mil familias fueron acusadas de fraude. El dato en común entre ellas era poseer algún origen migrante. El hecho llevó a la ruina a miles de inocentes, que perdieron casas y trabajos, obligados a devolver dinero de la asistencia social.
Se trataba de un error que generó una “injusticia sin precedentes” en ese país. El gabinete renunció ante el escándalo. El diagnóstico del supuesto fraude lo elaboró una IA.
La IA: utopías y distopías dataístas
Por más novedosa que sea la IA, no es nuevo el lugar de las matemáticas en el procesamiento de asuntos sociales.
La filosofía rebosa de utopías dataístas. Para Tomás Moro, la instauración de un nuevo método de gobierno debía basarse en una herramienta que garantizara la excelencia en la administración de los negocios: las matemáticas. Con la IA, la utopía de “la buena administración de las cosas y el buen gobierno de las personas”, de Saint-Simon, promete una renovada oportunidad a través de algoritmos procesados por máquinas, no por gusto llamadas “ordenadores”.
La IA supone la interacción entre un software que aprende y se adapta, un hardware con poder masivo de cómputo, y cantidades ingentes de datos. Ha sido definida como “una constelación de procesos y tecnologías que permiten que las computadoras complementen o reemplacen tareas específicas que de otro modo serían ejecutadas por seres humanos, como tomar decisiones y resolver problemas”.
Son muchas sus ventajas: toma de decisiones informadas, gestión masiva de información, lucha contra la crisis climática, restauración de ecosistemas y hábitats, retardo de pérdida de biodiversidad, eficiente colocación de recursos sociales, mejora de ayuda humanitaria y de asistencia social, diagnósticos y aplicaciones de salud, control de flujos de tráfico, etcétera.
Ahora, las distintas connotaciones políticas de los usos de las matemáticas han sido advertidas de muchas maneras. Engels le decía a Marx en 1881: “Ayer, por fin, encontré las fuerzas para estudiar sus manuscritos matemáticos y, aunque no utilicé libros de apoyo, me alegró ver que no los necesitaba. Lo felicito por su trabajo. El asunto está tan claro como la luz del día, así que no deja de extrañarme la forma en que los matemáticos insisten en mitificarlo. Debe de ser por su manera tan partidista de pensar”.
Karl Popper, el autor de La sociedad abierta y sus enemigos, considerada la “biblia de las democracias occidentales” por Bertrand Rusell —él mismo matemático—, comenzó su carrera como profesor de matemáticas y física.
El Leviatán, de Thomas Hobbes, un programa político de todo punto antirrepublicano, decía que un buen gobierno procede de la modelización sobre una máquina: “este gran Leviatán llamado REPÚBLICA o ESTADO no es otra cosa que un hombre artificial, aunque de estatura y fuerza superiores a las del hombre natural”.
La IA, ese “hombre artificial”, promete ser neutral, pero es muchas veces parcial: produce así un “leviatán algorítmico”. Con frecuencia, opera con una caja negra: se conoce la información suministrada al algoritmo, pero se desconoce el proceso seguido por este para alcanzar determinado resultado. En esas condiciones, si existe discriminación, se ignora si se produjo sobre la base de sexo, etnia, color de la piel, edad, religión, ideología, u otra dimensión.
Sin cajas negras —en algunos países están siendo sometidas a regulación legal— sería posible identificar cómo un algoritmo discrimina. Por lo general, se debe a que la información sobre la que se entrenan los algoritmos es parcial, o a que estos reproducen sesgos discriminatorios preexistentes. No es posible obviar que la estructura histórica de la industria tecnológica está compuesta principalmente por hombres blancos, de estratos clasistas y marcos culturales bastante homogéneos entre sí.
No obstante, la discriminación puede resultar también intencional. El odio, la división y la mentira son buenos para los negocios: multiplican los intercambios a monetizar. En este campo, la producción de discriminación se puede esconder bajo secreto empresarial.
El racismo algorítmico
La noción de raza ocupa un papel central en la discriminación algorítmica.
De esta centralidad da cuenta la Recomendación sobre la Ética de la Inteligencia Artificial, primer instrumento mundial sobre el tema, adoptada en noviembre de 2021 por 193 Estados miembros de la UNESCO. El documento procura, entre otros objetivos, asegurar la equidad y la no discriminación en la implementación de IA, en busca de evitar que se perpetúen las desigualdades sociales existentes, y de proteger grupos vulnerables.
No hay forma científica de justificar la existencia de “razas” humanas. Todos los individuos del género humano cuentan con 99.99 % de genes y ADN idénticos. Los rasgos que determinan el aspecto físico de las personas obedecen tan sólo a 0.01 % del material genético. El concepto de raza es resultado del racismo, no su origen.
La IA cubre con un manto de ciencia su proceder en materia de raza —asegura que es una variable invisible— pero opera muchas veces con bases pseudocientíficas.
El primer empleo formal del término “pseudociencia” se registra en 1824, para calificar la frenología. Los sistemas de reconocimiento facial que aseguran predecir peligrosidad, características o personalidad a partir de fotografías, reproducen lógicas de esa pseudociencia.
Expresión de racismo científico, como fueron también la craneometría, la demografía racial y la antropología criminal, la frenología afirmaba la posibilidad de determinar el carácter y los rasgos de la personalidad, y de tendencias criminales, basándose en la forma del cráneo, la cabeza y las facciones. Hace bastante cuenta con nula validez científica.
Sin embargo, según Achille Mbembe, el importante filósofo camerunés, “los nuevos dispositivos de seguridad [como el reconocimiento facial con uso de IA] vuelven a tener en cuenta elementos del pasado en regímenes anteriores: regímenes disciplinarios y penales del esclavismo, elementos de guerras coloniales de conquista y ocupación, técnicas jurídico-legales de excepción.”
Hay pruebas a granel de ello. El sistema COMPAS, utilizado en Estados Unidos para predecir reincidencia en delitos, ha sido cuestionado porque los acusados afroamericanos sufren el doble de probabilidades de ser calificados de modo erróneo por el sistema. Un mismo curriculum vitae tiene 50% de posibilidades más de pasar a una entrevista de trabajo si el nombre del candidato es identificado por el algoritmo como europeo-americano, que como afroamericano.
Joy Adowaa Buolamwini, una científica informática del Massachusetts Institute of Technology (MIT), a quien Netflix le dedicó el documental Coded Bias, ha evaluado varios sistemas de reconocimiento facial de empresas de vanguardia en el ramo. Su conclusión fue que las tasas de error en el reconocimiento para los hombres de piel más clara eran de no más de 1 %. A la vez, encontró que al tratarse de mujeres de piel más oscura los errores alcanzaban 35 %.
Sistemas líderes de reconocimiento facial han sido incapaces de reconocer los rostros de Michelle Obama, Oprah Winfrey y Serena Williams. Twitter no pudo identificar a Barack Obama. Un rapero construido con Inteligencia Artificial fue “despedido” por reproducir estereotipos racistas. Tay, una IA concebida para tener interacciones “cool” con sus usuarios, en menos de 24 horas pasó de decir que los humanos eran “súper guay” a decir que “Hitler no hizo nada malo”. Personas de color de piel negro pueden no recibir en Facebook publicidad de venta de casas.
¿Es racista la IA?
Dejemos responder la pregunta a ChatGpt3:
La IA es tan buena como los datos que procesa. Un modelo de algoritmo mal diseñado difunde sesgos a escala. Al mismo tiempo, dar por buenos los datos a procesar por la IA, sin someterlos a escrutinio crítico, es un sueño de la razón que produce monstruos sin cesar.
Las series de datos policiales, por ejemplo, responden a bases de información que han sido construidas, en muchos casos, con datos parciales, con prácticas legales que después dejaron de serlo, o con métodos desde entonces ilegales, en contextos comunes de racismo policial.
El racismo es una herencia estructural, social y cultural que a la vez se reconstruye. El racismo es reinterpretado, evoluciona y se reproduce. No basta con un criterio de justicia como “no discriminación”, al procesar los datos, que mantenga anónimos los nombres implicados, e invisibilice los datos raciales, que entienda la justicia al modo de “tratar a todos como iguales”.
Un caso conocido en Estados Unidos, mostró la incapacidad de ese criterio para producir resultados justos: un sistema de IA, para conceder préstamos bancarios, omitió nombres y cualquier dato que pudiese remitir al color de la piel. Sin embargo, el resultado produjo resultados marcadamente racistas.
La investigación arrojó que la petición del código postal de su vivienda a cada sujeto involucrado en la investigación reintrodujo el racismo, aunque se hubiese pretendido expulsar la marca de la raza de los datos colectados. El código postal de zonas identificadas con mayorías de población afroamericana fue desfavorecido en comparación con los vecindarios cuyo código postal era identificada por el algoritmo como mayormente blancos.
El presente es su historia: lo que se saca por la puerta, regresa por la ventana. La superación de la historia requiere hacerla visible, no lo contrario.
El solucionismo tecnológico no es la solución
Las soluciones ofrecidas por máquinas tienen aureola de neutralidad ideológica, eficiencia tecnológica y cifran las nuevas capacidades para enfrentar antiguos problemas. La IA se presenta como gestión tecnológica de la organización de asuntos comunes. Es fácil enmarcarla dentro de la ideología no partidista del “solucionismo tecnológico”.
Sin embargo, para Cathy O’Neil, matemática y activista estadounidense, los algoritmos resultan “opiniones encerradas en matemáticas”. Sin comprometerse con estadísticas conscientes de la noción de raza, sin hacer que los datos tomen en cuenta las diferencias socioeconómicas de grupos poblacionales frente a otros grupos, sin garantizar participación, control y transparencia en la recolección y uso de datos, el algoritmo pierde mucho de su fascinación tecnológica, y revela, bastante primitivamente, la naturaleza política del contexto en que funciona.
La raza no existe, pero existe el racismo. La IA no es racista per se, pero produce resultados racistas. Sin hacerse cargo de la historia, el algoritmo es una opinión que codifica la exclusión y programa la discriminación dominantes en la historia inscrita en sus datos.
