Joy Buolamwini[74], científica del MIT y fundadora de la “Liga de la Justicia Algorítmica” (Algorithmic Justice League, en inglés), descubrió sesgos racistas y de género en los sistemas potenciados por AI que son vendidos y distribuidos por gigantes tecnológicos de la talla de IBM, Microsoft y Amazon. Así, de no ser precavidos podríamos tirar por la borda el progreso logrado por las luchas sociales a lo largo de la historia. La historia está llena de injusticias y trato desigual a grupos humanos por cuestiones ligadas al color de la piel, creencias religiosas, género, ingreso monetario o país de origen. Que no queden dudas: depurar los datos con los que vamos a alimentar nuestras AI es tan importante como el conocimiento que nos permitió crearla y trabajar con ella. Entender al feminismo como parte del proceso que conlleva completar el legado de la lucha de la Revolución Francesa en materia de derechos es fundamental, y por ende; aplicar esta perspectiva para garantizar que el desarrollo de las herramientas que regirán nuestro futuro ofrezca a cada persona las mismas oportunidades, es sumamente importante. Claro que hay que entender que no todo lo que nosotros consideremos correcto será visto igual por toda la sociedad, y por ello es importante contar con una educación inclusiva y empática hacia el resto, para hacer a un lado nuestras diferencias y reconocer las injusticias ajenas, a fin de poder repararlas juntos. Los valores de un país no se aplicarán a todos, y probablemente lo que occidente considere moralmente más ético, no sea lo mismo que en China y viceversa.
En Estados Unidos, algunos Estados emplean un algoritmo de gestión y perfilado de delincuentes con la finalidad de predecir si se corre riesgo de que una persona incurra en una nueva ofensa si es puesta en libertad y así brindar sanciones alternativas a los jueces y juezas de cada caso. Uno podría argumentar que esto es una buena idea ya que así los jueces podrían impartir fallos más justos. El tema es no olvidarse, una vez más, con qué información alimentamos a este algoritmo para que tome sus decisiones. Si le cargamos todos los fallos y sentencias pasadas, en un sistema marcado por decisiones históricamente racistas, es muy probable que el algoritmo no sea justo para todas las personas. Efectivamente ha quedado demostrado que el cálculo emitido por este algoritmo llamado Compas no es acertado y en ocasiones emite fallos más racistas y polémicos que lo solemos ver en los juzgados[75].
El mecanismo empleado por Compas, no deja de ser interesante. Antes de escuchar sus sentencias, las personas que cometieron crímenes en algunos Estados de este país del hemisferio norte, deben responder un test de 137 preguntas que versan sobre temas variados, como el tipo de crimen que cometieron, el uso de sustancias por sus padres cuando eran menores de edad, su percepción respecto a su felicidad, su nivel económico, entre varias otras aristas. De esta forma el algoritmo intenta predecir la probabilidad de riesgo de que una persona vuelva a delinquir y así busca emitir fallos basados en la gestión del riesgo, casi como si se tratara de una prestadora de seguros. El cuestionario no incluye preguntas respecto al color de piel de las personas, pero aquellas preguntas relacionadas respecto a si sus padres pasaron por la cárcel antes que ellos, los crímenes en su barrio y la estabilidad económica de las personas, son respuestas que suelen mostrar un sesgo desfavorable contra la población afroamericana, que históricamente ha sido empobrecida y encarcelada de forma desproporcional.
Como dice Ijeoma Oluo:
La belleza del antirracismo es que no tienes que fingir estar libre de racismo para ser antirracista. El antirracismo es el compromiso de luchar contra el racismo dondequiera que lo encuentres, incluso en ti mismo. Y esa es la única forma de avanzar.
En este mismo sentido vale mencionar, como llamado de atención, que en 2018 Amazon tuvo que dejar de utilizar el algoritmo del que se valía para seleccionar qué personas contratar. El problema se dio porque Amazon alimentó este algoritmo con los currículum que habían procesado durante la última década, y por ende el algoritmo tendió a contratar perfiles similares a los anteriormente contratados por la empresa. Esto hizo que el algoritmo deseche rápidamente los perfiles de aquellas personas que habían asistido a escuelas de mujeres o que habían jugado en equipos deportivos de mujeres, ya que esto no coincidía con el perfil de sus contrataciones anteriores para personas en determinados puestos.
Necesitamos que el desarrollo de la Inteligencia Artificial tenga perspectiva de la importancia de la diversidad para prevenir y reducir sesgos negativos. Si queremos crear una AI que sirva para la asesoría legal, además de enseñarle las leyes vigentes y todos los fallos de la Justicia que tengamos a disposición, también quizás sea apropiado intentar lograr que este algoritmo entienda en cierta forma los sentidos de misericordia y justicia que también son parte de la ley. Esto quiere decir que al producir estos algoritmos, también debemos enseñarles valores. No puede ser lo mismo la condena para una persona que roba por primera vez un trozo de pan, por necesidad, para darle de comer a su familia, que la pena contra un funcionario público que de forma avara y corrupta decide robar 1 millón de dólares para salvaguardar el futuro de su familia. A la ligera, ambas acciones persiguen el mismo fin, sin embargo, la naturaleza y las condiciones en que se dan estos hechos son completamente diferentes.
[74] Buolamwini, J. (2016). How I’m fighting bias in algorithms. TED Talks. Visto el 27 de julio del 2021, en https://www.ted.com/talks/joy_buolamwini_how_i_m_fighting_bias_in_algorithms.
[75] Angwin, J., Larson, J., Mattu, S., & Kirchner, L. (2016). Machine Bias. ProPublica; ProPublica. https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing.