Supongamos que eres científico, cuentas con un doctorado en biología y ejercés como docente universitario con una dedicación exclusiva. Supongamos que eres hijo nacido de inmigrantes que se instalaron en un barrio popular, villa o ghetto. Estudiaste, trabajaste y ahorraste lo más posible durante toda tu vida para salir adelante. A fin de ahorrar todo lo que puedas, seguís viviendo en el humilde barrio donde naciste. Ya tenés un buen dinero ahorrado y decidís ir por el sueño de la casa propia en otro lugar. Para ello te dirigís a tu banco de preferencia y solicitás un préstamo bancario para comprar o construir tu nuevo hogar.
Tu puntaje crediticio es apto y nunca tuviste un atraso en tus pagos, debería ser un trámite más en tu vida. Sin embargo, la palabra final respecto a si te otorgan el crédito ya no depende de la persona que te atiende en el banco, sino que esta ingresa, y valida, distintos datos tuyos en su computadora y luego ésta le indica si pueden otorgarte el crédito o no.
Para sorpresa de ambos, el banco, a través de su software, rechaza tu solicitud de préstamo. Salís pensativo, y sin entender muy bien el por qué de esa decisión ya que vos ya cumpliste tu cuota ante la sociedad.
El problema podría ser que el algoritmo sobre el cual corre el software del banco, ha aprendido, con datos pasados, que la mayoría de las personas que viven en ese barrio y solicitan un crédito suelen no devolverlo, o no en tiempo y forma sin antes tener que litigar al respecto, lo cual sucede porque no poseen un trabajo fijo y formal. El algoritmo sabe demasiado, de forma implícita generó su propio sesgo y, debido al peso que le otorga a cada variable nos impone un muro frente al sueño de la casa propia.
Podríamos dirigirnos nuevamente al banco y exigir que nos den una explicación al respecto. La persona que te atiende volverá a ingresar todos tus datos al sistema y el resultado será el mismo. Vos pedís una explicación real pero lamentablemente nadie puede hacerlo. Solo oyes excusas.
El problema no serías vos. El problema podría radicar en los datos con los que alimentaron al algoritmo en primer lugar. El problema podría ser permitir que una sola variable, como tu domicilio actual, pueda derrumbar toda la operación. El problema lo habrá generado entonces el grupo de personas que desarrollaron el software en primer lugar. El problema pasaría a ser los algoritmos que actúan como cajas negras, aquellas en las que el público, y muchas veces sus dueños, no saben qué se encuentra en su interior.