Los algoritmos no van a solucionar las injusticias y las discriminaciones. Es una de las principales conclusiones extraídas del seminario Justicia Algorítmica en clave de género, organizado por el Instituto de las Mujeres. “No se puede reducir la complejidad humana, y estamos implantando algoritmos muy sencillos para ámbitos muy complejos. No se puede usar el mismo sistema algorítmico para medir la eficiencia de los empleados en un súper, que en un juzgado o en un colegio. La complejidad que vemos los humanos es ciencia ficción para la Inteligencia Artificial. Si no intervenimos seguirán pagando los de siempre”, resume la doctora en Políticas Tecnológicas Gemma Galdón, presidenta de la Fundación Éticas. 

La Alta Comisionada de las Naciones Unidas para los Derechos Humanos, Michelle Bachelet, acaba de pedir el establecimiento urgente de una moratoria en la venta y el uso de los sistemas de Inteligencia Artificial. E, incluso, ha solicitado la prohibición directa cuando esta tecnología no cumpla con las normas internacionales. “La inteligencia artificial puede ser una fuerza para el bien, que ayude a las sociedades a superar algunos de los mayores retos de nuestro tiempo. Pero (…) también puede tener efectos nocivos e incluso catastróficos, cuando se emplea sin prestar la debida atención a su capacidad de vulnerar los derechos humanos”, dijo días atrás.

Galdón ha insistido durante su intervención en el coloquio en lo que considera un problema angular: la falta de control –por “vagancia”, llega a decir, de esta tecnología por parte de las administraciones. “Hemos permitido a la industria tecnológica un espacio de no rendición de cuentas muy anómalo en nuestra sociedad. Y hay que someterla a los mismos controles que cualquier espacio de innovación que nos rodea”. Pone un ejemplo sencillo: no se nos ocurriría comprar un coche sin limitación de velocidad o sin cinturón de seguridad, no se fabrican. Otro ejemplo: cuando vamos a comprar una lavadora sabemos cuánto de eficiente es; la industria ha traducido esas cuestiones en letras, y todo el mundo, en general, sabe qué está adquiriendo. “[Sobre la Inteligencia Artificial] No hemos obligado a la industria a este ejercicio de transparencia que empodere a los ciudadanos para tomar decisiones. Nosotros estamos trabajando en crear un prospecto algorítmico, como con los medicamentos”.

En ello incide el progresivo desplazamiento social del conocimiento intuitivo y experiencial respecto al datificado y de algoritmos, según expone la ingeniera y programadora informática Margarita Padilla. Autora de varios textos de pensamiento crítico a las tecnologías, y una de las fundadoras de Sindominio para el apoyo de colectivos sociales en la red, pone dos ejemplos. Tras hacerse unos análisis, la doctora le dijo que tenía que tomarse unas pastillas para controlar el colesterol porque tenía factores de riesgo. Ella le preguntó que cuáles eran esos factores. “Si es la vida sedentaria, puedo decidir hacer deporte, por ejemplo. Quería entender cuál era el factor de riesgo, y la respuesta de la doctora fue: eso la máquina no me lo dice”.

“Yo me enfrento a una decisión sobre mi salud que no puedo impugnar porque no tenemos el razonamiento por el que la máquina me recomienda a mí tomar pastillas contra el colesterol. En este caso caso no es tan grave –prosigue–, pero llevado a otras cuestiones importantes, me parece una situación de indefensión gravísima”.

La reflexión de la ingeniera, por otro lado, es si podemos llamar inteligencia a un “supuesto” conocimiento –“acepto que puede ser un conocimiento estadístico”–, que no está razonado: “El 90% de las personas desarrollará colesterol, pero ¿a quién le va a tocar? ¿A tu cuerpo o al mío? Se toma una decisión masiva que no puedes impugnar. Se traslada una verdad estadística a un cuerpo singular y tiene unas consecuencias sociales muy graves”.

Algoritmos en justicia

Padilla traslada la situación a la justicia. ¿Aceptaríamos veredictos de los jueces y juezas no razonados? “El hecho de que yo no pueda impugnar una decisión si, por ejemplo, se me niega un crédito, una hipoteca, el alquiler de una casa, es muy grave. Si un juez juzga una violación y dice que la chica llevaba minifalda, eso al menos da pie a una contraargumentación y, por tanto, a una transformación”, sostiene.

El catedrático de la Universitat Pompeu Fabra y miembro del Consejo de IA del Gobierno, Ricardo Baeza, difiere en algunos aspectos. ¿Se pueden crear algoritmos sin sesgos o con la mayor reducción de sesgos? “En teoría sí, pero en la práctica hay muchas cosas que nos impiden hacerlo. Hay cosas que no sabemos, no tenemos suficientes datos, hay aspectos que tenemos que aprender y estudiar más. Eso va a ser en el futuro. Pero a las decisiones humanas no solo afecta el sesgo sino también el ruido. En ese sentido –afirma–, los algoritmos son mejores que las personas. Las personas muchas veces toman decisiones distintas ante el mismo hecho. Un juez puede dar una pena distinta a dos personas. Puede influir el estado de ánimo, si no durmió bien, etc. El ruido a veces es peor que el sesgo mismo”.

Pone como ejemplo un estudio que concluyó que el sesgo del algoritmo era mayor pero era más justo que los jueces porque no tenía ruido. “Puede que la decisión sea sesgada, injusta, pero va a decir lo mismo. Y se determinó que podía bajar el crimen el 25% o se podía mandar a menos personas a la cárcel porque no se equivocaba con temas de ruido. Igual este ruido ampliaba el sesgo racista de los jueces”, afirma. El estudio, según el catedrático, fue encargado por el área económica de EEUU –y no de Justicia– porque “quería destinar menos dinero a cárceles».

Los sesgos, un reflejo de la sociedad

Sergi Yanes, investigador posdoctoral del grupo de investigación Género y TIC (GenTIC) de la Universitat Oberta de Catalunya (UOC), es rotundo: “Los sesgos no deseados son parte y consecuencia de la sociedad en la que vivimos, y vivimos en una sociedad basada en la desigualdad”. Se detiene en el género y, como recordó la directora del Instituto de las Mujeres, Antonia Morillas, en la influencia patriarcal en el diseño: “Los algoritmos están diseñados para priorizar unos patrones en los datos. Pero los fenómenos son inestables y ni siquiera responden a patrones. Habría que intentar alcanzar una manera de producir algoritmos donde los sesgos se reduzcan al máximo posible. Debemos entender los datos insertándolos en contextos políticos y socioculturales».

El primer paso –continúa Yanes– es incluir a las mujeres, ampliar la mirada: “Lo que no te afecta no existe y hoy la Inteligencia Artificial es un ámbito científico y profesional profundamente masculinizado”. El investigador aboga por introducir la perspectiva de género en las personas que crean esas tecnologías y que esas personas provengan de otros campos, no solo del tecnológico: “También desde las humanidades y las ciencias sociales, para producir sinergias que van mas allá del diseño tecnológico”.

Y no solo para el diseño, afirma Lorena Jaume-Palasi, fundadora y directora ejecutiva de The Ethical Tech Society y cofundadora de la organización AlgorithmWatch: los sesgos se producen en todo el ciclo de implementación y uso del sistema computacional. “No se resuelve con tener un buen diseño y ya está. Una vez se ha montando la infraestructura, como una autovía, requiere cuidado. Y la monitorización es parte de este tipo de cuidado. Requiere la observación de cómo las personas interactúan porque ahí también pueden surgir sesgos, que puede tener que ver con la persona que está usando esta tecnología y que intenta evadir el algoritmo. Con ello surgen o se va desarrollando una especie de situación orgánica entre la maquina y las personas. Porque esta idea de que a un lado está la maquina y a otro lado la persona es como decir blanco y negro. No podemos crear sistemas neutrales, pero sí la concienciación de qué tipo de sesgo tiene algo y cómo podemos compensar este tipo de sesgo manual o estadísticamente”.

Esa es una de las claves que aporta Lucía Ortiz de Zárate, graduada en Física y Filosofía e investigadora predoctoral en Ética y Gobernanza de la Inteligencia Artificial en la Universidad Autónoma de Madrid: que la ciudadanía entienda, sin necesidad de tener conocimientos técnicos, de qué estamos hablando y, en ello –sostiene–, es fundamental el trabajo desde las humanidades y las ciencias sociales.

Jaume-Palasi, no obstante, insiste en una cuestión también clave que desaconseja los algoritmos para determinados ámbitos: «Se basan en el pasado o en el pasado reciente y se están usando como base para intentar organizar el futuro. Eso se puede hacer por motivos de eficiencia cuando a nivel social hay una estabilidad. Pero hay muchas situaciones sociales, como ahora en la pandemia, en las que el comportamiento cambia, o situaciones políticas de transición, como vemos ahora en Chile. El deseo social no es repetir el pasado, lo que ayuda al cambio social son conceptos como la resiliencia, la capacidad de adaptarse a situaciones cambiantes, y no la eficiencia, basada en estructuras pasadas”, explica.

La eficiencia, añade citando a Wendy Chun, tiene más sentido para  el cambio climático: esto puede pasar y es lo que queremos evitar. “Esto no sirve para la justicia. Se evalúa, por ejemplo, el riesgo de que una persona vuelva a reincidir de acuerdo a un pasado histórico de perfiles similares”.

La responsabilidad de las decisiones humanas

Muchas veces, el algoritmo evita la responsabilidad de tener que tomar “decisiones humanas”. Margarita Padilla, que pone ejemplos muy claros y cotidianos en sus intervenciones, cuenta este caso. Dos hermanas cuidan de su tía, mayor y enferma. Una opina que no hay que hacerle mucho caso cuando se queja, que lo que le ocurre es que reclama atención; y la otra cree lo contrario. Deciden usar una pulsera inteligente, basada en la medición de las pulsaciones, para tomar decisiones sobre su tía. “Qué pasa si el modelo está fallando y si las cuidadoras están cometiendo alguna injusticia como consecuencia de utilizar un algoritmo, en este caso una pulsera inteligente. Hacia qué sociedad vamos”, se pregunta la ingeniera. Es decir, ahora las hermanas no interpretan lo que necesita su tía y consideran que hacen lo correcto de acuerdo a lo que dice una máquina. “La incertidumbre de la vida humana genera situaciones invivibles y las descargo en sistemas supuestamente objetivos. Cuando esas incertidumbres darían lugar a sociedades más convivenciales”, destaca.

En este contexto, Padilla, que cuenta que en su clase de Informática solo había dos mujeres de cien personas, propone el activismo de datos: “Datificar es representar y sirve para desvelar las injusticias, involucrando a las personas concernidas”.

Porque luego está la gran pregunta, que se hace Lorena Jaume-Palasi después de poner sobre la mesa el impacto social, ecológico, de género que puede implicar el desarrollo de todas estas infraestructuras: “la extracción de minerales y el trabajo esclavo de mujeres y niños, el uso (o el abandono) que hará de esta tecnología la siguiente generación…”. Y es la siguiente: ¿Hasta qué punto queremos usar ese tipo de tecnologías para cambiar el mundo, para hacer un mundo más justo? ¿Por qué no se puede hacer sin algoritmos?

El análisis cuantitativo no alcanza a comprender las discriminaciones, en el big data no tiene cabida el poder, concluye Sergi Yanes. “No podemos reducir la complejidad humana a fórmulas matemáticas”, cerró a modo de resumen la moderadora del evento, Ángeles Bueno Sierra, presidenta de Womenteck.