Aquellos legisladores comprometidos con la defensa de lo público han comenzado a trabajar en la transparencia algorítmica y en la justicia en la red, basándose en el trabajo de académicos del ámbito del Derecho, que reclaman un proceso tecnológico justo, neutralidad de las plataformas y principios de no-discriminación.

Esta labor política está surgiendo a medida que los expertos traducen la investigación académica y las demandas de los activistas en leyes y reglamentos. Los legisladores están proponiendo proyectos de ley que requieren estándares básicos de transparencia y de auditoría de los algoritmos. Estamos comenzando un largo camino para asegurar que los procesos de contratación y de cobertura financiera basados en el uso de inteligencia artificial (IA) no se utilicen si tienen un impacto discriminatorio en las comunidades históricamente vulnerables. Y así como esta “primera ola” de investigación y de activismo sobre la rendición de cuentas algorítmica ha apuntado a los sistemas existentes, una “segunda ola” emergente se ocupa de cuestiones más estructurales. Ambas olas serán esenciales para asegurar una economía política de la tecnología más justa y genuinamente emancipadora.

Aunque hubo un primer momento de enamoramiento por la evaluación computacional de las personas, muchos —incluyendo miembros del establishment corporativo y gubernamental— reconocen ahora que los datos pueden estar sesgados, o ser inexactos o inapropiados. Los académicos han establecido espacios institucionales como el evento anual “Fairness, Accountability, and Transparency in Machine Learning”, con el objetivo de que programadores, juristas y científicos sociales interactúen regularmente y puedan abordar preocupaciones relativas a la justicia social. Cuando las empresas y los gobiernos anuncian planes para utilizar IA, se presentan desafíos y se reclaman auditorías. En algunos casos esto da lugar a verdaderos cambios políticos. Por poner un ejemplo, el gobierno Liberal australiano ha revertido recientemente algunas políticas de “robodebt” (que consiste en el uso de programas informáticos automatizados para la recuperación de deudas) y, finalmente, ha tenido que echarse atrás ante la justificada indignación provocada.

Todos estos avances son el resultado de una “primera ola” (tomando prestada una periodización familiar en la historia del feminismo) de promoción e investigación acerca de la rendición de cuentas algorítmica. Estas son acciones vitales, y deben prolongarse indefinidamente —debe haber una constante vigilancia del uso de IA en los sistemas socio-técnicos, que son con demasiada frecuencia los legisladores no reconocidos de nuestro acceso diario a la información, al capital, e incluso a las citas amorosas—. Sin embargo, como han advertido Julia Powles y Helen Nissenbaum, no podemos detenernos en esta primera ola. Ellas plantean las siguientes preguntas:

¿Qué sistemas vale realmente la pena crear? ¿Cuáles son los problemas más urgentes a abordar? ¿Quién está mejor posicionado para crear estos sistemas? ¿Y quién toma la decisión de hacerlo? Necesitamos auténticos mecanismos de rendición de cuentas, ajenos a las empresas y accesibles para los ciudadanos. Cualquier sistema de IA que se integre en la vida de las personas debe ser objeto de contestación, de rendición de cuentas y de reparación ante los ciudadanos y los representantes del interés público.

Mientras que la primera ola de rendición de cuentas algorítmica se centra en la mejora de los sistemas existentes, una segunda ola de investigación cuestiona si estos deben ser utilizados —y, en caso afirmativo, quién debe gobernarlos—.

Por ejemplo, en lo que respecta al reconocimiento facial, los investigadores de la primera ola han demostrado que muchos sistemas no están preparados para identificar correctamente los rostros de las minorías. Estos investigadores se centran en hacer que el reconocimiento facial sea más inclusivo, asegurándose de que tenga el mismo índice de éxito para las minorías que para las mayorías. Sin embargo, investigadores y defensores de la segunda ola se han preguntado lo siguiente: ¿Si estos sistemas se utilizan a menudo para la opresión o la estratificación social, debe ser la inclusión el objetivo? ¿No es mejor prohibirlos, o al menos asegurar que sólo se autoricen para usos socialmente productivos?

Las preocupaciones de la segunda ola son todavía más profundas en relación al uso de la IA para la “clasificación facial”, que ha sido promovida como un mecanismo capaz (o inminentemente capaz) de reconocer la orientación sexual, las tendencias criminales y el riesgo de mortalidad a partir de imágenes de rostros.

No basta con que la comunidad investigadora recopile los porqués de “la inferencia facial de las tendencias criminales”. Cuando esta inferencia se realiza a partir de un conjunto de datos pequeño o sesgado, es poco probable que proporcione pistas contundentes sobre quién tiene más probabilidades de cometer un delito. En todo caso, deberíamos cuestionarnos también si este tipo de investigación debe o no tener cabida en nuestra sociedad.

Debemos esperar que esta diferenciación entre las preocupaciones de la primera y la segunda ola nos ponga al corriente también de las discusiones sobre la aplicación de la IA y de la robótica en el campo de la medicina. Para algunos investigadores que están desarrollando aplicaciones de salud mental, por ejemplo, las preocupaciones de la primera ola de rendición de cuentas algorítmica se centrarán en si un corpus lingüístico de estímulos y respuestas se adapta adecuadamente a diversas comunidades con distintos acentos y formas de auto-presentarse.

Los críticos de la segunda pueden introducir un enfoque más jurídico y económico-político que cuestione si dichas aplicaciones están alterando prematuramente los mercados (y la profesión) de atención a la salud mental. El objetivo entonces sería acelerar la sustitución de software barato (si es limitado) por profesionales expertos y empáticos, lo cual requiere una mayor inversión. Estas cuestiones laborales son ya un asunto básico en la regulación de las plataformas sociales. Predigo, en este caso, que se extenderán a muchas áreas de la investigación sobre la rendición de cuentas de los algoritmos, a medida que los críticos exploren quién se está beneficiando (y quién está asumiendo la responsabilidad) de la recopilación, el análisis y el uso de los datos.

Por último (en lo que respecta a este post), podemos apreciar una división en la regulación financiera. Las voces del establishment han aclamado la tecnología financiera (fintech) como una forma revolucionaria de incluir a más individuos en el sistema financiero. Dados los sesgos en la valoración crediticia realizada en base a datos “marginales” o “alternativos” (como el uso de los medios sociales), las clases dirigentes se sienten relativamente cómodas con algunas intervenciones “anti-sesgo” básicas.

Pero también deberíamos hacernos preguntas más amplias sobre cuándo la “inclusión financiera” puede ser depredadora o alarmante (como la vigilancia 24/7), o generar subordinaciones de poder interesadas (como en el caso de una aplicación india de fintech, que reduce la “puntuación” de personas implicadas en actividades políticas). ¿Qué sucede cuando la tecnología financiera permite una forma de “deuda perpetua”? Kevin P. Donovan y Emma Park han estudiado este problema en Kenia:

A pesar de ser pequeños, los préstamos tienen un coste elevado, a veces de hasta el 100% anualizado. Como nos dijo un nairobiano, estas aplicaciones “te dan dinero poco a poco, y luego van a por tu cuello”. No es el único que valora así el “fintech”, la industria de la tecnología financiera en expansión que proporciona préstamos a través de aplicaciones móviles. Durante nuestra investigación, estos regímenes de endeudamiento emergentes han sido calificados como “catastróficos”, una “crisis” y un gran “problema social”. Los periódicos informan de que las aplicaciones móviles de préstamos son la base de una ola de desorden doméstico, violencia e incluso suicidios.

Como ha argumentado Abbye Atkinson, debemos reconsiderar cuál es el ámbito de aplicación adecuado del “crédito como prestación social”. A veces solo aporta el cruel optimismo de un espejismo de Horatio Alger (o, peor aún, la crueldad optimista que caracteriza la psico-política del capitalismo tardío). Así como las razones económicas pueden ser racionalizadas, el entusiasmo por la cobertura financiera “basada en la inteligencia artificial” tiende a ocultar las dinámicas problemáticas de las finanzas. De hecho, si no se ponen en tela de juicio, la economía convencional y la IA podrían conferir una pátina de legitimidad a ciertos sistemas sociales quebrantados.

En la actualidad, la primera y la segunda olas de responsabilidad algorítmica son en gran medida complementarias. La primera ola ha identificado y corregido problemas claros en la IA y ha aumentado la conciencia pública de sus sesgos y sus límites. La segunda ola ha ayudado a ralentizar el despliegue de la IA y la robótica lo suficiente como para que la primera ola tenga más tiempo y espacio para desplegar reformas constructivas. Es muy posible que en el futuro se produzcan enfrentamientos entre los que quieren reparar, y los que están abiertos a poner fin o limitar la evaluación computacional de las personas. Por ejemplo: los que se comprometen a reducir los índices de error de los sistemas de reconocimiento facial para las minorías pueden querer añadir más rostros de minorías a esas bases de datos, mientras que los que encuentran opresivo el reconocimiento facial se resistirán a esa “reforma”, al considerarla una forma más de inclusión depredadora. Pero, por ahora, considero que ambas olas comparten un objetivo común: hacer que los sistemas socio-técnicos sean más sensibles a las comunidades vulnerables.