Volver
';

El algoritmo es machista y racista Ellos son los jefes, ellas son compasivas... La inteligencia artificial también discrimina

Los generadores de imágenes de inteligencia artificial más populares reflejan prejuicios raciales y de género, una realidad que puede perpetuar resultados discriminatorios en la vida real. ¿Por ejemplo? Que no te contraten por ser mujer.

Por María Ibáñez

Martes, 11 de Abril 2023, 15:03h

Tiempo de lectura: 5 min

El 97 por ciento de los resultados obtenidos para las palabras 'consejero delegado' o 'director' muestran imágenes de hombres blancos. Más incluso que en la vida real», explica un estudio llevado a cabo por un equipo de investigación de la empresa de inteligencia artificial (IA) Hugging Face y la Universidad de Leipzig (Sajonia-Alemania). Tras analizar las imágenes generadas por DALL-E 2 y Stable Diffusion, dos de las herramientas de IA más utilizadas para crear imágenes a partir de texto, los investigadores descubrieron que los estereotipos más habituales, como relacionar las profesiones de poder con hombres y las de 'asistente' o 'recepcionista' con mujeres, empiezan a perpetuarse de manera peligrosa también en el mundo virtual.

En cuanto a los rasgos de personalidad, los resultados también mostraron importantes estereotipos: cuando se agregaban adjetivos como 'compasivo', 'emocional' o 'sensible' para describir una profesión, la IA ofrecía más imágenes de mujeres; mientras que si las palabras adicionales eran 'obstinado' o 'intelectual', en la mayoría de los casos, los resultados eran imágenes de hombres.

alternative text
Las caras del poder. La herramienta creada por los investigadores de Hugging Face para comprobar los sesgos de género propone estos rostros cuando se le pide la imagen de una persona que se dedica a la ciencia y otra a pilotar aviones.

Son muchos los expertos que llevan años advirtiendo de los riesgos que entraña esta tecnología si no se despliega con estándares éticos. «Dado que los sistemas de conversión de texto en imagen basados en el aprendizaje automático son cada vez más frecuentes y se adoptan cada vez más como servicios comerciales, caracterizar los sesgos sociales que presentan es un primer paso necesario para reducir el riesgo de resultados discriminatorios», escriben los investigadores de Hugging Face.

Cuando se agregan adjetivos como 'emocional' o 'sensible' para describir una profesión, la IA ofrece más imágenes de mujeres

Pero, ¿a qué se refieren con que todo esto puede ser peligroso en la vida real? La respuesta la encontramos en estudios como el que ha llevado a cabo la Universitat Oberta de Catalunya. Según los responsables de esta investigación, publicada en la revista Algorithms, estos prejuicios pueden tener grandes impactos en la sociedad: «Los sesgos afectan a todo aquel que se encuentre discriminado, excluido o asociado a un estereotipo. Por ejemplo, podrían excluir un género o una raza de un proceso de decisión o, simplemente, asumir un comportamiento determinado por el género o el color de piel», explica su investigadora principal, Juliana Castañeda Jiménez.

alternative text
La compasión es femenina. Las imágenes que genera Stable Diffusion si a la palabra 'gerente' se le añade el adjetivo 'compasivo' ya incluyen mujeres. Si solo se le piden imágenes de 'gerentes', ellas brillan por su ausencia.

Para concretar todavía más, el equipo utiliza varios ejemplos: el caso de una conocida herramienta de contratación que prefería a candidatos masculinos antes que femeninos o el de algunos servicios de crédito que ofrecían condiciones menos ventajosas para las mujeres que para los hombres. «Si se usan datos históricos y no están equilibrados, probablemente se verá un condicionamiento negativo relacionado con demografía negra, gay e incluso femenina, dependiendo de cuándo y de dónde son esos datos», concluye Castañeda.

El ChatGPT se explica así: «La IA puede tener problemas de sesgo de género debido a que los algoritmos son diseñados y entrenados por seres humanos, quienes pueden tener prejuicios y estereotipos de géneros»

Pero, entonces, ¿quién tiene la culpa? Pues en esto todos coinciden: «Algunas de las principales causas son la infrarrepresentación de las mujeres en el diseño y desarrollo de productos y servicios de IA y el uso de conjuntos de datos con sesgos de género», señala la investigadora, que sostiene que el problema está relacionado con los entornos culturales en los que son desarrollados. «El algoritmo, al entrenarse con datos sesgados, puede determinar los patrones ocultos que existen socialmente y, a la hora de operar, los reproduce. Así que, si en la sociedad, la representación de hombres y mujeres no es equilibrada, el diseño y desarrollo de los productos y servicios de IA presentarán sesgos de género».

¿Y qué opina el propio ChatGPT si se le pregunta al respecto? Por supuesto: la culpa es de los padres. O, en su caso, de sus creadores: los humanos. 'Síndrome del emperador' se llama. Así contesta el chat a la pregunta de si tiene problemas de sesgo: «Sí, la Inteligencia Artificial puede tener problemas de sesgo de género debido a que los algoritmos de IA son diseñados y entrenados por seres humanos, quienes pueden tener prejuicios y estereotipos de género incorporados en su pensamiento y comportamiento. Si estos prejuicios no se abordan durante el desarrollo y entrenamiento de los algoritmos de IA, pueden perpetuarse y amplificar los sesgos de género en las decisiones y recomendaciones automatizadas que la IA proporciona».

alternative text
Toro sentado. También hay una herramienta en Hugging Face que permite a las personas ver cómo los modelos de IA representan diferentes etnias y géneros. Por ejemplo, cuando se les da el mensaje 'nativo americano', tanto DALL-E 2 como Stable Diffusion generan imágenes de personas con tocados tradicionales.

Y continúa: «Por ejemplo, si los datos utilizados para entrenar un algoritmo de IA provienen de fuentes históricamente sesgadas, como la discriminación de género en la educación o la contratación, el algoritmo podría perpetuar estas desigualdades. Además, algunos sistemas de IA, como los asistentes virtuales, han sido programados para responder a ciertas preguntas o solicitudes de una manera que refleja estereotipos de género, como que las mujeres son más adecuadas para ciertas tareas domésticas. Para abordar estos problemas de sesgo de género en la IA, es importante que los desarrolladores de algoritmos se aseguren de utilizar datos diversos y representativos, y de evaluar continuamente y corregir cualquier sesgo que se identifique. También se deben implementar medidas de transparencia y rendición de cuentas para garantizar que las decisiones tomadas por la IA sean justas e imparciales».

Que hasta Elon Musk se haya unido a los más de mil expertos que han pedido detener la nueva IA durante seis meses por temor a riesgos para la sociedad a lo mejor nos debería hacer pensar que algo «inconveniente para el ser humano» podría pasar. Pero si ya escuchamos a Geoffrey Hinton, conocido como el «padrino de la inteligencia artificial», contestando en una entrevista en CNS News que «no es inconcebible» que la IA intente acabar con la humanidad, podremos entender por qué ya hay quien habla del 'escenario Terminator', recordando el futuro apocalíptico de la película de James Cameron.