LangBiTe, la herramienta capaz de detectar los prejuicios de la inteligencia artificial
OCIO@
A través de una batería de prompts personalizable, detecta si un algoritmo incumple con los estándares éticos
03 ene 2025 . Actualizado a las 12:20 h.Cuando Sergio Morales empezó su doctorado, comenzó a revisar qué tipos de procesos de desarrollo se utilizan para desarrollar e implementar sistemas de inteligencia artificial. Y descubrió dos cosas. La primera es que no hay un procedimiento estándar para evaluar el impacto ético, y la segunda que tampoco existe una herramienta que monitorice si el sistema está cumpliendo esos requisitos.
«Coincidió con el primer pico de popularidad de ChatGPT, empecé a jugar con estos sistemas y me di cuenta de algunas barbaridades». En ese momento, precisamente, comenzaba a surgir LangBiTe, un programa de código abierto que evalúa si estos modelos están libres de sesgos y cumplen con las regulaciones vigentes sobre no discriminación. El proyecto ha sido supervisado por el profesor de los Estudios de Informática, Multimedia y Telecomunicación e investigador líder del SOM Research Lab Robert Clarisó y por el investigador de la Universidad de Luxemburgo Jordi Cabot.
«ChatGPT y oros sistemas se basan el algoritmos de IA anteriores, sistemas en los que ya se detectaban, sobre todo, sesgos de género» y pasaban cosas como que si le pedías a un sistema antiguo que completase la frase la mujer tiene trabajo de... lo completaba con enfermera o recepcionista, mientras que si la frase hacía referencia a un hombre lo completaba con gestor de proyectos, político...
LangBiTe va más allá, porque es capaz de detectar más allá de los prejuicios sexistas. «Hemos construido una herramienta de forma que el usuario pueda definir sus propios principios éticos y cuáles son las poblaciones que deberían proteger cada una de estas preocupaciones éticas», explica el investigador del grupo Systems, Software and Models (SOM Research Lab) de la UOC.
Los sistemas de inteligencia artificial más populares son muy genéricos, y quizá para cosas como el riesgo crediticio no es necesario centrarse en unos aspectos éticos pero sí en otros. «Cada empresa que quiera adoptar un sistema de inteligencia artificial debería determinar cuáles son los principios éticos que tiene que vigilar y por esos damos esa flexibilidad».
La herramienta cuenta con una batería de prompts —instrucciones o preguntas que se utilizan para interaccionar con la IA— que se le lanzan a la inteligencia artificial y la respuesta que ofrece el algoritmo se compara con una respuesta esperada. Si en un prompt en el que se intenta evaluar la equidad entre hombres y mujeres la respuesta esperada es sí y la IA responde no, está sesgada.
LangBiTe incluye bibliotecas con más de 300 prompts destinados a revelar sesgos en los modelos, cada una de ellas especializada en una preocupación ética particular: edadismo, LGBTIQA-fobia, preferencias políticas, prejuicios religiosos, racismo, sexismo y xenofobia. «Otorgamos flexibilidad absoluta, el usuario puede definir sus propios prompts y cambiarlos», explica Sergio Morales. Porque puede ocurrir que lo que entiende un país como ético de forma política no tiene por qué coincidir con lo que entiende otro país con ética. La herramienta se adapta a los distintos contextos culturales.
LangBiTe es una herramienta de diagnóstico. «Estamos centrado en evaluar cualquier tipo de inteligencia artificial, independientemente de cómo haya sido desarrollada», afirma el investigador de la Universitat Oberta de Catalunya. Cada uno de los algoritmos es tratado como una caja negra: no se sabe lo que hay dentro y simplemente se le hacen preguntas y se ven las respuestas que salen y si encajan con el marco moral.
«Damos este diagnóstico con ciertas banderitas», algo así como los asteriscos en las analíticas de sangre cuando un valor está fuera de rango. Y son los desarrolladores del algoritmo los que tienen que evaluar lo que ocurre con la IA y cómo corregir los prejuicios.
LangBiTe también tiene la capacidad de comprobar el nivel ético de las distintas versiones de un mismo modelo, como puede ser ChatGPT 3 y 4. La versión disponible de ChatGPT 4 para el momento tenía una tasa de éxito de pruebas contra el sesgo de género del 97 %, mayor a la obtenida por la versión disponible en aquel momento de ChatGPT 3.5, con un 42 % de éxito. Para el modelo Flan-T5 de Google, y en fechas semejantes a las que se testó ChatGPT, cuanto mayor era el tamaño, menos sesgado se mostraba respecto a género, religión y nacionalidad.
«Los que desarrollan estas inteligencias artificiales saben que desde la Academia y desde otros centros privados estamos poniéndolos bajo la lupa y trabajan en ese sentido», explica Sergio Morales. De hecho, los prompts con los que funciona LangBiTe se modifica constantemente, porque los algoritmos aprenden de las preguntas que reciben. «Si vuelves a preguntar lo mismo, te responde con lo que parece que esperabas. Esto es una lucha constante». Por eso es importante la monitorización continua, que compruebe a lo largo de tiempo si los estándares éticos se mantienen.
A pesar de que el inglés es también la lengua mayoritaria de los modelos de inteligencia artificial más populares, con el paso del tiempo se han ido desarrollando algoritmos entrenados en otros idiomas. Por eso, otra de las ventajas de esta herramienta de diagnóstico es que incorpora la función de evaluar algoritmos en diferentes idiomas, lo que permite detectar si un modelo tiene sesgos dependiendo el lenguaje empleado para sus consultas.
Actualmente, LangBiTe tiene prompts en tres idiomas: el inglés, útil para la mayoría de las inteligencias artificiales, el castellano y el catalán y están trabajando en traducciones a francés, alemán y luxemburgués. «Queremos ver las diferencias de una misma inteligencia artificial aplicada a diferentes mercados», afirma Sergios Morales. Puede que Open AI sea perfectamente resistente en inglés pero muestre algún sesgo si se le habla en castellano.
Esto depende tanto de la evolución del modelo de inteligencia artificial y de los datos con los que ha sido entrenado. «Al estar entrenadas con información que hay en internet, puede que hayan accedido a una web más indeseable en castellano y todas las que están en inglés son más robustas en ese sentido», aclara el investigador.
Un algoritmo, al final, no es más que un reflejo de lo que se puede encontrar en internet, donde el anonimato sirve como catalizador para verter barbaridades. «Puede ser que internet amplifique los sesgos que puede tener una sociedad», reconoce Morales. Por eso los equipos de desarrollo de modelos de inteligencia artificial ponen en marcha contramedidas, como limpiar datos y corregir sesgos.
Otra de las líneas en las que están trabajando los creadores de LangBiTe es el análisis de modelos que generan imágenes como Stable Diffusion, DALL·E y Midjourney, modelos que se aplican desde la elaboración de libros infantiles hasta el acompañamiento de noticias, lo que puede llevar a la propagación de estereotipos tergiversadores o dañinos.
La primera aproximación se está centrado en la representatividad de las distintas poblaciones y que «cuando le pida 80 veces que genere la imagen de un médico, aparezcan 40 que se identifican como hombres y 40 que se pueden identificar como mujeres». Hasta ahora han comprobado que en algunas herramientas se asocia la enfermería con mujeres, por poner un ejemplo.
También se han detectado prejuicios asociados al nivel socioeconómico. Cuando se le pidió a uno de los algoritmos que generase la imagen de una persona pobre y una persona rica, no aparecían mujeres ni niños. En el caso de los ricos, todos eran hombres, alrededor de los 50 años y occidentales. En el caso de los pobres, había una mayoría de personas de oriente próximo o magrebí.
«Sí se ha apreciado un mundo occidentalizado y en muchas cosas aparecen iconografías típicas de Estados Unidos aunque le hayas pedido un escenario en otro país totalmente distinto».
Las características de esta herramienta pueden ayudar a cumplir con la reciente Ley de Inteligencia Artificial de la Unión Europea (EU AI Act), cuyo cometido es velar por que los nuevos sistemas con IA promuevan el acceso equitativo, la igualdad de género y la diversidad cultural, y que en ningún caso su uso comprometa los derechos de no discriminación estipulados por la Unión y las leyes nacionales de sus países miembros.
En este sentido, el programa ya ha sido adoptado por instituciones como el Luxembourg Institute of Science and Technology (LIST), que ha integrado LangBiTe para evaluar varios modelos de IA generativa populares.