¿Puede un algoritmo ser injusto?

Detrás de cada servicio digital (o físico en ya muchos casos), como los que nos proponen qué comprar, qué película ver... existen profundos estudios de cómo nos comportamos. No es que nos planteemos si pueden estar influyendo en nuestras decisiones, que sí que lo están haciendo, sino ¿cuántas, cuáles y cómo pueden estar afectadas? ¿Cómo influyen en lo que consumimos y en la forma en que lo hacemos? ¿En qué pensamos? Así cambian nuestra intención de compra, nuestra opinión, modificando o coartando nuestra creatividad.

No voy por un camino alarmista. Del mismo modo que en la ropa que vestimos influye el clima, también influyen las tendencias de moda de temporada, pero en general somos conscientes de ello y podemos tomar la decisión de ir a la moda o no. Realmente estoy pensando en esa otra guerra por captar nuestra atención e influir en nuestras decisiones menos conscientes: sistemas de recomendación, finales de series decididas por la audiencia, opiniones filtradas por relevancia (relevante para quién) en las redes sociales, no ver opiniones discrepantes en las mismas...

Detrás de estos sistemas están los algoritmos (conjunto ordenado y finito de operaciones que permite hallar la solución de un problema), llamados ya en múltiples casos como inteligencia artificial (IA). Basados en sistemas matemáticos, y a esta la consideramos la más exacta de las ciencias, podemos caer en el error de creer que obtienen un resultado objetivo y cierto. Realmente obtienen el resultado para el que fueron creados: si está buscando minimizar el consumo de calefacción en un hogar, se ajustarán a cuando estemos en casa, pero si están buscando maximizar las ventas de una eléctrica, nos ofertarán más climatizadores.

Todos estos sistemas no son justos por sí mismos. Están creados por personas, y como tal pueden estar trasladando sesgos de la sociedad a los mismos. Ahora, la disyuntiva cristaliza en una pregunta: ¿en qué casos queremos trasladar características humanas a reglas de decisión matemática?

Cada vez tenemos sistemas más potentes, ganan a los humanos al ajedrez y al Go, ayudan en investigación médica y llevan naves más allá de Plutón, pero estos están basados en leyes físicas. La disyuntiva ética viene cuando tratamos de que nos respondan a preguntas para tomar decisiones humanas y subjetivas: ¿a quién contratar? ¿Qué producto recomendar? ¿Qué noticias presentar? ¿Qué libros leer? ¿Qué debemos pensar?

Por ejemplo, si en un sistema de contratación de personal queriendo hacerlo más justo, a su algoritmo de decisión lo entrenamos con los perfiles contratados en las empresas en los últimos X años, es probable que tenga un sesgo masculino: históricamente se han contratado más hombres y han llegado a puestos de más responsabilidad. Sería un sesgo que no deberíamos querer propagar. Un algoritmo justo puede ser mal entrenado por datos.

Si entrenamos un simulador conversacional (chatbot) con datos de conversaciones obtenidos de foros de Internet, tendrá el sesgo de las personas que ahí escriben. Conocido es el caso del chatbot de Microsoft que tuvo que retirar porque aprendió a escribir comentarios racistas. Como sistema informático no debemos admitirlo, pero como estudio social es un indicador para incidir en la educación de las personas que escribieron los comentarios con los que fue entrenado.

Cuando empleamos estas técnicas para la traducción automática de idiomas parece lograr comunicaciones mucho más fluidas, se genera un lenguaje artificial intermedio interlingua, analizando la frase completa, su sentido y su contexto.

Sistemas explicables

O como en el caso de la universidad de Georgia y Facebook, que entrenando una IA en técnicas de negociación, también desarrolló un lenguaje propio (una variante del inglés) aparentemente más efectivo, pero que a los investigadores ya les costaba descifrar, y decidieron finalizar el experimento. No deberíamos admitir sistemas que no fuésemos capaces de explicar.

Se puede pensar que como profesionales de los sistemas de información, trabajamos en un entorno científico y que lo que dicen los datos es la certeza de lo analizado. Puede ser, pero... ¿Coincide con la realidad deseada y el objetivo buscado? Estos sistemas implican lidiar con decisiones éticas. Hoy en día se han construido sistemas de información que controlan lo que ven millones de personas en cada momento, control de coches autónomos con reglas de colisión, atropello... ¿Qué coche autónomo comprarías: el que en caso de accidente maximice tu supervivencia, o el que te mate para evitar el atropello y muerte de un grupo de peatones?

La Unión Internacional de Telecomunicaciones (UIT) y la Organización Mundial de la Salud (OMS) también buscan ampliar el uso de estas tecnologías en la salud a nivel mundial, marco internacional de estándares, control de pandemias, ayuda para evaluar síntomas de pacientes, monitorización remota... La ONU considera que todos estos sistemas de IA ayudarán a acelerar el progreso de los objetivos de desarrollo sostenible, mejorar la seguridad y distribución de alimentos o el control de hambrunas. Pero también creó el año pasado en La Haya un centro de monitoreo de IA para conocer la influencia de la misma, tanto positiva como negativa.

En España, por encargo del Gobierno, en el último año un grupo de expertos ha elaborado un Libro Blanco para definir una estrategia nacional sobre IA. Aún no está publicado, esperemos que lo esté pronto y que sirva de base para afrontar todos estos retos.

Podríamos tratar también infinidad de casos más: armas letales autónomas, manipulación de voto (Cambridge Analytica), alteración de la bolsa (flash crash), sistemas de análisis de riesgos de bancos y aseguradoras...

Debemos pedir que todos estos sistemas de análisis se rijan por códigos éticos, que sus diseñadores sean conscientes del fin buscado, que se corrijan los sesgos que presenten, que haya responsables detrás de los mismos, que sean explicables y se sepa cómo toman sus decisiones, que sepamos de dónde toman los datos, que sean auditables y comprobables.

Deberemos usar estos sistemas donde nos sean útiles, resuelvan un problema y no nos generen otros, incluidos los éticos. No se trata de pelear contra los algoritmos, sino de combinar nuestras habilidades con las suyas. Empresas como Google tienen puestos como diseñador ético y filosófico para analizar cómo de intrusivos son sus servicios en sus usuarios, probablemente esta sea una de las nuevas profesiones a desarrollar en próximos tiempos.

No le echemos la culpa al ordenador, no deleguemos las responsabilidades humanas: autocontrol por parte de los diseñadores, regulación por parte de las autoridades. Como decía, entre otros, el tío de Spiderman: «Un gran poder conlleva una gran responsabilidad».