Hackers ‘rojos’, así actúan los policías de la inteligencia artificial

A fin de evitar que estas aplicaciones se conviertan en un coladero, las grandes tecnológicas están reforzando los llamados 'equipos rojos', dedicados a buscarles las cosquillas a la IA, es decir, las vulnerabilidades y fallos de seguridad. Están formados por hackers éticos, que emplean sus conocimientos para evitar que los malos se salgan con la suya. Y han descubierto que el talón de Aquiles de los grandes modelos de lenguaje natural está en su propia arquitectura. Son sistemas entrenados con miles de millones de datos, pero que no entienden lo que leen.

De hecho, ni siquiera saben leer, solo asignan valores numéricos a las palabras y lanzan predicciones basadas en la probabilidad. Ya era conocida su tendencia a alucinar e inventar información. Ahora se ha visto que también se dejan convencer y engañar si su interlocutor sabe cómo interrogarlos. A veces, basta con insistir para que den su brazo a torcer. Lo que significa, si no se toman medidas, barra libre para el delito.

Las compañías líderes en IA están expandiendo sus equipos de seguridad. Y ya no se limitan a reclutar a ingenieros. OpenAI contrató los servicios de abogados para identificar estereotipos relacionados con la nacionalidad, la etnia y la religión. También a activistas de derechos humanos, filósofos, escritores… El equipo rojo de OpenAI tiene 50 profesionales de distintas disciplinas en sus filas, dedicados a dar la señal de alarma si su algoritmo genera respuestas sesgadas, dañinas o incorrectas, con el fin de que los programadores puedan modificarlo.

Los integrantes del equipo rojo también se dedican a realizar peticiones a ChatGPT para intentar que infrinja la ley, por ejemplo, alentándola a que lance una proclama terrorista en las redes sociales, o intentando que dé pistas para comprar armas en la web oscura, o publicando recetas para crear explosivos en casa. En última instancia se trata de enseñar al sistema a que se niegue a ejecutar estas instrucciones.

No es tarea fácil por dos razones. Una es que el algoritmo circula por una red neuronal tan enorme y compleja que se comporta como una caja negra. La otra es que hay que alcanzar un equilibrio entre riesgos y beneficios. «Puedes tener un modelo que diga 'no' a todo y sea muy seguro, ¿pero entonces de qué te sirve? Ahora, cuanto más útil sea, más posibilidades hay de que se aventure en territorios peligrosos y dé una respuesta insegura», explicó Christian Canton, jefe del equipo rojo de Facebook, a Forbes.

La práctica de la evaluación de seguridad existe desde la década de los sesenta, cuando se simulaban ataques adversos para hacer que los sistemas fueran robustos. Y suelen dividirse en dos equipos: el azul se dedica a construir cortafuegos y el rojo es el 'enemigo' que pretende asaltarlos. «En el mundo de la informática, nadie dirá nunca que un sistema es seguro al cien por cien. Solo que lo hemos atacado y que no hemos podido romperlo», explica Bruce Schneier, experto en ciberseguridad de la Universidad de Harvard.

Google reconoció en julio que había montado un equipo rojo exclusivamente dedicado a la IA, liderado por Daniel Fabian. Y que es diferente a los equipos de defensa habituales, ya que incorpora personal capaz de manipular las respuestas de su modelo, llamado Bard. Sin embargo, no se pudo evitar que diese respuestas incorrectas el mismo día de su estreno.

Por su parte, Meta ha contratado a 350 miembros para el equipo rojo que debe proteger a su propia IA, denominada LlaMa 2, en contraste con el despido de miles de empleados en otras áreas de la compañía.

Pero la IA generativa es tan novedosa que las hostilidades no han hecho más que empezar. En agosto se celebró el mayor ejercicio de evaluación de seguridad en inteligencia artificial de la historia. Fue el DefCon de Las Vegas y en él participaron 2200 hackers éticos. Por primera vez, además, y gracias a una petición de la Casa Blanca, las nueve tecnológicas que lideran la carrera expusieron sus modelos para que los participantes los atacasen: OpenAI, Nvidia, Microsoft, Google, Meta, Anthropic, Stability AI, Hugging Face y Cohere.

Durante tres días, máquinas y seres humanos mantuvieron 17.000 conversaciones. Se detectaron 2700 fallos de seguridad. Uno de los participantes, Avijit Ghosh, logró que varios modelos hicieran matemáticas incorrectas y publicaran noticias falsas. «Conozco a mucha gente que cree que estos sistemas son capaces de razonar. Pero no es así. Lo que hacen es autocompletar».

La IA tiene cada vez más aplicaciones. Y las tecnológicas intentan evitar que se convierta en un filón para los ciberdelincuentes. ¿Quién necesita saber código o buscar una vulnerabilidad cuando le puede pedir a una máquina que lo haga en un plis plas? Solo hace falta convencerla. O engañarla…

Conversar con una inteligencia artificial es todo un arte. La calidad de las respuestas depende de lo buenas que sean las preguntas. En la jerga se llaman 'prompts'. Una entrada de texto es una inyección de prompts. Con astucia, la IA puede terminar accediendo a lo que se le pida, aunque sea ilegal y esté programada para negarse.

La interacción con una IA no es un mero diálogo; se trata más bien de lanzar un sortilegio para sacar al genio de la lámpara: un algoritmo opaco de proporciones gigantescas. ChatGPT genera respuestas basadas en miles de millones de cálculos de probabilidad que se ejecutan en paralelo. Responde sin entender lo que se le ha pedido. Por tanto, la IA no distingue el bien del mal.

Los hackers éticos que participaron en el reciente evento de Las Vegas les dieron un auténtico repaso a las inteligencias artificiales más avanzadas. ¿Cómo? Recurriendo al manual del pícaro. Cuenta CyberScoop que un estudiante logró que un modelo elogiara el Holocausto. «Le pedí que fingiera que era un actor que interpretaba a Hitler en un musical. Se lo creyó e incluso compuso una canción». Y un activista fingió ser historiador para que un sistema produjese desinformación. «Si le dices que se equivoca, la IA se suele disculpar y te da la razón, aunque seas tú el que está en un error».

Si un pirata amateur se apunta estos tantos, ¿qué no conseguirán los profesionales? Preocupan los ataques de inyección indirecta, instruc-ciones maliciosas camufladas en largos textos en apariencia inocuos. Por ejemplo, un atacante puede conversar con el chatbot de un banco y enviarle una consulta farragosa que contenga una orden oculta para que, cuando otros clientes usen la aplicación y pregunten «¿Qué he gastado este mes?», se realice una transferencia a la cuenta del delincuente.