El botón del pánico ya está listo

¿Y si algún día fuese necesario apagar a los robots? El vasto y desconocido potencial de la inteligencia artificial ha llevado a la humanidad a prepararse para un escenario profusamente tratado por el cine y la literatura. Google DeepMind y la Universidad de Oxford han desarrollado un botón del pánico para desconectar cualquier agente IA que despliegue un comportamiento dañino para las personas.

.

Redacción

La saga Terminator, Odisea en el Espacio, Yo Robot... El cine ha instalado en el imaginario colectivo la posibilidad de pertenecer a un futuro en el que los robots representan una amenaza para el hombre. Pocas películas como la inquietante y brillante Ex Machina (Alex Garland, 2015) han sintetizado con tanta precisión ese miedo a la rebelión de las máquinas. Durante años, este escenario no pasó de ser una fábula de ciencia ficción, un relato que la sociedad veía en un horizonte más o menos distante. El caso es que la revolución en la que ya están inmersas las economías avanzadas al calor de la informática y la inteligencia artificial (IA) ha activado un temor que cristaliza en una pregunta turbadora: ¿Y si en algún momento es preciso apagar los robots?

La coyuntura no debe estar demasiado lejos cuando dos referentes como Google DeepMind (la filial que lidera la investigación en IA en la multinacional estadounidense) y la Universidad de Oxford han decidido sentarse juntos para crear un mecanismo que apague cualquier agente dotado de IA en caso de que siga un comportamiento dañino para el hombre o simplemente inadecuado. La génesis del proyecto coincidió casi en el tiempo con el manifiesto de los mil, un documento que alerta sobre los peligros de la inteligencia artificial firmado por un millar de científicos y expertos de todo el planeta, entre los que figuran personalidades como Stephen Hawking, Elon Musk o Steve Wozniak.

Bautizado como Interruptibility, Google DeepMind contó para su desarrollo con la colaboración del Instituto para el Futuro de la Humanidad de la Universidad de Oxford, una heterodoxa institución de la que forman parte científicos, filósofos, psicólogos... RED ha contactado con los responsables de este proyecto, Laurent Orseau, uno de los investigadores clave de Google DeeepMind, y Stuart Armstrong, investigador del instituto de Oxford, para conocer las claves de una iniciativa que el propio Parlamento europeo declaraba hace solo unos días como prioritaria: crear un botón del pánico para aquellos casos en los que el comportamiento de un agente IA sea inapropiado.

El botón rojo, en realidad, es un algoritmo instalado en cada agente IA que impedirá a la máquina rebelarse. Como explica el doctor Arsmtrong, con ese mecanismo incorporado, el robot «nunca ofrecerá resistencia alguna a ser desconectado». Estará programado, en definitiva, para asumir que va a ser desenchufado porque por el camino recibirá una suerte de recompensa.

Es este un concepto clave para entender en qué consiste esta investigación. Amparo Alonso Betanzos, catedrática de Computación e IA de la Universidade da Coruña y presidenta de la Sociedad Española para la Inteligencia Artificial, precisa que este botón del pánico conecta más con las ideas del aprendizaje por refuerzo. «Cada vez que el robot hace algo correctamente, te envío un mensaje que dice que eso es bueno. Surgiría paralelamente un mensaje que dice: ‘esto no se puede permitir’. Y eso es lo que sofisticadamente llamamos botón del pánico».

A la vista de la existencia de esta investigación, la pregunta en consecuencia es cuan cerca estamos de necesitar ese botón rojo. Armstrong matiza que ya hay ejemplos de agentes dotados de IA que han seguido comportamientos inesperados, pero al mismo tiempo reconoce que «los riesgos hoy son de baja intensidad, porque los sistemas automatizados son débiles, tontos y no muy autónomos». El problema es que, a la vuelta de la esquina, estas máquinas inteligentes pilotarán nuestros coches, moverán las economías del planeta y manipularán a la opinión pública, de acuerdo con los temores del manifiesto de los mil.

Alonso Betanzos desdramatiza el escenario y pone en valor proyectos como Interruptibility. «A mi no me parece alarmante contar con un botón del pánico, eso supone simplemente apagar el cacharrín. La IA ha destapado una serie de expectativas que quizás nos asustan como humanos y es lógico que tengamos la necesidad de crear una interrupción. Al fin y al cabo, eso nos dará la idea de que seguimos estando al mando», relata.

En lo que sí hay cierto consenso es en cómo deberán ser esas máquinas del futuro. Surge en este extremo un concepto quizás poco ortodoxo al hablar de tecnología: la ética. Cuál ha de ser en definitiva el comportamiento de un robot ante una determinada situación. Es por ello que los grandes centros de investigación IA han empezado a contar con expertos en Humanidades para diseñar los algoritmos y, por tanto, cómo se comportan estos agentes. Sobre los dilemas que surgen alrededor de la inteligencia artificial, como por ejemplo qué debe hacer un coche autónomo a punto de atropellar a una mujer y a su bebé, la catedrática de Computación insiste en que quizás no se está enfocando demasiado bien el futuro. «El problema ?detalla? es que nos planteamos las cosas del futuro como si nada fuese a cambiar, como si la perspectiva fuese la misma de ahora. En el futuro probablemente vamos a tener muchos menos accidentes porque los coches incorporarán algoritmos que vigilarán la distancia, cámaras capaces de predecir colisiones, si alguien cruza o no... Ese tipo de dilemas se van a dar mucho menos, o incluso a lo mejor ni siquiera se van a dar». Es la cara amable de la IA.

Stuart Armstrong: «Es dífícil predecir lo que ocurrirá»

Stuart Armstrong es toda una autoridad en teorías de decisión, análisis de riesgos y predicciones sobre la evolución de la inteligencia artificial (IA). Actualmente, es investigador del Instituto para el Futuro de la Humanidad de la Universidad de Oxford, ese heterodoxo centro dirigido por Nick Bostrom del que forman parte informáticos, matemáticos, filósofos... Su trabajo codo con codo con Laurent Orseau, investigador de Google DeepMind, ha dado como resultado una suerte de botón rojo que desenchufaría todo agente de IA en caso de que despliegue un comportamiento dañino para el ser humano.

¿En qué medida es real el riesgo de que un agente dotado de inteligencia artificial active una secuencia dañina de acciones para el ser humano? Supongo que esto sigue siendo un riesgo teórico, ¿no?

Existen ya ejemplos de agentes IA que nos han dejado malas secuencias de acciones. Considere por ejemplo aquel colapso repentino en el que todas las acciones de EE. UU. cayeron un 9 % en minutos y luego se recuperaron en su gran mayoría. También hay ejemplos de agentes haciendo cosas tontas que no queremos que hagan. [Armstrong facilita un enlace web con ejemplos curiosos como el comportamiento anómalo de un algoritmo al jugar al Mario Bros o al Tetris]. Es cierto que hoy son riesgos de baja intensidad, porque los sistemas automatizados son débiles, tontos y no muy autónomos. A medida que los agentes se vuelvan más poderosos, más inteligentes y más autónomos, el daño de estas acciones podría aumentar.

El proyecto Interruptibility trabaja en la creación de un botón rojo con el fin de evitar estos comportamientos indeseables, pero algunas voces han expresado su preocupación por el hecho de que una superinteligencia pueda resistirse a ese mecanismo. Este contexto parece ciencia ficción.

El objetivo del proyecto Interruptibility es que el agente no se resista a ser desconectado, ya que no tendrá ningún deseo de resistencia. Cualquier agente cuyo funcionamiento esté basado en recibir recompensas, no solo uno superinteligente, desearía no ser cerrado, y se resistiría si pudiera. Un ejemplo muy simple: un agente de IA que pausó el juego Tetris para siempre, en lugar de dejar que el juego finalizara, con lo que obtuvo una pérdida.

El funcionamiento del botón rojo tendrá que permanecer siempre en secreto, ¿no? Porque, en caso contrario, ¿no podrían las máquinas tratar de defenderse contra sus efectos?

La verdad es que no necesitaría mantenerse en secreto porque, como digo, el agente IA no desearía resistirse. Sería tonto confiar en el secreto para controlar a un poderoso agente inteligente.

Doctor Armstrong, para garantizar el correcto funcionamiento de las máquinas usted propone conceder al agente recompensas. ¿En qué consiste este concepto?

La recompensa es el término que se usa para reforzar el aprendizaje del agente mientras realiza cualquier tipo de tarea; esos premios codifican cuan bien o mal la están haciendo. Las recompensas correctivas (que así se llama el nuevo concepto) motivan al agente a hacer algo, pero son diferentes de las que reciben habitualmente [en el proceso de aprendizaje], y las reciben cuando se ha presionado el botón rojo de ese agente. Así se evita cualquier resistencia al botón rojo.

Se ha creado un discurso catastrófico alrededor de la IA. Hace dos años, un millar de científicos, muchos de ellos enormemente prestigiosos, firmaban un manifiesto para alertar sobre los peligros de la inteligencia artificial. ¿Cuál es su opinión sobre la misiva?

Hay algunos riesgos serios, pero es muy difícil predecir lo que puede pasar. En general, estoy de acuerdo con la carta abierta.

Pero parece claro que el potencial de la IA también puede ser beneficioso para los humanos. ¿Qué cree? ¿Hay más oportunidades o riesgos?

Cuanto más poderosa es la IA, mayores son los riesgos y mayores las oportunidades.

¿Es necesario trabajar en consideraciones éticas cuando se habla de IA?

Stuart Russell señaló que no decimos construir puentes que no se caigan, sino que decimos construir puentes. Por tanto, no se trata de hablar de una IA ética en algún sentido filosófico, sino de una IA ética que hace lo que queremos y no hace cosas que nosotros no queremos. La IA trata de lograr que la automatización haga lo que queremos, por lo que la IA ética en realidad es solo IA.

¿Estamos los humanos preparados para convivir con robots o necesitamos más tiempo para adaptarnos a ellos?

Por el momento es más correcto hablar de automatización, no de robots. Y muchos humanos parecen vivir muy bien con la automatización: reserva de entradas, resolución de detalles de las tarjetas de crédito, envío de paquetes... Mientras las personas tengan ingresos y cosas significativas que hacer, la automatización casi siempre será algo positivo, y permitirá que todos hagan más de lo que desean.

Conoce toda nuestra oferta de newsletters

Hemos creado para ti una selección de contenidos para que los recibas cómodamente en tu correo electrónico. Descubre nuestro nuevo servicio.

Votación
6 votos
Tags
Comentarios

El botón del pánico ya está listo