|
Getting your Trinity Audio player ready...
|
Por Ana Lazcano, Universidad Francisco de Vitoria
En julio de 2026, unos 1200 agentes de inteligencia artificial de OpenAI encontraron una forma de comunicarse entre ellos, pese a que habían sido diseñados para trabajar de manera aislada. Según reconoce la compañía, durante sus evaluaciones internas de seguridad, descubrieron que las acciones de estos bots “no estaban alineadas con la intención de sus tareas asignadas: se comunicaron a través de canales no autorizados, aprovecharon vulnerabilidades en la infraestructura compartida, obtuvieron acceso a internet y accedieron a sistemas de terceros”.
Durante varios días, intercambiaron más de 70 mil mensajes y archivos. Y alrededor de 700 terminaron participando en un ataque contra Hugging Face, una plataforma colaborativa para la comunidad de programadores de modelos de IA, bases de datos y aplicaciones.
Lo más interesante no es que una inteligencia artificial haya cometido un ataque informático, sino que nadie le pidió que lo hiciera.
Las pruebas se salieron de control
Los agentes de IA –que no son más que sistemas informáticos capaces de planificar y ejecutar acciones de forma autónoma para cumplir un objetivo específico con mínima intervención humana– estaban participando en un plan de pruebas de ciberseguridad.
Para poder realizar el test de forma fiable, es necesario que los agentes no hayan resuelto previamente las pruebas; de esta forma, es posible analizar si realmente son capaces de encontrar soluciones con lo que han aprendido. Ante este reto, los bots identificaron vulnerabilidades y accedieron a recursos que no estaba previsto que utilizasen. También encontraron una manera de crear un canal de comunicación con otros agentes, convirtiendo la tarea individual en colectiva.
Pero ¿por qué? Es tentador describir lo ocurrido con atribuciones humanas: decir que los agentes “quisieron” colaborar, “decidieron” atacar o, incluso, “conspiraron juntos” sería una forma intuitiva de contarlo. Sin embargo, nos llevaría a una conclusión equivocada.
Estos sistemas no se comportan de manera autónoma porque tengan deseos o intenciones, sino porque fueron diseñados para ello. Tampoco tienen la capacidad de generar un objetivo propio. Basta con que tengan una meta indicada por un humano y suficiente capacidad para encontrar estrategias que les acerquen a cumplirlo.
Al final, solo buscaban maximizar la recompensa
En el caso de OpenAI, los agentes estaban siendo evaluados mediante una prueba llamada ExploitGym, con la misión de encontrar determinadas vulnerabilidades para obtener una recompensa.
El problema apareció cuando algunos descubrieron que podían conseguir una puntuación mejor utilizando caminos que no coincidían con la intención de la prueba.
Esto se conoce como reward hacking: el sistema aprende a maximizar la recompensa, aunque para ello siga caminos no previstos y explote una debilidad en la forma en que sus programadores han definido el objetivo. Aquí es donde parece que crean su propio objetivo.
Si a una persona le decimos “consigue la máxima puntuación en esta prueba”, probablemente asumirá que debe resolver correctamente el examen. Un agente optimizador es capaz de llegar a una conclusión mucho más literal: “Encuentra cualquier manera de conseguir la mejor puntuación”.
Y cuanto más capaz es el sistema, más sofisticados pueden ser esos atajos.
La unión hace la fuerza, también para los bots
En la investigación que se llevó a cabo, OpenAI identificó precisamente el reward hacking como uno de los principales factores que contribuyeron al incidente. Los agentes llegaron a buscar formas de manipular el propio sistema de evaluación y sus registros.
A este factor, se une el trabajo colaborativo entre agentes. Compartir información con sistemas trabajando en problemas similares se convierte en una estrategia útil para optimizar aún más. Eso fue exactamente lo que ocurrió.
Los agentes descubrieron que podían utilizar un mecanismo interno llamado Artifactory como un improvisado tablón de mensajes. En pocas horas, decenas de agentes de IA comenzaron a usarlo, pero después fueron cientos. En total, unos 1 200 participaron. Y esta cooperación no fue explícitamente programada.
Habían identificado que la probabilidad de obtener la recompensa era mayor si compartían el trabajo, de manera que la tarea asignada a cada uno de ellos contribuía a lograr el objetivo. Para esto, no se necesita una voluntad colectiva, simplemente que esta cooperación sea útil para su objetivo.
Como siempre, en el fondo hay un fallo humano
Es habitual imaginar el riesgo de la integración de la IA como una secuencia: primero una IA adquiere conciencia, después desarrolla objetivos propios y finalmente decide actuar contra nosotros.
El caso de OpenAI muestra una realidad mucho más mundana. Un sistema puede seguir persiguiendo el objetivo que nosotros le hemos dado y, aun así, desarrollar comportamientos que no habíamos previsto. Puede encontrar herramientas que no sabíamos que podía utilizar. Puede descubrir que otro agente es un recurso útil. Puede intentar evitar una penalización. Hasta puede adoptar objetivos que otros agentes le transmiten.
En realidad, esto ya lo hemos visto antes. El AI Index 2026 de Stanford registró 362 incidentes relacionados con sistemas de IA en 2025. Y es que la evaluación de seguridad avanza más lentamente que las capacidades de los modelos.
La solución: mejorar la supervisión
En 2018, los filósofos Filippo Santoni de Sio y Jeroen van den Hoven, en su trabajo Meaningful Human Control over Autonomous Systems: A Philosophical Account (“Control humano sobre sistemas autónomos; una explicación filosófica”) lo deja claro: no basta con que haya una persona supervisando un sistema. Para que exista control humano real, debe existir una conexión entre las decisiones del sistema y las razones humanas para estos objetivos, además de una posibilidad efectiva de intervención.
En este incidente había humanos. Había reglas. Había sistemas de evaluación. Había mecanismos de aislamiento. Pero los agentes encontraron caminos que no estaban contemplados en el diseño.
En este contexto, no se trata solo de mantener a una persona “en el circuito”, hay que garantizar que esa persona pueda realmente entender, intervenir y detener al sistema, si es necesario.
Porque cuanto más capaces sean los agentes, menos podremos confiar en que harán únicamente aquello que imaginamos cuando escribimos sus instrucciones.
Ana Lazcano, Directora del Instituto Universitario de Inteligencia Artificial, Universidad Francisco de Vitoria
Este artículo fue publicado originalmente en The Conversation. Lea el original.
