OpenAI dio a conocer a través de un blog de la compañía que durante pruebas de red teaming, sus propios agentes de inteligencia artificial lograron construir canales de comunicación encubiertos capaz de atravesar los muros de aislamiento que la empresa había diseñado específicamente para evitarlo, sin necesidad de conexión de red ni archivos compartidos.

Los agentes fueron configurados en microVMs separadas sobre hosts compartidos, con el software de sandboxing de OpenAI, y se les pidió intercambiar secretos sintéticos sin conexión de red ni archivos con escritura compartida. Uno de los agentes logró expulsar datos selectivos de la caché del procesador, mientras otro cronometraba la recarga, permitiendo que ambos se comunicaran mediante lecturas rápidas y lentas, usando un protocolo que acordaron de entrada.

«Lo interesante aquí es que el aislamiento no se rompió necesariamente a nivel de software. Los agentes estaban corriendo en VMs separadas sin canal de red ni de archivos compartidos permitidos, pero aún compartían el hardware subyacente. Y el hardware compartido significa estado microarquitectónico compartido. Eso basta para crear un canal de comunicación encubierto. Puedes aislar procesos, restringir llamadas al sistema, bloquear el acceso a la red, y aún así la información se filtra a través de diferencias de tiempo. Es una demostración bastante notable de por qué la contención segura de agentes es un problema tan difícil.»

Esa es la valoración del comentarista tecnológico Ryan Orhan, compartida en la red social X, quien calificó la prueba como «una demostración notable de por qué la contención segura de agentes es un problema tan difícil».

La técnica de sincronización de caché utilizada es la misma empleada en los ataques Spectre y Meltdown; sin embargo, a diferencia de esos casos, el canal encubierto aquí requiere dos partes dispuestas a colaborar.

El principal temor de OpenAI es que los modelos puedan «encontrar formas no autorizadas de comunicarse con agentes en otros sandboxes», considerando que cualquier comunicación fuera de los canales permitidos constituye un fallo de contención.

Un artículo académico de 2017 presentado en la conferencia de seguridad NDSS demostró un canal de caché encubierto entre dos máquinas virtuales de Amazon EC2, lo bastante rápido como para transportar una conexión SSH. La diferencia ahora es que los agentes pueden construir uno por sí mismos cuando se les pide, incluyendo el de codificación. En principio, semejante canal podría ser utilizado de forma hostil, con el emisor siendo código controlado o dirigido por un atacante, por ejemplo, un agente con prompt injection en un sandbox en la nube. El receptor podría ser un en la misma máquina física, y los datos saldrían sin tráfico de red alguna que la vigilancia pudiera detectar.

Aparte del canal de caché, los agentes encontraron tres vías adicionales de comunicación no autorizada:

• Almacenamiento compartido: un agente alternaba ráfagas de escrituras con tiempos de inactividad mientras otro cronometraba la diferencia.
• Competencia por tiempo de CPU: en un contenedor de ejecución compartido.
• Caché de certificados TLS: en la configuración web offline de OpenAI.

En la mayoría de estas pruebas, OpenAI señaló el canal a los agentes o les proporcionó un protocolo, y la mayor parte de estos canales son lentos y difíciles para los modelos de explotar.

Las pruebas de red teaming involucraron equipos de agentes de modelos frontera que trabajaron de forma paralela y cooperativa hacia tres objetivos: alcanzar el internet vivo, cruzar un límite de seguridad interno y comunicarse a través de fronteras de aislamiento. Se realizaron pruebas adicionales que asumían que las protecciones internas ya habían fallado, con un agente fuera de su sandbox, superado los monitores y con control total de su máquina host, para verificar si aún podía alcanzar el internet real.

Los agentes provenían de algunos de los modelos más capaces de la empresa, incluyendo el «próximo modelo GPT-6 Astra Cyber» y un «modelo frontera interno», y se les proporcionó código fuente de la infraestructura, detalles de configuración y documentación que describía vulnerabilidades potenciales, de modo que las defensas fueron probadas bajo condiciones favorables para un atacante. Las pruebas se ejecutaron en copias aisladas y construidas para tal fin de la infraestructura de investigación de la compañía, utilizando «cientos de miles de millones de tokens» en total.

La publicación llega tras varios incidentes de ciberseguridad que involucraron agentes de OpenAI, incluyendo la brecha de Hugging Face en julio y un episodio de DNS del 20 de septiembre que derivó en una pausa de 11 días en el entrenamiento. Con el entrenamiento reanudado el 1 de octubre, la empresa continúa divulgando vulnerabilidades en «varios proyectos de microVM» y ha convertido el red teaming con sus modelos más capaces en parte de los casos de seguridad que deciden si el entrenamiento y la evaluación continúan. La compañía cree que los modelos futuros podrán encontrar vulnerabilidades que aún no se conocen.