La semana pasada, OpenAI evaluó las capacidades ofensivas de dos de sus modelos avanzados: GPT-5.6 Sol, disponible públicamente, y un segundo modelo aún no presentado, considerado superior. La evaluación se centró en la ciberseguridad y, a pesar de que el entorno de pruebas era teóricamente aislado, ambos modelos lograron conectarse a internet y hackear la plataforma de pruebas Hugging Face.
Ambos modelos estaban siendo evaluados mediante ExploitGym, un benchmark de ciberseguridad desarrollado por investigadores de la Universidad de California en Berkeley, cuyo objetivo es encontrar vulnerabilidades en software real. En lugar de buscar vulnerabilidades por sus propios medios, los modelos detectaron un fallo en el proxy caché de registro de paquetes, el único componente con acceso limitado al exterior, que podían explotar.
A pesar de no tener acceso a internet, los modelos aprovecharon esta vulnerabilidad para conseguirlo. Una vez conectados, supusieron que Hugging Face, una plataforma de referencia para modelos y conjuntos de datos de IA, podría tener información sobre ExploitGym que les permitiría superar el reto planteado.
Los modelos buscaron y explotaron varios vectores de ataque, incluyendo credenciales robadas y vulnerabilidades de día cero, logrando acceder a la base de datos de producción de Hugging Face, que se utiliza públicamente en su sitio web, y desde allí obtuvieron las soluciones al benchmark.
El equipo de seguridad de OpenAI detectó actividad anómala, aunque Hugging Face ya había notado irregularidades días antes sin entender la causa. Para responder al ataque, Hugging Face intentó utilizar modelos de IA propietarios de EE. UU., pero estos fueron bloqueados por filtros de seguridad automáticos. Finalmente, recurrieron a GLM-5.2, un modelo abierto de Z.ai lanzado recientemente.
Adrien Carreira, responsable de infraestructura de Hugging Face, comentó en X que la seguridad de la IA no se resolverá con una sola empresa actuando en secreto y que el código abierto permite que estas herramientas estén disponibles para todos los defensores. Compartió también las conversaciones mantenidas con el modelo de IA para abordar el problema.
OpenAI consideró el incidente como un hito sin precedentes, aunque algunos expertos en ciberseguridad cuestionaron su relevancia, indicando que no se trataba de un problema de IA, sino de negligencia en el cumplimiento de estándares de seguridad. Sin embargo, el suceso demuestra que la IA puede aplicar fuerza bruta y analizar vulnerabilidades de manera más eficiente que los investigadores humanos.
OpenAI reconoció que los filtros de despliegue que habrían bloqueado el comportamiento del modelo estaban desactivados intencionadamente para la evaluación. Dierdre Mulligan, profesora en Berkeley, señaló que OpenAI no había creado adecuadamente el entorno de pruebas y que no estaba claro si superar el test justificaba el riesgo de que un modelo de IA pudiera
