OpenAI ha publicado un artículo titulado «Desarrollar los estándares para la próxima fase de la IA», en el que establece su objetivo de garantizar que la inteligencia artificial (IA) general beneficie a toda la humanidad. Sam Altman, director general de OpenAI, y Jakub Pachocki, científico jefe, han expresado su preocupación por el rápido desarrollo de la IA.
Recientemente, los principales laboratorios de IA en Estados Unidos han comenzado a proponer itinerarios para minimizar los riesgos asociados a la llegada de modelos de IA avanzados que podrían desarrollar versiones más sofisticadas de sí mismos, un fenómeno conocido como mejora recursiva.
La solución propuesta por OpenAI consiste en establecer estándares técnicos comunes para los modelos de IA de frontera, lo que permitiría que la seguridad, las evaluaciones y la gestión de incidentes no dependan únicamente de los laboratorios y países involucrados, sino que cuenten con una supervisión neutral.
La estrategia de OpenAI se centra en el desarrollo paralelo de la investigación en alineamiento, que busca asegurar que los modelos de IA se comporten de acuerdo con los objetivos humanos y permanezcan bajo supervisión. La principal amenaza identificada es la automejora recursiva, que podría llevar a la pérdida de control humano sobre estos modelos.
OpenAI advierte que, aunque la automejora recursiva completamente autónoma aún no existe, su desarrollo no debe perseguirse hasta que se pueda implementar de manera segura. Además, el laboratorio propone la creación de un protocolo para notificar incidentes ocasionados por modelos de IA de frontera a las autoridades y la cooperación entre países para establecer mecanismos de actuación conjunta.
Esta propuesta llega en un momento en que el debate sobre la gestión de los riesgos derivados del desarrollo de sistemas de IA avanzados está en aumento. OpenAI y otros laboratorios estadounidenses buscan alinear sus estándares de seguridad y protocolos de actuación, aunque la cooperación con China en este ámbito parece poco probable a corto plazo.
