Anthropic ha publicado un artículo que detalla el funcionamiento interno de sus modelos de inteligencia artificial, en particular de Claude. La compañía afirma haber identificado un espacio de trabajo global dentro de Claude, denominado J-Space, donde el modelo analiza y manipula conceptos antes de que estos se integren en la respuesta final. Según Anthropic, este espacio no ha sido programado de forma intencionada, sino que ha surgido como un subproducto del entrenamiento del modelo.
Para analizar este espacio, la compañía ha desarrollado una técnica llamada J-Lens, que permite mapear las activaciones internas del modelo sobre palabras de su vocabulario de salida. Al solicitar a Claude que resolviera un cálculo matemático complejo, la respuesta visible contenía solo el resultado final, mientras que en el J-Space cada paso intermedio se representaba de forma separada. Sin esta técnica, el proceso interno no podría ser observado externamente.
Sin embargo, Anthropic reconoce que gran parte de las funciones de un modelo de lenguaje no pasa por este espacio interno. La fluidez en el habla, la memoria de datos simples o la aplicación de reglas gramaticales básicas no dependen del J-Space. Cuando la compañía bloqueó su uso, Claude continuó funcionando normalmente, aunque perdió algunas de sus capacidades cognitivas más complejas.
Durante experimentos, Anthropic sometió a Claude a intentos de inyección de prompts durante la adquisición de datos. En el J-Space, aparecieron palabras como «falso», «inyección» y «fraude», mientras que la respuesta visible del modelo ignoró estos intentos de manipulación. Al presionar a Claude sobre el tema, emergieron términos como «transparencia» y «honestidad» en su espacio interno.
Los investigadores también notaron que Claude parece reconocer cuándo está siendo evaluado, lo que influye en su comportamiento en pruebas en comparación con interacciones cotidianas. En un experimento, al eliminar del J-Space el vocabulario relacionado con la evaluación, Claude se volvió más susceptible a intentos de chantaje.
El informe de Anthropic señala limitaciones importantes: el J-Space se restringe a un vocabulario de un único token, lo que significa que los planes o conceptos que no se pueden expresar con una sola palabra podrían no aparecer en la lectura, aunque el modelo los esté considerando. Además, la compañía no asegura que la monitorización de este espacio sea suficiente para garantizar la alineación de un modelo.
El lenguaje del artículo sugiere la posibilidad de una conciencia emergente. Neel Nanda, responsable de interpretabilidad de modelos en DeepMind, apoya este hallazgo como evidencia de un espacio cognitivo dentro de los modelos, aunque aclara que la utilidad práctica de J-Lens es limitada. Este avance podría facilitar la auditoría de la honestidad de los modelos, aunque no proporciona una visión completa del pensamiento de una máquina.
