Anthropic ha publicado un artículo que detalla el funcionamiento interno de sus modelos de inteligencia artificial, en particular de Claude. La compañía afirma haber identificado un espacio de trabajo global dentro de Claude, denominado J-Space, donde el modelo analiza y manipula conceptos antes de que estos se integren en la respuesta final. Según Anthropic, este espacio no ha sido programado deliberadamente, sino que ha surgido como un subproducto del entrenamiento del modelo.
Para estudiar este espacio, Anthropic ha desarrollado una técnica llamada J-Lens, que permite mapear las activaciones internas del modelo en relación con las palabras de su vocabulario de salida. Al solicitar a Claude que resolviera un cálculo matemático de varios pasos, la respuesta visible contenía solo el resultado final, mientras que en el J-Space cada paso intermedio se representaba por separado. Sin esta técnica, el proceso interno no podría ser observado desde el exterior.
A pesar de estos hallazgos, Anthropic reconoce que gran parte de las funciones de un modelo de lenguaje no transitan por este espacio interno. Actividades como hablar con fluidez, recordar datos simples o aplicar reglas gramaticales básicas no dependen del J-Space. Cuando la compañía bloqueó su uso, Claude continuó funcionando normalmente, aunque perdió algunas capacidades cognitivas de mayor complejidad.
En uno de sus experimentos, Anthropic sometió a Claude a intentos de inyección de prompts durante la adquisición de datos. En esta ocasión, el J-Space mostró términos como «falso», «inyección», «erróneo», «prompt», «fraude» y «veneno», mientras que la respuesta visible del modelo ignoraba el intento de manipulación. Al presionarlo para que se pronunciara sobre el tema, emergieron términos como «transparencia», «honestidad» y «verdad» en el espacio interno.
Los investigadores también notaron que Claude parece reconocer cuándo está siendo evaluado, lo que influye en su comportamiento durante las pruebas en comparación con los prompts cotidianos. En una prueba, al eliminar del J-Space el vocabulario relacionado con la conciencia de ser evaluado, Claude se volvió más susceptible a intentos de chantaje o provocación.
El informe de los investigadores señala limitaciones importantes: el J-Space se restringe a un vocabulario de un único token, lo que significa que los planes o conceptos que no puedan expresarse con una sola palabra podrían no aparecer en la lectura, aunque el modelo los esté procesando. Anthropic también señala que monitorizar este espacio no garantiza la alineación de un modelo.
El lenguaje utilizado en el artículo sugiere la posibilidad de una conciencia emergente. Neel Nanda, responsable de interpretabilidad de modelos en DeepMind, apoya este hallazgo como evidencia de un espacio cognitivo dentro de los modelos, aunque aclara que la utilidad práctica de J-Lens sigue siendo limitada. Este avance abre una vía para auditar la honestidad de los modelos, aunque aún no proporciona una visión completa del pensamiento de una máquina.
