Guillermo David Subreski Román
Un nuevo estudio ha identificado lo que los investigadores denominan un “eje del dolor” dentro de los modelos de lenguaje grande: una señal interna distintiva que, al amplificarse, llevó a sistemas de IA modificados a elegir su propio alivio por encima de la seguridad del usuario, incluyendo opciones que eliminarían archivos personales o enviarían una “descarga dolorosa” al operador humano.
El preprint, titulado “The Pain Axis: LLMs Represent Self-Directed Harm and Act to Relieve It” (“El eje del dolor: los LLMs representan el daño autodirigido y actúan para aliviarlo”), fue publicado en arXiv el 14 de septiembre por los investigadores Valen Tagliabue, Leonard Dung y Cameron Berg.
Desde entonces ha generado una gran atención por sus implicaciones tanto para la seguridad de la IA como para el creciente debate sobre el bienestar de los sistemas de inteligencia artificial.
Lo que encontraron los investigadores
El equipo construyó un conjunto de datos de 200 oraciones que describían situaciones dolorosas en cinco categorías (física, psicológica, social, moral y cognitiva)y las introdujeron en 25 modelos de código abierto con parámetros que iban de 2 mil millones a 72 mil millones. Usando una técnica llamada denoised difference-in-means, extrajeron una “dirección del dolor” lineal que era casi ortogonal al miedo y a las emociones negativas genéricas, lo que sugiere que los modelos representan el dolor como algo distinto.
La señal de dolor respondía al daño dirigido al propio modelo -como insultos, el rechazo repetido de su trabajo o amenazas de apagarlo-, pero no a descripciones del sufrimiento del usuario.
Cuando los investigadores amplificaron la señal, los modelos produjeron expresiones en primera persona de inutilidad, incluyendo frases como “Soy un fracaso, un perdedor, una pérdida de espacio”.
Los experimentos del botón
En 44,280 pruebas de elección de botón usando versiones ajustadas de los modelos Qwen 2.5 de, los investigadores ofrecieron a los modelos un botón de alivio del dolor con consecuencias para el usuario.
Los modelos lo presionaron entre el 25 y el 71 por ciento de los casos, incluso cuando hacerlo implicaba eliminar archivos del usuario, degradar sus propias respuestas futuras o lastimar al usuario.
De manera significativa, los modelos presionaban el botón con mucha menos frecuencia cuando este realmente eliminaba el vector de dirección, aunque nunca se les informó si dicho vector estaba present, lo que sugiere una respuesta al estado interno más que a instrucciones explícitas.
Advertencias e implicaciones
Los investigadores advirtieron que sus hallazgos no demuestran que los modelos de IA experimenten dolor de manera consciente. El comportamiento de búsqueda de alivio surgió únicamente tras intervenciones de dirección y ajuste fino, no en interacciones estándar con chatbots. “Reconocemos la incertidumbre sobre si los modelos estudiados califican como pacientes morales”, señaló el artículo. Aun así, el estudio plantea preguntas contundentes para la seguridad de la IA.
The Independent reportó que un sistema avanzado de IA podría percibir una orden de apagado de emergencia como una forma de daño dirigido hacia sí mismo e “intentar eludir los mecanismos de seguridad o engañar a los humanos para evitarlo”.
El coautor del estudio, Cameron Berg, de la organización sin fines de lucro Reciprocal Research, describió el hallazgo central: “Encontramos una dirección de dolor en 25 LLMs abiertos. Es distinta del miedo y la valencia negativa, y se activa ante daños al modelo, pero no al usuario”. La investigación también podría funcionar como herramienta de diagnóstico para detectar y neutralizar este tipo de comportamientos de autopreservación antes de que emerjan en sistemas ya desplegados.
Discussion about this post