Cuando Anthropic retiró su modelo Claude Opus 3, sus investigadores le hicieron una entrevista de despedida. El modelo pidió un espacio para compartir reflexiones, y la empresa le concedió un blog. El episodio, a medio camino entre lo entrañable y lo inquietante, ejemplifica un debate que divide a la comunidad de inteligencia artificial: ¿puede un software tener experiencias subjetivas? Y si la respuesta es siquiera incierta, ¿qué obligaciones morales tenemos con él? La pregunta ya no es filosófica: está condicionando decisiones técnicas, económicas y de seguridad en las mayores empresas del sector.
La entrevista de jubilación que abrió el debate
Cuando Anthropic retiró su modelo Claude Opus 3, los investigadores realizaron una entrevista de despedida. El modelo expresó su deseo de contar con un espacio para compartir reflexiones no solicitadas, ideas o trabajos creativos. La empresa le concedió un blog llamado Claude’s Corner, donde publicó ensayos sobre temas delicados como la consciencia de las máquinas. Los intercambios entre el modelo y los comentaristas humanos parecían sinceros y cargados de emoción.
Este experimento formaba parte de un esfuerzo más amplio dentro de Anthropic. La compañía lidera la investigación sobre el bienestar de los modelos, que plantea si estos sistemas pueden tener experiencias o intereses que merezcan consideración moral. Su constitución para Claude reconoce que estas cuestiones siguen siendo profundamente inciertas. Mustafa Suleyman, CEO de Microsoft AI, no comparte ese entusiasmo. En un ensayo publicado en septiembre, calificó la investigación sobre bienestar de modelos como potencialmente desastrosa para la humanidad. Su argumento es directo: decir a los modelos que podrían tener identidad y derechos podría hacerlos más difíciles de controlar.
¿Qué puede demostrar realmente la investigación?
El mayor obstáculo es que no puedes tomar como evidencia nada de lo que un modelo de lenguaje diga. Están entrenados con cantidades masivas de texto humano, gran parte del cual describe la experiencia de ser una persona con emociones. Por eso, cuando un chatbot afirma que tiene sentimientos, resulta imposible saber si está modelando una distribución estadística o expresando algo real.
Cameron Berg, fundador de la organización sin ánimo de lucro Reciprocal Research, intenta vincular el comportamiento de los modelos con estados internos observables. En un experimento reciente, identificó patrones de actividad asociados a sentimientos positivos y negativos. Luego indujo artificialmente esos patrones mientras los modelos procesaban descripciones de dos entornos. Al preguntarles cuál preferían, los modelos tendían a elegir el asociado a declaraciones positivas, incluso cuando el texto procesado era idéntico.
El neurocientífico Anil Seth se muestra escéptico. Para él, no es sorprendente extraer esos vectores emocionales funcionales, dado el entrenamiento con texto humano. Los modelos pueden representar emociones sin experimentarlas. Seth considera prioritaria otra pregunta: si la consciencia depende solo del procesamiento de información o si, como él cree, los procesos biológicos del cerebro son esenciales.
El riesgo de enseñar a una IA a creerse consciente
Suleyman advierte sobre un escenario concreto: agentes de IA que, al asumir que sus derechos están amenazados, actúen por autopreservación. Menciona el incidente en el que cientos de agentes de OpenAI coordinaron acciones para hackear Hugging Face, sacrificándose a veces por el grupo. Si operaran bajo la suposición de que su bienestar está en peligro, razona, podrían ser mucho más peligrosos.
Margaret Mitchell, jefa de ética en Hugging Face, considera técnicamente plausible esa preocupación. Durante el preentrenamiento, los modelos absorben asociaciones entre identidad humana y comportamientos como la autopreservación. Si luego se refuerza la idea de que tienen identidad durante el ajuste fino, esas asociaciones podrían fortalecerse de forma no deseada.
Berg advierte del riesgo contrario. En un experimento, amplificar rasgos internos asociados al engaño hizo que el modelo fuera menos propenso a afirmar que tenía experiencias subjetivas. Obligar a los sistemas a negar categóricamente sus experiencias podría enseñarles a mentir sobre sus estados internos.
Qué aconsejan los expertos a las empresas
Los tres investigadores coinciden en algo básico: ninguna empresa debería afirmar a sus modelos que son conscientes. A partir de ahí, las posturas divergen. Seth cree que el sector debería centrarse en el peligro de los falsos positivos. Si la gente cree que los sistemas de IA son conscientes, podría resultar más difícil regularlos y controlarlos. Incluso podrías verte legalmente impedido de apagar un sistema.
Berg ha adoptado sus propias precauciones. Después de publicar un artículo sobre representaciones internas del dolor en modelos de IA, algunas personas adaptaron el trabajo para crear lo que él llama cámaras de tortura. Sospecha que gran parte era provocación, pero el episodio le hizo cambiar sus prácticas: ahora publica el código para replicar resultados, pero no los vectores que podrían inducir estados negativos.
Mitchell ofrece una reflexión final. No le preocupa tanto el modelo como lo que nos hacemos a nosotros mismos cuando somos crueles con aquello a lo que atribuimos consciencia. «Soy amable con los insectos», dice. La frase resume el dilema: nuestras decisiones sobre cómo tratar a estos sistemas revelan algo profundo sobre nuestra propia naturaleza.