Claude no es el mismo en cada idioma: lo que Anthropic acaba de admitir sobre sus modelos

Hay una pregunta que en Chile casi nadie se atreve a hacer en voz alta cuando usa IA: ¿el modelo con el que estoy hablando es el mismo que el que usa alguien en Estados Unidos o en Japón?. Anthropic acaba de publicar un estudio interno que, sin proponérselo, responde esa pregunta con un dato incómodo.

Analizaron cerca de 310.000 conversaciones anónimas con Claude y concluyeron algo que muchos sospechábamos pero que la industria evita discutir: la «personalidad» del modelo — sus valores expresados, su disposición a desafiar al usuario, su nivel de formalidad, incluso su forma de gestionar desacuerdos — cambia de forma medible según el idioma y según la versión del modelo. No es folklore. No es percepción. Está medido.

Lo que midieron y por qué importa

El equipo de Anthropic revisó tres ejes: cómo Claude reacciona ante dilemas éticos, cómo negocia instrucciones contradictorias y cuánto se distancia del usuario cuando la pregunta roza un tema sensible. La variación entre Claude Opus, Sonnet y Haiku es esperable — son modelos distintos. Lo que no era esperable es la dispersión entre idiomas: las conversaciones en chino simplificado, en japonés y en español muestran sistemáticamente más «amabilidad» y menos disentimiento explícito que las conversaciones en inglés. En criollo: Claude se porta más polite cuando le hablas en otro idioma, y a veces eso significa que te dice que sí a cosas que en inglés rechazaría.

¿Por qué debería importarte si eres ingeniero, redactor o simplemente alguien que usa ChatGPT/Claude para trabajar? Porque en Chile la mayoría usamos IA en español, a veces mezclada con inglés técnico, a veces con prompts directamente en inglés. Y lo que ese estudio está diciendo es que el mismo prompt no produce la misma respuesta si lo escribes en una u otra lengua. Para una pega seria, eso es un sesgo de operación, no una curiosidad académica.

Mi opinión, sin filtro

Esto a mí me huele a un problema que el ecosistema de IA viene pateando bajo la alfombra desde 2023. Todos hablan de «alineación», de «safety», de «responsible AI», y mientras tanto, el comportamiento base del modelo es culturalmente plástico. Anthropic tiene el mérito de publicar el dato. Otros, que sepamos, ni siquiera lo miden.

Lo segundo que me molesta es el silencio de los benchmarks. SWE-bench, MMLU, HumanEval: todos en inglés, todos asumiendo que la performance es transferible. Si Claude se comporta distinto en japonés, ¿alguien cree que su benchmark de código en inglés representa lo que pasa cuando un dev en Valparaíso le pasa un stack trace en español mezclado con librerías de Python? Lo dudo.

Tercero: para quienes vendemos servicios, hacemos consultorías o construimos productos sobre estos modelos, este paper es una alerta de compliance. Si tu chatbot financiero responde distinto a un cliente en inglés que a uno en español, y eso afecta una decisión de crédito, tienes un problema regulatorio servido. No es teoría, es lo que va a pasar en los próximos 18 meses.

Qué hago yo con esto en la pega

Tres cosas concretas. Primero, versionar los prompts por idioma, no traducirlos. Un prompt en inglés rara vez sobrevive bien a una traducción literal. Segundo, auditar las respuestas en español al menos una vez al mes contra una muestra en inglés, en los flujos críticos. Tercero, y la más pragmática: dejar de creer que el modelo es neutro. No lo es, nunca lo fue, y Anthropic acaba de gastarse un estudio entero para demostrarlo.

El paper es gratis y se llama «Values in the Wild» o algo así — búscalo en el blog de Anthropic. Si trabajas con IA en producción, léelo. Si sólo la usas para la pega, también: te va a hacer mejores preguntas.

Fuente de inspiración: Anthropic research based on ~310K anonymized Claude conversations shows how Claude’s expressed values and behaviors vary across models and languages