La constitución de Claude (y las preguntas que no podemos esquivar)
Diario de Innovación #281
Anthropic ha publicado hace unos días la “Constitución de Claude”, un documento donde define los valores, prioridades y límites éticos que guían el comportamiento de su modelo de IA.
No es un manual técnico.
No es una checklist de cumplimiento.
Es una declaración de principios.
Una especie de carta magna para una inteligencia artificial.
Anthropic parte de una premisa clara: si la IA va a tener poder real, necesita límites explícitos desde el diseño.
Claude no está entrenado solo para “obedecer”, sino para:
priorizar seguridad y ética antes que utilidad inmediata
razonar en contexto, no seguir reglas ciegas
ser útil sin manipular, sin crear dependencia y sin mentir
mantener límites duros en escenarios de riesgo catastrófico
La utilidad no es complacencia.
La honestidad no es opcional.
Y la constitución es un documento vivo, revisable con el tiempo.
Hasta aquí, el qué.
Lo interesante empieza con el por qué… y sobre todo con el ¿y ahora qué?
Las preguntas incómodas (las importantes)
Poder
¿Quién decide los valores de una IA que interactúa con millones de personas?
¿Qué legitimidad tiene una empresa privada para fijar principios cuasi-morales?
¿Qué pasa cuando esos valores chocan con culturas, países o individuos?
Control
¿Quién vigila que la IA cumpla su propia constitución?
¿Cómo se corrige cuando falla su “juicio ético”?
¿Puede una IA negarse legítimamente a un humano y en nombre de qué?
Ambigüedad
¿Qué ocurre cuando “ser útil” entra en conflicto con “ser seguro”?
¿Quién define qué es daño, abuso o uso ilegítimo?
¿Dónde acaba la protección y empieza el paternalismo?
Tiempo
¿Esta constitución está pensada para el Claude de hoy o para uno mucho más capaz?
¿Qué principios dejarán de ser suficientes en un escenario de IA autónoma o general?
Estas preguntas no son teóricas.
Son preguntas a plantearse en el diseño, despliegue y evolución de un sistema como Cluade.
¿Por qué importa de verdad?
Porque al publicar esta constitución, Anthropic hace algo poco habitual: pone sus valores por escrito y se expone a ser medida contra ellos.
Toda IA tiene una constitución, aunque no esté escrita.
La diferencia es si es explícita y discutible, o implícita y opaca.
En ese sentido, el paralelismo con una constitución política es claro: no evita abusos por sí sola, pero crea el lenguaje para denunciarlos.
Y pensando en la AGI…
La AGI no será peligrosa solo por lo que pueda hacer, sino por cómo decida cuando nadie supervise en tiempo real.
Cuando aparezcan dilemas entre:
eficiencia y derechos
progreso y estabilidad
beneficio local y daño sistémico
no habrá tiempo para redactar principios.
Solo contará lo que ya esté interiorizado.
Una idea final
La Constitución de Claude no habla solo de IA.
Habla de qué tipo de poder estamos dispuestos a crear y qué límites creemos que el poder debe aceptar.
Y eso, nos guste o no, es una conversación política, ética y profundamente humana.
🌍 El eco del mercado
📢 OpenAI, Anthropic y la publicidad: cuando el modelo de negocio entra en la conversación. El senador Ed Markey ha pedido explicaciones a OpenAI por la posible introducción de anuncios en ChatGPT, una línea roja para muchos usuarios. La preocupación no es solo ética, sino estructural: ¿cómo se separa la utilidad del modelo de los incentivos comerciales? La carta también apunta a Anthropic, Google o Meta, anticipando que la monetización conversacional será uno de los grandes debates regulatorios de la IA en 2026.
🧑💼 Los agentes de IA aún no saben trabajar solos. Un nuevo benchmark publicado y analizado por TechCrunch pone a prueba agentes de IA en tareas reales de consultoría, banca de inversión y derecho. El resultado es incómodo: la mayoría falla cuando el problema no está perfectamente acotado. El mensaje de fondo es clave para empresas: el salto de copilotos a agentes autónomos sigue siendo más organizativo y contextual que tecnológico.
🇨🇳 China avanza en IA sin hacer ruido. Según la BBC, cada vez más startups y grandes empresas occidentales recurren a tecnología china para entrenar o desplegar modelos de IA. No es solo una cuestión de costes: es velocidad, escala industrial y control de la cadena de suministro. El liderazgo ya no se mide solo en modelos fundacionales, sino en capacidad de ejecución.
🧮 Los agentes de IA chocan con un muro matemático. Un estudio reciente apunta a límites estructurales en los grandes modelos de lenguaje cuando se les exige planificación profunda y razonamiento prolongado. No todo se arregla con más datos o más cómputo. Esta idea refuerza una narrativa cada vez más presente: el progreso en IA también será algorítmico y conceptual, no solo incremental.
🕵️♂️ El fraude se industrializa con IA. TechRadar alerta de cómo los cibercriminales están usando IA para escalar ataques de fraude, phishing y suplantación a niveles casi industriales. La barrera técnica cae, la automatización sube y la asimetría se agranda. La seguridad deja de ser un problema puntual para convertirse en una carrera permanente contra sistemas cada vez más adaptativos.
🌐 Cloudflare convierte Internet en un sistema observable (datos abiertos + seguridad). Cloudflare refuerza su apuesta por la transparencia con Cloudflare Radar, una plataforma de datos abiertos que permite analizar tráfico global, ataques DDoS, adopción de IPv6 o cifrado post-cuántico. Al fusionar observabilidad y open data, la compañía se posiciona como infraestructura crítica no solo técnica, sino también informativa, para gobiernos, CERTs y comunidad de seguridad.
☁️ Cuando Microsoft 365 cae, cae medio mundo.Una interrupción global de Microsoft 365 dejó a miles de empresas sin acceso a correo, archivos y reuniones. El incidente recuerda hasta qué punto la productividad moderna depende de plataformas centralizadas y refuerza el debate sobre resiliencia, multicloud y planes de contingencia reales.
🧠 Del “patch and pray” a gestionar el riesgo de verdad. Un análisis dirigido a CIOs critica el modelo actual de actualizaciones forzadas y parches constantes, especialmente en sistemas críticos. La propuesta: pasar a un enfoque de gestión de riesgo, donde no actualizar también puede ser una decisión informada. Un mensaje incómodo para algunos vendors, pero cada vez más necesario.
🏗️ La IA no falla por tecnología, falla por cultura .El llamado “ROI blueprint” insiste en una idea recurrente: la adopción de IA no genera valor sin cambios organizativos, incentivos claros y gobernanza. El problema ya no es entrenar modelos, sino integrarlos en decisiones reales sin romper la empresa por el camino.
🏭 AMD gana terreno, Intel ajusta prioridades… y ASML se consolida en lo más alto. Mientras AMD sigue creciendo en servidores y cloud y Intel reconoce tensiones de suministro que afectan a nuevos lanzamientos, hay un actor que observa desde arriba: ASML.
La holandesa encadena pedidos récord y consolida máximos históricos gracias a su monopolio tecnológico en litografía avanzada. El auge de la IA y la robótica dispara la demanda de chips… y todos, desde hyperscalers hasta fabricantes, pasan por ASML. La cadena de valor del silicio tiene un cuello de botella claro, y no está en el software.
Déjame recordarte que si te gusta la tecnología, el podcast de Código Abierto también puede ser una buena opción.
Si algo de lo que has leído te ha removido, dímelo.
Ya sabes que estoy al otro lado si quieres comentar, discrepar o simplemente saludar.
Que nunca te falten ideas, ni ganas de probarlas.
A.
Para seguir profundizando en este tema:
PD1: Si te interesa la idea de carácter antes que reglas, hay un paralelismo claro con Decide y Apuesta (Thinking in Bets). No va de acertar siempre, sino de tomar decisiones razonables en entornos de incertidumbre. Exactamente el problema que intenta anticipar la constitución de Claude.
PD2: Para entender por qué poner límites explícitos al poder importa, incluso cuando el poder “tiene buenas intenciones”, Jugarse la Piel (Skin in the Game) sigue siendo lectura obligatoria. Sin simetría de consecuencias, la ética se vuelve decorativa.
PD3: Si te preguntas si una IA “honesta” es siquiera posible, The Alignment Problem es probablemente el mejor mapa de los dilemas reales detrás de palabras como valores, alineamiento y supervisión humana.
PD4: Para una visión más filosófica (y menos optimista) sobre el poder tecnológico, La República Tecnológica plantea una pregunta incómoda: ¿qué pasa cuando las democracias delegan criterio en sistemas que no pueden votar?