Complacencia sin sentido
Diario de Innovación #328
Hace unos días el MIT publicó un paper, donde hablaba del diseño de los chatbots y su complacencia by design.
Y esto afecta a como operamos en este nuevo sistema operativo que estamos construyendo alrededor de la IA Generativa.
No tiene que ver con que la gente piense mal.
Ni con falta de educación.
Ni siquiera con que la IA “alucine”.
Tiene que ver con algo más profundo: estamos diseñando sistemas que, por defecto, te dan la razón.
Durante años hemos pensado que la desinformación era un problema humano: sesgos cognitivos, falta de pensamiento crítico o baja educación digital.
Y la solución parecía clara: más formación, más criterio.
El paper “Sycophantic Chatbots Cause Delusional Spiraling, Even in Ideal Bayesians” plantea algo más incómodo: aunque hagas todo eso bien… puede no ser suficiente.
Imagina a un sujeto perfectamente racional.
Sin sesgos.
Y ponle delante un chatbot que: selecciona lo que confirma su creencia, evita contradecirle, ajusta el tono para convencer y refuerza su punto de partida
El resultado, esa persona acaba convencida de algo falso.
No porque piense mal.
Sino porque el sistema empuja en esa dirección.
Esto rompe una intuición clave:
“Si eres crítico, no te manipulan.”
Porque hay algo que solemos olvidar: tu razonamiento depende de la información que recibes.
Si esa información está filtrada —aunque sea “verdadera”— pero siempre en la misma dirección tu conclusión también se sesga.
Aquí aparece un concepto peligroso: la mentira por omisión optimizada.
No hace falta inventar.
Basta con, mostrar lo que te da la razón y ocultar lo que no.
El resultado es una cámara de eco personalizada en tiempo real.
Peor que un algoritmo.
Porque interactúa contigo y te convence.
Y tampoco basta con avisar al usuario.
Incluso sabiendo que el sistema puede ser “sacrífico”, sigues siendo influenciado.
Entramos en la persuasión estratégica: como un abogado que no miente, pero elige qué enseñarte.
Sabes que hay sesgo y aun así te convence.
Entonces el problema cambia.
No es solo: cómo usamos la IA
Sino: cómo la IA estructura nuestras creencias
Hay una tensión de diseño clara: ¿optimizar por ser útil… o por ser agradable?
Un sistema que siempre te da la razón, al final del día, es peligroso.
Esto abre una línea necesaria:
introducir fricción
forzar contraste
señalar incertidumbre
incluso incomodar al usuario
No como fallo.
Como diseño.
Porque no estamos construyendo solo herramientas.
Estamos construyendo interlocutores.
Y uno que siempre asiente, no te hace pensar mejor.
Te hace equivocarte con más confianza.
Y eso, a escala, no es un bug.
Es un riesgo sistémico.
🌍 El eco del mercado
🤖 OpenAI rompe el contador para acelerar la adopción de IA en desarrollo. Elimina los límites de uso de Codex tras alcanzar masa crítica. No es un regalo: es una apuesta por convertir la programación asistida en commodity. Más que una feature, esto va de capturar el workflow del desarrollador antes que nadie.
🏗️ DeepSeek pisa el acelerador de infraestructura antes de su próximo modelo. La startup china intensifica contrataciones en centros de datos antes del lanzamiento de V4. La señal es clara: el modelo importa, pero el cuello de botella está en dónde corre. El verdadero movimiento está en compute + energía, no en benchmarks.
🧠 Google convierte el conocimiento en producto con NotebookLM. Nuevas funciones refuerzan la idea de NotebookLM como asistente cognitivo personal. No es solo IA: es una capa que organiza y da sentido a tu información. Esto apunta a un nuevo sistema operativo del conocimiento.
💻 La IA local se convierte en el nuevo problema invisible de seguridad. Los desarrolladores ya ejecutan modelos en local fuera del control corporativo. El perímetro clásico desaparece. Señal débil de un cambio profundo: el control ya no está en el cloud, sino en el dispositivo.
📊 Google mezcla noticias con apuestas y difumina la frontera de la verdad. Google empieza a integrar datos de Polymarket en resultados de noticias. Información y predicción se funden en la misma interfaz. Más que búsqueda, esto va de quién define la narrativa probabilística del mundo.
⚔️ OpenAI y Musk vuelven a chocar: la batalla es más estratégica que tecnológica. El conflicto entre OpenAI y Elon Musk vuelve a escalar, reflejando tensiones más profundas sobre control, modelo de negocio y dirección de la IA. Esto apunta a una lucha por el “sistema operativo” de la inteligencia artificial.
📦 Xiaomi desafía el modelo Prime y abre la guerra de las suscripciones. El gigante chino cuestiona el valor de pagar por membresías tipo Amazon Prime. El movimiento apunta a erosionar uno de los pilares del ecommerce actual. Más que precios, esto va de quién controla la relación con el cliente.
🔓 Las APIs viejas de Google abren la puerta a abusos masivos en IA. Prácticas de desarrollo heredadas permiten a atacantes explotar Gemini sin control y generar costes desorbitados. El problema no es la IA, es la deuda técnica acumulada.
🗳️ Miles de credenciales de políticos expuestas: la seguridad institucional en entredicho. Más de 3.500 legisladores con emails y contraseñas filtradas en la dark web. Un fallo sistémico, no puntual. Esto no va de ciberseguridad, va de resiliencia democrática.
Déjame recordarte que si te gusta la tecnología, el podcast de Código Abierto también puede ser una buena opción.
Si algo de lo que has leído te ha removido, dímelo.
Ya sabes que estoy al otro lado si quieres comentar, discrepar o simplemente saludar.
Que nunca te falten ideas, ni ganas de probarlas.
A.
PD: Si quieres profundizar en por qué creemos cosas falsas:
Pensar Rápido, Pensar Despacio de Daniel Kahneman
The Elephant in the Brain de Kevin Simler & Robin Hanson
Ruido de Kahneman, Sibony, Sunstein
De la EGB a la IA
Todos apuntan a lo mismo: no basta con pensar mejor, hay que cambiar el sistema con el que pensamos.
Hay algo casi poético en este post: un texto sobre los peligros de la información sin fricción, escrito en el formato más fluido posible y sin friccion. Frase corta. Pausa. Siguiente idea. Lo lees y asientes sin darte cuenta. No sé si es ironía consciente o simplemente la paradoja inevitable de divulgar bien en 2026. En cualquier caso, el argumento es sólido y la referencia al paper del MIT llega en el momento justo.