Hay una paradoja en el mundo de la inteligencia artificial: nunca se ha hablado tanto de IA… y nunca ha habido tantos proyectos fallidos.
Según MIT Sloan y BCG, apenas un 10% de las empresas obtiene beneficios significativos de sus iniciativas de IA. El resto, mucho PowerPoint, muchas curvas de precisión… y poco impacto en el negocio.
¿Por qué?
Porque seguimos confundiendo el huevo de oro con la gallina. Construir un modelo predictivo (el huevo) es solo el principio. Lo difícil, lo que genera valor, es el despliegue: integrar ese modelo en los procesos de la empresa, cambiar cómo se toman decisiones y actuar sobre lo que la máquina predice.
Eric Siegel lo explica bien en su libro The AI Playbook. Y utiliza una metáfora potente: hoy estamos más fascinados por la ciencia del cohete que por el verdadero reto, que es lanzarlo.
La mayoría de proyectos se quedan varados en tierra de nadie. Y es que el verdadero cuello de botella según apunta el artículo del MIT Sloan es que muchas veces los proyectos mueren cuando llegan a un punto donde alguien responde con el tan famoso: “eso no es mi trabajo”.
Los científicos de datos hacen su trabajo, los stakeholders de negocio esperan resultados… y cuando hay que integrar las predicciones en la operativa diaria, ambos lados se miran y dicen, pues eso, lo dicho hace unas líneas.
El resultado: modelos brillantes en laboratorio, con cero impacto en ventas, detección de fraude, sin ahorro de costos o cero impacto en experiencia de cliente.
La raíz del problema es tratar la IA como un proyecto tecnológico.
En realidad, son proyectos de negocio con un componente técnico. Y hasta que no cambiemos este marco mental, seguiremos aplaudiendo prototipos en lugar de celebrar resultados.
Eric Siegel propone un nuevo enfoque para abordar los proyectos de ML predictivos, lo llama: BizML. Este no deja de ser un marco de prácticas empresariales para ejecutar proyectos de machine learning. Suena obvio, pero según él, casi nadie lo hace bien.
Los 6 pasos de este marco son:
Definir el objetivo de despliegue → ¿qué vamos a cambiar en el negocio gracias al modelo?
Alinear la meta de predicción → ¿qué queremos predecir exactamente y con qué horizonte temporal?
Medir con métricas de negocio, no técnicas → ROI, ahorro, clientes retenidos. No solo “accuracy”.
Preparar los datos → porque sin buenos insumos no hay milagros.
Entrenar el modelo → aquí mandan los data scientists, pero con input de negocio.
Desplegar y mantener → integrar la predicción en operaciones reales y revisarla de forma continua.
Cómo ves cada uno de estos puntos no deja de ser sentido común, para mi la importancia no es en sí cada uno de ellos, sino el enfoque. Como decía antes como llamamos a las cosas impacta en cómo las llevamos adelante, y es que este enfoque de proyecto es más de negocio que tecnológico.
Uno de los puntos más valiosos de Siegel es su crítica al mito de la accuracy.
Un ejemplo: si el 93% de tus clientes no compra tu producto, un modelo que siempre diga “no compra” tendrá un 93% de precisión. Impresionante en apariencia, inútil en la práctica.
La métrica que importa no es la precisión, volvemos al punto de antes, cómo llamamos a las cosas. Lo importante del modelo es el impacto económico que consigue para la compañía. ¿Cuántas ventas más generamos? ¿Cuánto dinero ahorramos proveniente de fraude que evitamos? ¿Cuánto ahorramos optimizando el proceso de compras o producción?
Ese es el lenguaje que entienden los comités de dirección.
Siegel cita en el artículo dos ejemplos habituales:
Marketing: predecir quién comprará tras recibir un catálogo. El valor no está en la predicción, sino en decidir a quién enviar y a quién no, maximizando el retorno frente al coste.
Fraude: predecir si una transacción es sospechosa. La clave está en balancear falsos positivos (clientes molestos) y falsos negativos (fraudes no detectados).
En ambos casos, lo decisivo es definir bien la predicción, elegir métricas relevantes y ajustar operaciones para que la IA mueva la aguja.
Siegel también toca temas de moda en s reflexión sobre el estado del arte de los proyectos de machine learning. Aunque probablemente en algunos no estes de acuerdo con él, como es mi caso.
Sobre los datos sintéticos, es escéptico: ¿cómo un dato inventado puede ser mejor que el real? En mi opinión, todo depende más del tamaño del dataset que tengas a tu disposición y el proceso de retroalimentación del modelo.
Y respecto a la IA generativa, recuerda que aunque los casos de uso sean distintos, la disciplina de negocio es la misma: definir objetivos claros, métricas relevantes y un plan de despliegue. En mi opinión, en este punto creo que todavía hay mucho que desentrañar, las alucinaciones de los LLMs requieren una aproximación diferente a la del accuracy de los modelos predictivos.
Aunque creo que de estas líneas podemos sacar un aprendizaje clave, y es que la IA no fracasa por falta de modelos, fracasa por falta de dirección y gobierno.
Hasta que no adoptemos un marco disciplinado donde el negocio lidere y tecnología acompañe, seguiremos acumulando experimentos brillantes pero irrelevantes.
La pregunta es: ¿Tu empresa está construyendo cohetes… o lanzándolos?
Que nunca te falten ideas, ni ganas de probarlas.
A.
PD: Si quieres profundizar en el playbook propuesto por Eric Siegel, te dejo su libro: The AI Playbook: Mastering the Rare Art of Machine Learning Deployment.