Cuando un proyecto de IA sale a producción, hay dos formas de medir su éxito. Una es contar cosas que se ven (cantidad de usuarios, prompts enviados, modelos desplegados). La otra es medir si la empresa está mejor que antes. Las dos no son lo mismo.
Esta nota es el framework que usamos para evitar confundirlas.
La trampa de las métricas de vanidad
"Lanzamos un chatbot que recibió 100.000 conversaciones en el primer mes." Suena bien. Pero la pregunta correcta no es cuántas conversaciones recibió — es:
- ¿Cuántas resolvieron lo que la persona buscaba?
- ¿Cuántas redujeron una llamada al call center?
- ¿Cuántas evitaron una devolución, una queja, un cliente perdido?
Si esas preguntas no tienen respuesta, lo que se está midiendo es uso, no retorno.
Tres categorías de retorno real
Cuando empezamos un proyecto de IA en BGROUP — sea desde Synova, desde Brand® o desde Höhe — definimos el retorno esperado en una de estas tres categorías:
1. Ahorro operativo verificable
¿Cuánto tiempo o cuánto dinero ahorra el equipo gracias a esto? Ojo: ahorro verificable, no estimado. La diferencia importa.
Ejemplo concreto: un equipo de medical writers de Höhe procesaba 40 artículos por mes. Con asistencia de IA pasaron a procesar 65. El ahorro no se mide en "más artículos" — se mide en horas de personas senior liberadas para tareas que solo ellas pueden hacer.
Métrica: horas-persona ahorradas × costo-hora real.
2. Ingreso adicional atribuible
¿Generó este proyecto ingresos que no habrían existido sin él? Acá la atribución es difícil: hay que poder distinguir entre lo que habría pasado igual y lo que pasó gracias al proyecto.
Ejemplo concreto: un cliente de Brand® implementó un sistema de recomendación basado en IA. Para medir el ingreso adicional se hizo un experimento controlado: un grupo recibió el sistema, otro no. La diferencia entre los dos grupos es la atribución real.
Métrica: lift verificable en experimento controlado × volumen de operación.
3. Riesgo evitado cuantificable
¿Qué problema costoso evitó este proyecto? Las pérdidas que no ocurren son tan reales como los ingresos que sí ocurren — pero son más difíciles de comunicar.
Ejemplo concreto: un sistema de IA que detecta anomalías en transacciones bancarias. Cada fraude que detecta antes que el cliente se entere es un riesgo evitado: costo de reembolso, costo reputacional, costo regulatorio.
Métrica: pérdida promedio del evento × frecuencia × reducción atribuible.
La línea base es indispensable
Sin línea base no hay ROI. Antes de empezar un proyecto, hay que medir cómo estaba la cosa: cuánto tiempo tomaba, cuántos errores había, cuántos casos pasaban. Si esa medición no existe, lo primero que se hace es construirla.
Esto requiere disciplina. Es tentador saltar directo al desarrollo. Pero un proyecto sin línea base se vuelve incomparable seis meses después, cuando todo el mundo dice "estamos mejor" sin poder mostrar cuánto mejor.
Cuando la respuesta es "no se justifica"
A veces el framework devuelve que el proyecto no se justifica. Esto pasa más de lo que parece. La respuesta correcta entonces es no avanzar, o avanzar con un alcance mucho más chico.
Hay tres situaciones en las que un proyecto de IA suele no rendir el dividendo prometido:
- El problema no era de IA. A veces el problema se resuelve con un buen Excel, mejor capacitación de la gente, o un proceso más claro. Meter IA agrega complejidad sin agregar valor.
- No hay datos suficientes. Los modelos necesitan datos limpios y suficientes. Si la empresa no tiene historial confiable, el proyecto va a fallar antes de empezar.
- El cambio organizacional necesario es enorme. Un modelo brillante que requiere cambiar cómo trabajan 200 personas suele no llegar a producción real.
Cómo lo aplicamos
En la primera conversación de cualquier proyecto, definimos:
- En qué categoría cae el retorno esperado.
- Cuál es la línea base.
- Cuál es la métrica final que vamos a medir.
- Qué proceso de medición vamos a sostener durante y después.
Esto se firma. Literalmente: queda en un documento que las dos partes acuerdan.
Para conversar proyectos del territorio, info@brandformancegroup.la. El laboratorio de Synova en Madrid trabaja varios casos con este framework.
Datos clave
- El ROI de IA se mide en tres categorías: ahorro, ingreso adicional, riesgo evitado.
- Las métricas de vanidad (uso, prompts, usuarios) no equivalen a retorno real.
- La línea base previa al proyecto es indispensable.
- Tres situaciones en las que no avanzar: problema no era de IA, datos insuficientes, cambio organizacional irrealista.
- BGROUP aplica este framework en Synova, Brand® y Höhe.