Cómo medir el impacto de la IA en la productividad

Medir productividad, no actividad

Medir el impacto de la IA en la productividad consiste en comparar cuánto cuesta producir un resultado antes y después de introducirla: en tiempo, en errores, en retrabajo o en capacidad. No se mide cuántas veces se usa la herramienta ni cuántas respuestas genera; esas cifras de actividad pueden crecer sin que el proceso mejore.

La medición también protege la decisión. Sin datos, la continuidad de un proyecto depende de impresiones, y las impresiones tienden a ser optimistas al principio y pesimistas cuando aparecen los primeros errores. Con una medición acordada de antemano, la conversación se centra en hechos.

El documento del Plan IA360 indica que la implantación del futuro Bono IA incluirá una medición posterior del impacto en productividad. No se ha publicado cómo se hará ni con qué indicadores, y no hay convocatoria abierta. Lo que sigue es un método propio que sirve para cualquier proyecto, con o sin ayuda pública.

Elige pocos indicadores y defínelos bien

Elige un indicador principal ligado al objetivo del caso de uso y uno o dos secundarios que vigilen efectos no deseados, como un aumento de errores o de reclamaciones. Más indicadores no dan más información si nadie los revisa.

Define cada indicador por escrito: qué cuenta como unidad, cuándo empieza y termina el tiempo, qué se considera un error. Si «documento procesado» significa una cosa antes y otra después, la comparación no vale. Comparte esas definiciones con el proveedor y con el equipo antes de empezar.

• Tiempo por unidad: minutos por documento, por pedido, por consulta o por informe.
• Tiempo de ciclo: desde que entra una solicitud hasta que queda resuelta.
• Volumen por persona: unidades procesadas por persona y jornada con la misma calidad.
• Tasa de error o retrabajo: proporción de resultados que hay que corregir o rehacer.
• Intervenciones manuales: cuántas veces una persona tiene que completar o corregir.
• Calidad percibida: reclamaciones, devoluciones o valoraciones de usuarios internos o clientes.

La línea base: medir antes de cambiar nada

La línea base es la medición del proceso actual con el mismo método que usarás después. Se puede obtener de registros de sistema, como las fechas de entrada y cierre en el ERP o en la herramienta de incidencias, o midiendo una muestra durante unos días. Lo importante es que sea real y no una estimación de memoria.

Elige un periodo representativo. Si el proceso tiene picos estacionales, cierres de mes o campañas, mide en semanas comparables o anota esas circunstancias. Incluye todas las tareas que forman parte del proceso, también las que parecen menores, como buscar un dato en otra aplicación o pedir una aclaración por correo.

• Mide sobre una muestra suficiente que incluya casos fáciles y difíciles.
• Registra quién hizo la tarea: la experiencia cambia mucho los tiempos.
• Anota las condiciones: volumen de trabajo, ausencias, cambios de sistema.
• Guarda los datos brutos, no solo la media.

Medir después: el ahorro neto

Tras la implantación, deja pasar un periodo de adaptación antes de medir: las primeras semanas el equipo aprende y los tiempos no son representativos. Después, mide con las mismas definiciones y en condiciones comparables a las de la línea base.

El error más común es contar solo el tiempo que la IA ahorra y olvidar el que añade. El ahorro neto incluye el tiempo de revisión de los resultados, la corrección de errores, la gestión de excepciones y el mantenimiento de la solución. Un borrador que se genera en segundos pero exige diez minutos de revisión puede no mejorar nada.

Por ejemplo, con cifras ilustrativas: si antes una persona tardaba doce minutos en grabar un pedido y ahora tarda cuatro en revisar el borrador, más uno de media en corregir los que fallan, el ahorro neto es de siete minutos por pedido. Multiplicado por el volumen mensual, da un número de horas que puedes comparar con el coste de operar la solución. El cálculo es sencillo; lo difícil es medir bien cada término.

Separar el efecto de la IA de otros cambios

Durante un proyecto suelen cambiar otras cosas: se reorganiza el equipo, se limpia un maestro de datos o baja el volumen de trabajo. Si no lo tienes en cuenta, atribuirás a la IA mejoras que vienen de otro sitio, o al revés.

No hace falta rigor de laboratorio. Basta con ser honesto sobre lo que se puede atribuir y lo que no, y explicarlo en el informe para que quien lo lea entienda sus límites.

• Anota cualquier cambio relevante en el proceso durante el periodo de medición.
• Cuando sea posible, compara con un grupo o una sede que siga trabajando como antes durante unas semanas.
• Separa el efecto de la limpieza de datos del efecto de la automatización: ambos son valiosos, pero son distintos.
• Repite la medición pasado un tiempo para comprobar que el resultado se mantiene.

El informe de impacto en una página

El resultado de la medición debe poder leerse en una página. Esta estructura sirve para la dirección, para el equipo y para cualquier tercero que necesite entender el proyecto.

Guarda los datos brutos y los registros de la solución junto al informe. Si alguien pregunta cómo se llegó a un resultado, podrás demostrarlo sin reconstruirlo de memoria.

• Caso de uso y objetivo, con el indicador principal elegido.
• Definición de cada indicador y método de medición.
• Línea base: periodo, muestra y resultado.
• Resultado posterior con el mismo método, excluido el periodo de adaptación.
• Ahorro neto, incluidos revisión, excepciones y mantenimiento.
• Efectos secundarios: calidad, errores, carga de trabajo del equipo.
• Limitaciones de la medición y siguientes pasos.

Qué hacer con el resultado

Si el resultado es positivo y estable, la medición se convierte en el argumento para ampliar: a más usuarios, a más volumen o a un proceso parecido. Usa el mismo método en cada ampliación para poder comparar.

Si el resultado es mixto, analiza los errores por tipo antes de decidir. A menudo el ahorro existe en la mayoría de los casos y se pierde en un grupo concreto, como un tipo de documento o un cliente con formato propio. Excluir ese grupo o tratarlo aparte puede cambiar el balance.

Si la medición muestra que no hay mejora, también es información valiosa: evita seguir invirtiendo en algo que no funciona y deja documentado por qué. En cualquier caso, mantén la medición en producción con un cuadro de mando sencillo alimentado por los registros de la solución, para detectar a tiempo si la calidad empeora.