Cómo transformar una compañía(VI): Las POC o como un proyecto pequeño puede salvar uno grande

¿Qué es una PoC?

PoC (abreviación del inglés “proof of concept” o “prueba de concepto”, en español) es un término frecuentemente utilizado en el mundo Data Science, así como en muchos otros entornos. Se trata de realizar una versión reducida de un proyecto para estudiar tanto su viabilidad como su probabilidad de éxito, antes de escalarlo y ponerlo en producción (lo que se suele llamar operativización). Una PoC analítica es uno de los recursos con los que cuenta una compañía para analizar posibles oportunidades y riegos de una iniciativa.

*Figura 1: Esquema de un proyecto analítico en LUCA Consulting & Analytics* **(Ampliar)**

¿Por qué necesitamos hacer una PoC?

Como anticipamos en un post anterior, los proyectos analíticos pueden llegar a tener grandes dificultades por muchos frentes. Por ello llevar a cabo pruebas de concepto donde descubrir la viabilidad y retos del problema en concreto suele ser una buena y habitual práctica.

Algunas de las principales dificultades que pueden resultar a la hora de intentar abordar un proyecto de esta naturaleza son:

Cultura de la compañía: En algunas ocasiones, la cultura de la compañía puede llegar a ser una barrera para la realización de proyectos de Data Science / Machine Learning. El desconocimiento de cómo funcionan estas técnicas y la tecnología en que se sustentan puede generar reticencias dentro del negocio. Por eso, un requisito esencial en la transformación de una compañía Data Driven es acercar la tecnología al negocio.
Recursos tecnológicos: Si la cantidad de datos con las que se pretende trabajar es grande, es necesaria una potencia de computación acorde para poder llevar a cabo la tarea. Hoy en día no todas las empresas disponen de dicho hardware en la casa o, ni si quiera, la capacidad de integración de sus sistemas con alternativas de computación en la nube. Así, también sucede que las herramientas adecuadas para realizar el trabajo pueden ser desconocidas para la compañía y conseguir que se incluyan en el repertorio de herramientas en tiempo de proyecto no siempre es viable (coste, certificaciones de seguridad, etc.). Un aspecto clave y previo al desarrollo de una PoC, es la definición de una arquitectura de referencia que ponga sobre la mesa los componentes necesarios con antelación.
Datos: En otros casos no se disponen de todos los datos que se necesitarían para poder realizar las predicciones que se buscan. En este sentido, se hace crucial la definición de una metodología de ingesta de datos alineada con las necesidades de negocio. Incluso cuando se tienen los datos que se quieren usar en un proyecto, puede suceder que los resultados que se obtienen no lleguen a cumplir las expectativas que se tenían. Es por esto que realizar una PoC puede ahorrar hacer una inversión mayor que no cumpla con los objetivos que se buscan.

Por estas razones tiene sentido realizar pruebas de concepto antes de realizar grandes inversiones en un nuevo proyecto analítico. Con ello evitamos que un gran proyecto fracase perdiendo el tiempo en resolver problemas de recursos, de datos, o que finalmente no obtenga los resultados que se esperan.

Aspectos clave a la hora de abordar una PoC

Definir un objetivo

A la hora de abordar una PoC es muy importante acotar y definir el problema que se quiere solucionar. Intentar abarcar demasiados problemas a la vez puede desembocar en un proyecto fallido. Una etapa de toma de requerimientos exitosa debería terminar con un objetivo claro a conseguir, y una forma de medirlo. Esto es especialmente importante ya que las métricas que analizaremos durante el proyecto nos permitirán evaluar si ese objetivo es viable a gran escala y, si no, las razones por las que todavía no lo es.

Seleccionar los datos adecuados

Cuando se realizar un PoC hay que hacer una selección inteligente de los datos a utilizar. Usar todos los datos disponibles no suelen una opción, especialmente en proyectos Big Data donde el tiempo de procesamiento es alto y el desarrollo tiene que ser ágil, por lo que una muestra adecuada se hace imprescindible. A la hora de muestrear los datos, hay que tener en cuenta conceptos estadísticos como los muestreos representativos y estratificados para evitar sesgos en nuestro análisis.

Tener claro cómo medir el éxito o el fracaso de la iniciativa

Definir métricas de éxito es, probablemente, una de las cuestiones más importantes a la hora de realizar una PoC. Este pequeño proyecto servirá para comprobar si tiene sentido realizarlo a gran escala, por lo que poder determinar con certeza el éxito o el fracaso de la PoC es esencial.

Normalmente no hay una métrica única que determine unívocamente si el proyecto continúa o se cancela. En una iniciativa, especialmente si esta es novedosa, existen varios actores con distintas perspectivas acerca de lo que aporta un proyecto, con métricas diferentes entre sí.

Podemos tener métricas técnicas (porcentaje de acierto del modelo, error cometido con respecto a la realidad, capacidad de detectar una anomalía con antelación, etc.) pero también de negocio (ROI, porcentaje de clientes afectados el modelo, ahorro en lead time, capacidad de procesar peticiones en paralelo, etc.), de responsabilidad empresarial (p.ej.: fairness) y otras. Conocer y decidir estas métricas antes de empezar la PoC permitirá tomar mejores decisiones al final.

A picture containing meter

Description automatically generated — *Figura 2: Etapas de una PoC analítica **(Ampliar**)*

Ilustración 2: Etapas de una PoC analítica

Conclusiones

Las pruebas de concepto son una herramienta útil y necesaria para evitar resultados indeseados a la hora de llevar a cabo grandes proyectos en una compañía. No obstante, es necesaria la realización de estas pruebas de concepto de manera inteligente para evitar que supongan una pérdida de tiempo y de dinero. Por último, es muy importante llevar a cabo una planificación detallada antes de llevar a cabo la ejecución, establecer un objetivo claro y decidir cómo se va a medir el éxito de dicho objetivo.

Todos los post de esta serie:

Caso de Éxito: Transformación digital de MallorcaWorkforce Optimise la solución para optimizar procesos, operaciones y gestión de equipos