DataOps: Del laboratorio a producción de manera ágil

Hace un año, en uno de los workshops tecnológicos que solemos hacer con nuestros clientes, salió a colación la estrategia para implantar advanced analytics. Este cliente ya estaba realizando desarrollos, probando casos de uso y percibiendo un retorno en la inversión realizada.

En este caso, nuestro cliente ya había contratado a un equipo de data scientists con una formación y experiencia en matemáticas o estadística, y había empezado a desarrollar los primeros modelos analíticos con Python y R. La principal dificultad a la que se enfrentaba era al intentar pasar a producción los modelos que estaba desarrollando. Le estaba costando alcanzar una velocidad equiparable a la que solía tener un proyecto de desarrollo tradicional.

Este es un ejemplo más de los que demuestran que los proyectos de analytics en las grandes empresas tienen un grado de complejidad añadido: tienen una organización y una arquitectura tecnológica bien definida, pero adaptada a los proyectos de desarrollo de software tradicional.

En el siguiente gráfico podemos ver el ciclo de vida habitual de un proyecto de analytics:

Figura 1: Analytics Lifecycle.

Analytics Life Cycle

En este ciclo de vida, los equipos de analytics se encuentran con los siguientes retos:

Tienen una gran dependencia de los equipos de analistas de datos, al ser estas personas las que conocen dónde está el origen de la información necesaria para desarrollar modelos analíticos
No tienen conocimiento de las herramientas tradicionalmente utilizadas para desarrollar aplicaciones en las arquitecturas empresariales, por lo que, a la hora de desplegar estos modelos en una aplicación, surgen problemas de compatibilidad.
No tienen las herramientas para monitorizar el rendimiento de los modelos analíticos ni para detectar posibles degradaciones en su funcionamiento.

Para poder ayudar a afrontar estos retos, surgió hace tiempo el concepto de DataOps. Primero fue definido por Gartner, un cambio cultural derivado de DevOps, pero centrado en el dato. Más adelante, surgió el Manifiesto DataOps, en el que se incluye también el proceso de desarrollo de aplicaciones analíticas.

A partir de este manifiesto, es posible definir un marco de trabajo conceptual con las piezas necesarias para poder agilizar y reducir el time to market de los proyectos de analítica avanzada. Estos componentes pueden ser las herramientas y metodologías necesarias que tendrían que existir en cualquier compañía para disponer de un ciclo de vida de analytics ágil y completamente automatizado.

Este ejercicio permite disponer una visión end-to-end que permita definir la estrategia de implantación de analytics dentro de una gran compañía, evaluando el estado actual, y decidiendo qué componentes evolucionar o implantar para conseguir este objetivo.

Figura 2: DataOps Framework.

Los proyectos de analítica avanzada están demostrando retorno de inversión y aportado de manera incremental valor a negocio. Va a ser necesario gestionar cada vez más aplicaciones productivas que contengan modelos analíticos, por lo que agilizar y automatizar lo máximo posible este tipo de desarrollos será una prioridad en todas las empresas. Una estrategia DataOps es el driver necesario para conseguirlo.

Por Angel Llosa Guillen, Digital Architecture Manager en everis

Visita la web del Club en este enlace: http://clubcdo.com/ y puedes contactar para más información en clubcdospain@outlook.es

IA en el mundo de la mecánica: DeltaSemi-Supervised Learning…el gran desconocido