El gobierno del almacenamiento como palanca de la innovación

La Oficina de Dato es un agente de cambio e innovación en una organización. Convierte el gobierno del almacenamiento en una auténtica palanca de la innovación. Veamos el por qué.

Algo de historia …

Mi primer proyecto Hadoop vino por un datawarehouse que estaba al máximo de capacidad:

el disco casi lleno,
la ventana batch de proceso agotada,
los usuarios quejándose que las consultas cada vez tardaban más.

No habría habido mayor problema si la ampliación hubiera sido posible. Pero sabíamos que el presupuesto para ello tardaría en llegar mucho más que lo que el sistema podría aguantar.

Y algo había que hacer. Nos pusimos a analizar por dónde era posible recortar. Buscamos redundancias de procesos o almacenamiento que, eliminándolas, nos diera unos meses de tregua. Analizamos las cadenas de carga, los tiempos de proceso. Vimos que la demanda de recursos máxima recaía en el procesado de un mega tablón. Esta tabla la usaba el proceso para generar un agregado del reporting mensual.

De hecho, si no fuera por ese proceso en concreto, la máquina incluso podría considerarse holgada… Y entonces se nos ocurrió. En vez de cargar el tablón en el datawarehouse, los desviaríamos a un sistema de alternativo: A un datalake. Allí generaría diariamente el agregado que luego moveríamos al datawarehouse para que los usuarios pudieran consultarlo y hacer los informes. El mega tablón se quedó en el datalake, por si se requiriese un reproceso.

La solución fue un éxito además de técnico, económico: se pudo realizar un “downsizing” del sistema, con el consiguiente ahorro de costes de hardware y licencias . Y la ampliación de la base de datos… pues ya no hizo falta. Llegaban tiempos nuevos.

Mejora continua

Pasan los años, y las mismas cuestiones de negocio siguen esperando la respuesta “más adecuada”. Que cambiará, ajustándose a la capacidad tecnología del momento.

Y en esta búsqueda , se innova. Pequeños pasos que, poco a poco, provocan la disrupción, un cambio sustancial y radical. El replanteamiento de la solución y, a veces incluso, la reformulación de la pregunta original que inició todo.

Y no solo es plantearse lo nuevo. Innovar supone también replantarse cómo se hacen las cosas «de siempre» para hacerlas aún mejor.

Para mejorar, conócete a ti mismo

Para proponer mejoras y dar una valoración objetiva de su valor respecto a la situación de partida son necesarias referencias métricas.

Estos datos deben ser historificados y , si puede ser, ligados a eventos. Esto nos ayudará a predecir y anticipar situaciones en eventos clave futuros que sigan un patrón conocido.

Métricas e indicadores que definen el gobierno del almacenamiento de datos

El almacenamiento de datos tiene sus propias métricas a las que referir la eficiencia de su gestión y gobierno. Así, podemos hablar de métricas de:

Capacidad (estadísticas básicas de transacciones, almacenamiento, número de objetos y de usuarios …)

Servicio (tiempos de respuesta a peticiones de servicio o incidencias, número de incidencias, encuestas de satisfacción …)
Rendimiento (estadísticas de consultas, de cargas, de volumen de backup, de recuperación de datos …)

*Figura 1: Métricas de datos (Ampliar imagen)*

Todas ellas, deben ser moduladas y evaluadas considerando el factor coste. Y no es un cálculo simple. Deberán tenerse en cuenta todos los costes debidos al uso de la tecnología: el coste de la licencia del software, el coste de mantenimiento de la plataforma, los salarios del personal de IT que operan el sistema, así como el coste de formación a técnicos y usuarios.

Por otro lado, deberán incluirse también costes tales como el del espacio físico que se ocupa (en caso de on premise).

*Figura 2: Seguimiento de activos (Ampliar imagen)*

Implicaciones y riesgos a considerar

Además de los antes mencionados, habrá que incluir en la evaluación de costes las implicaciones técnicas, económicas y legales debidas al cumplimiento de la legislación relativa al almacenamiento y gestión de los datos de nuestros clientes (GDPR, LOPD, reglamentos sectoriales propios de la industria)

Y por último, tendremos que considerar el factor riesgo y coste de oportunidad de las diferentes opciones posibles. Por ejemplo, aunque el movimiento natural es llevar sistemas a la nube, en algunos casos se está produciendo el movimiento inverso: traerlo a on premise. Se trata de negocios en los que prima el control de los datos sobre cualquier otra consideración.

Decisiones basadas en datos

Con todas estas cuestiones, el gestor que gobierna el almacenamiento podrá tomar decisiones ajustadas a sus necesidades y estrategia, que además estarán basadas en datos. Su gestión podrá ser por tanto medible, sujeta a seguimiento y evaluable.

Los datos nos dirán el valor (coste económico, oportunidad y riesgo) de migrarlo todo o solo parte del sistema a la nube.

Nube que para unos datos puede ser pública, pero para otros será privada o directamente en on premise. De hecho las nubes híbridas suelen ser la solución más habitual.

La Oficina de Gobierno del Dato y el seguimiento de activos

Una de las ventajas de tener insertada en la organización una Oficina de Gobierno de Dato es que contamos con un equipo encargado de realizar el seguimiento de los activos.

La Oficina recopila y analiza los datos para optimizar el coste total de propiedad (TCO) de la tecnología encomendada.

Ingredientes para el cálculo del Coste Total de Propiedad (TCO) — Figura 3: *Ingredientes para el cálculo del Coste Total de Propiedad*

Algunas de las tareas que frameworks como el de DAMA asigan a la oficina de Gobierno del dato son:

Garantizar que la compañía cumple con todos los acuerdos de licencia, requisitos reglamentarios y normativos de las tecnologías en uso por parte de la organización.
Realizar auditorías anuales de licencias de software, costes de soporte, de arrendamiento de servidores, alquiler de locales y otros costes fijos.
Evaluar regularmente la conveniencia de tecnologías y productos que se están volviendo obsoletos, sin soporte, menos útiles o demasiado caros y plantear alternativas ajustadas a los requisitos de la organización.

*Figura 4: Control del almacenamiento (Ampliar imagen)*

Conclusión

La Oficina de Dato es un agente de cambio e innovación en una organización: vela porque la tecnología en uso esté actualizada y sea estratégicamente la más adecuada, cuantificando y proponiendo opciones de mejora periódicas alineadas con las particularidades del negocio y de la organización donde desarrolla su servicio.

Referencia: DAMA_Data Management