Modelado de datos: lo bien hecho bien pareceAI of Things 18 octubre, 2020 En ocasiones lo que nos parece evidente pensamos que se consigue sin esfuerzo y que cae llovido del cielo. Nada más lejos de la realidad; a menudo conseguir que las cosas parezcan simples es fruto del trabajo realizado por grandes profesionales. Cuando hablamos de datos, nos parece intuitivo que el mismo dato se llame igual en todos los puntos del sistema, y que mantenga siempre el mismo tipo de dato. Tampoco entenderíamos que el mismo nombre designase cosas distintas en diferentes puntos. Sin embargo, esto no se consigue porque sí. Necesitamos invertir mucho esfuerzo para conseguir estos resultados En ocasiones los jefes de proyecto se quejan por el tiempo que tiene que invertir su equipo para elaborar el modelo de datos. Y es que a veces cuesta ver todos los beneficios que nos aporta el modelado de los datos. Pero, ¿Qué es modelar datos?, ¿para qué sirve?, ¿por qué debo hacerlo? ¿Qué es un modelo de datos? Dicho de una forma muy concisa, el modelado de datos es el proceso por el que se toman los requisitos de negocio y se diseñan las mejores estructuras de datos para soportarlos. El modelo de datos es el equivalente al plano de nuestra casa, que es una representación conceptual de lo que queremos edificar y sirve como herramienta de comunicación entre el cliente, el arquitecto que diseña la vivienda y la cuadrilla que la construye. De una forma totalmente paralela, disponer del modelo de datos le permite al cliente comprobar que sus requisitos de negocio se han tomado en consideración (el qué implementar) y también le permite al arquitecto de datos aportar su conocimiento para crear las estructuras de BBDD para que todo funcione de una forma fluida (el cómo implementar) y, finalmente, podremos generar las instrucciones de creación de los objetos en la BBDD (la implementación). Figura 1: Tipos de modelos de datos ¿Para qué sirve? Sabiendo que en la actualidad los sistemas de información de una gran corporación acostumbran a tener cientos de miles si no millones de elementos de datos, el modelo de datos permite dividir un problema complejo en piezas menores y de una escala mucho más abordable. Igual que los escritores se enfrentan al miedo al folio en blanco, empezar a crear las tablas de un sistema desde cero puede ser una tarea intimidante. El disponer de los modelos de datos de los sistemas de los que nos alimentamos es un fuerte empujón a nuestro proyecto. Reaprovechar piezas que ya están creadas es una forma de evitar silos de información. Los datos se comparten entre aplicaciones y se evitan duplicidades innecesarias. Al reutilizar elementos creados con un estándar nos ayuda a la aplicación del mismo estándar en los nuevos desarrollos, lo que además redunda en otros beneficios como el evitar problemas por los tipos de dato de los campos y en especial nos protege de problemas con la precisión de los cálculos. Por los mismos motivos, también facilita la integración entre aplicaciones. El modelo de datos constituye una poderosa herramienta de comunicación entre los diferentes participantes en el desarrollo de un proyecto. Su lenguaje gráfico es fácilmente entendible por todos, a la vez que refleja con precisión los matices de los requisitos de negocio. Cuando se dispone de un modelo de datos todo el mundo entiende lo mismo sobre el contenido de un campo: contiene lo que está escrito en la descripción y si se debe corregir se hará tanto en el modelo como en el proceso que lo utiliza, siendo siempre la referencia en la que comprobar. La creación de modelos de datos siempre es beneficiosa, pero cuando desarrolla todo su potencial es cuando se realiza de forma corporativa. Si el modelado es a nivel de proyecto (táctico) nos servirá para guiar la colaboración de un equipo, pero si se hace a nivel corporativo (estratégico) nos ayuda a que TODOS los equipos trabajen de forma integrada. Figura 2: Proyectos transformadores ¿Por qué debo hacerlo? En estos tiempos en los que todo el mundo habla de la gobernanza de los datos, quizás la herramienta más veterana para hacerlo sea el modelo de datos. Es de destacar que DAMA cita la disciplina de modelado como una de las troncales para conseguir un buen gobierno, y que sobre ella se apoyan, en mayor o menor grado, la mayoría del resto de disciplinas de su guía (arquitectura, datos maestros, data warehouse, seguridad, integración, calidad de datos, metadatos, almacenamiento, …) A lo largo de décadas ha demostrado su solvencia para conseguir: Mayor calidad de las aplicaciones Durante el proceso de modelado se revisan de forma exhaustiva los requisitos y se plantean todo tipo de dudas a resolver con negocio y además su naturaleza visual es un gran facilitador para la comunicación entre los diferentes grupos implicados. Adicionalmente el modelado de datos incluye una fase de optimización de rendimientos que asegura sistemas más rápidos y fiables Desarrollos más rápidos Al haberse trabajado en detalle los requisitos de negocio durante la elaboración del modelo de datos, el desarrollo se hace de una forma mucho más ágil. Se evitan así los retrabajos que se suelen dar cuando los requisitos no están claros. Menores costes de desarrollo y de mantenimiento de aplicaciones Por los mismos motivos del punto anterior, se reducen tanto los costes de desarrollo como de mantenimiento de las aplicaciones. Menores costes de almacenamiento y de procesamiento de datos Al eliminarse duplicidades se eliminan los costes asociados, tanto de almacenamiento como de procesamiento para crear ineficaces copias de los datos. Mayor facilidad para la adaptación al equipo de trabajo Al disponer de una herramienta que transmite con precisión el comportamiento esperado del sistema, el conocimiento acumulado por los miembros del equipo queda mejor documentado. De esta forma es posible formar a las nuevas incorporaciones con mayor facilidad. Mejor comprensión del contenido de los datos Será de la máxima utilidad disponer del modelo de datos a la vez que se estén consumiendo los propios datos, ya que nos ayudará a comprender su significado. Para garantizar un máximo aprovechamiento será importante estudiar la mejor forma de publicarlo, incluso por medio de la creación de alguna visualización a la medida del negocio. Figura 3: Gestión de Cambios/Control de la base de datos Desafíos de la tecnología Si bien, como se menciona más arriba, el modelado ha sido durante décadas una potente herramienta de Gobierno del Dato, la irrupción de nuevas tecnologías supone un gran reto, ya que es una técnica muy orientada a los gestores de BBDD relacionales. En ocasiones se ha dado la sensación de que la utilización de tecnologías schemaless, schema on read y otros NoSQL con datos semiestructurados, hace innecesaria la creación de un modelo de datos, cuando es exactamente lo opuesto: la flexibilidad de la que nos dotan estas tecnologías supone un esfuerzo extra para gobernar los datos que se utilicen en ellas. Por ejemplo, será más sencillo tener marcada una columna como “dato sensible según GDPR” en una BBDD cuyo esquema esté documentado en una herramienta de modelado de datos que hacerlo en una tecnología en la que cada nueva ingesta de un fichero pueda contener nuevas etiquetas en su interior. Todos hemos oído hablar del riesgo que supone que, por falta de gobierno, un Data Lake se convierta en un Data Swamp. Si no conseguimos que los datos semiestructurados sigan unas buenas pautas de gobierno, tenemos la certeza de que nuestro lago de datos se convertirá en una ciénaga. Por tanto, supone un desafío adaptar unas técnicas de modelado muy arraigadas y que no se adecuan completamente a las nuevas tecnologías, intentando, además, que sigan siendo de utilidad para nuevos tipos de gestores de BBDD aún por venir. Hay un buen número de empresas que han querido lanzarse a realizar su transformación digital y sacar beneficio de los datos de que disponen y se han dado cuenta de que no se encuentran preparadas. Para poder extraer valor es necesario tenerlos con un mínimo de gobierno y, sobre todo, conocer el significado de cada dato. Escrito por Juan Ignacio Ayala Noticias Serie <Cómo transformar una compañía> Priorizar casos de usoConectar la tecnología con el negocioProfundizando en la arquitectura de referenciaDesarrollar una metodología de ingestión de datosComplementar las fuentes internas con datos externosLas POC o como un proyecto pequeño puede salvar uno grande Noticias Serie <Gobierno del Dato> El arte de comunicar en tiempos de cambioTransformación Digital y Gobierno del Dato tras el COVID-19Cómo convertir el dato en un activo corporativo: Gobierno del datoLa calidad del dato como marca personal Para mantenerte al día con LUCA visita nuestra página web o síguenos en Twitter, LinkedIn y YouTube. Smart Agro: alianzas público-privadas que contribuyen a los ODSAsí se mueve Alemania: datos móviles para mejorar planes de transporte
Nacho Palou Ingredientes para las Ciudades Inteligentes del presente Gracias a tecnologías como IoT (Internet de las cosas) y la Inteligencia Artificial, las ciudades pueden ser sensorizadas, mejorar y automatizar procesos, y tomar decisiones de manera más eficiente....
Nacho Palou Alumbrado público inteligente: oportunidades de negocio y beneficios para municipios y ciudadanos El alumbrado público inteligente es uno de los pilares de las ciudades inteligentes. De hecho, es uno de los mejores ejemplos de lo que significa el término Smart City:...
Nacho Palou Humanidad aumentada, el concepto que popularizó un ex-CEO de Google y que está más vigente que nunca Hace algunos años el entonces CEO de Google, Eric Schmidt, popularizó el concepto “humanidad aumentada”. Este término se refiere a la capacidad que tiene la tecnología de “mejorar las...
Nacho Palou Empieza ya a programar Inteligencia Artificial: lenguajes, herramientas y recomendaciones Existe una relación muy estrecha en Big Data e Inteligencia Artificial (IA): Big Data consiste en capturar, procesar y analizar grandes cantidades de datos. Cuando estos datos se...
Alberto García García-Castro Incentivos en redes blockchain empresariales: un nuevo enfoque La importancia del uso de incentivos que premien la colaboración y las buenas prácticas de los participantes en una red blockchain siempre ha sido parte fundamental de la tecnología....
Nacho Palou Blockchain para incrementar la confianza en la compra y venta de vehículos Cada vez es más habitual encontrar en los vehículos tecnologías digitales como conectividad, Internet de las Cosas o Inteligencia Artificial. Por ejemplo, en forma de asistentes digitales, servicios de...