Paloma Recuero de los Santos Data Science: ¿Cómo hacer las preguntas adecuadas? Cuando hablamos de Ciencia de Datos, o de Aprendizaje Automático, solemos hablar de datos, algoritmos, modelos, etc. Y no nos damos cuenta de que, quizás, hemos pasado”de puntillas” por...
Antonio Pita Lozano ¡Que la fuerza te acompañe LEIA! Son tiempos difíciles para la galaxia, la crisis financiera acecha a la unión y los estados periféricos imponen aranceles en su luchan con el control comercial. De forma silenciosa,...
Paloma Recuero de los Santos ¿Inteligencia Artificial o Cognitiva? En los últimos años el término “Inteligencia Artificial” parece estar perdiendo fuerza a favor de otros términos como “Inteligencia Cognitiva”, o “tecnologías smart”, “predictivas” etc. En este post analizamos...
Amaia Perez El Big Data ya combate el crimen en Nueva York Contenido original de Lourdes Tejedor, Community Manager y Editora en Telefónica. Una ciudad: Nueva York; un problema: la criminalidad. ¿Cómo atajarla? ¿Dónde y cuándo se da más? ¿Están bien situados...
LUCA Caso de éxito: Optimizando el plan de carreteras de Highways England La industria del transporte es una industria muy permeable a la aplicación de estrategias de Big Data e Inteligencia Artificial, ya que existen casos de uso claros para maximizar...
LUCA Incorporación de Big Data en el sector público: caso de éxito Navantia ¿Cuáles son los ingredientes principales para una transformación digital exitosa? La transformación digital se ha hecho indispensable en casi todos los sectores, también en la administración pública y, como hoy vamos...
Ana Zamora LUCA Tourism en el Festival del Globo en México El Festival Internacional del Globo (FIG) reúne cada año más de 200 globos que recorren el cielo del Parque Metropolitano de León, Guanajuato, en un espectáculo maravilloso. El evento es...
Paloma Recuero de los Santos Ciudades Inteligentes: Tutorial de Power BI sobre Open Data En este artículo, que publicaremos en dos post, hablaremos de Smart Cities y de cómo pueden utilizar sus datos para ser más “smart”. Trabajaremos con un dataset de ejemplo...
Paloma Recuero de los Santos Video Post #12: Perfiles de datos ¿Cuál es el tuyo? El mundo de los datos y su explotación por medio de técnicas de Machine Learning e Inteligencia Artificial es tan amplio que se hace necesario definir diferentes perfiles o...
Ane Urain LUCA Talk: Big Data y ciudades inteligentes, ¿ciencia o ficción? Las ciudades se están convirtiendo en entornos cada vez más complejos donde la gestión de grandes volúmenes de datos es cada vez más un requerimiento para mejorar los servicios...
LUCA LUCA Talk: La transformación empieza por la formación La transformación digital de las empresas empieza por el cambio cultural de las personas y no en la tecnología. De nada sirve apostar por tecnología más puntera como Machine...
Paloma Recuero de los Santos Video Post #14: “ScyPy, NumPy, Pandas…¿Qué librerías Python necesito? En esta nueva edición de LUCA video post, damos un paso más en nuestro aprendizaje de Python aprendiendo lo que son los módulos, y, en particular las...
Descubriendo el poder del Big Data en el mundo energéticoLUCA 5 septiembre, 2017 Contenido creado por Pedro A. Baigorri, Marta García Moreno, Henar Muñoz Frutos y J.Carlos Calvo Martínez, miembros del equipo de producto de LUCA. Ahora más que nunca las técnicas Big Data están ayudando a las empresas a conseguir los estrictos requisitos de eficiencia energética que la legislación les obliga a cumplir. Asimismo, es un importante mecanismo para la reducción de consumo de energía y por lo tanto, el ahorro económico. Pero, ¿en qué consisten realmente las técnicas de Big Data aplicadas al mundo energético? ¿Qué tipos de análisis existen? Figura 1: Nuestra solución LUCA Energy. Un ejemplo de análisis predictivo es nuestra solución LUCA Energy. El procedimiento seguido en la creación del Predictor de Energía de LUCA Energy se ajusta a los pasos que debe seguir un proyecto de analítica predictiva. Impulsado por el equipo de IOT Global, LUCA Energy complementa con la capacidad BigData el Servicio de Eficiencia Energética de Movistar España. 96 Normal 0 21 false false false ES-TRAD X-NONE X-NONE /* Style Definitions */ table.MsoNormalTable {mso-style-name:”Tabla normal”; mso-tstyle-rowband-size:0; mso-tstyle-colband-size:0; mso-style-noshow:yes; mso-style-priority:99; mso-style-parent:””; mso-padding-alt:0cm 5.4pt 0cm 5.4pt; mso-para-margin:0cm; mso-para-margin-bottom:.0001pt; mso-pagination:widow-orphan; font-size:12.0pt; font-family:Calibri; mso-ascii-font-family:Calibri; mso-ascii-theme-font:minor-latin; mso-hansi-font-family:Calibri; mso-hansi-theme-font:minor-latin; mso-fareast-language:EN-US;} Como ya se presentó en este blog, el primer módulo de LUCA Energy es el Predictor de Consumo de Energía que detecta desviaciones de consumo de manera que pueda alertar anticipadamente a las empresas de su exceso de consumo para que puedan tratar de reducirlo. Descubrimiento y Preparación de los datos Los datos obtenidos en crudo provenientes de los sensores IoT instalados en la empresa, son filtrados y procesados para obtener un formato común con datos de temperatura interior y exterior y consumo energético. Normal 0 21 false false false EN-GB JA X-NONE /* Style Definitions */ table.MsoNormalTable {mso-style-name:”Tabla normal”; mso-tstyle-rowband-size:0; mso-tstyle-colband-size:0; mso-style-noshow:yes; mso-style-priority:99; mso-style-parent:””; mso-padding-alt:0cm 5.4pt 0cm 5.4pt; mso-para-margin:0cm; mso-para-margin-bottom:.0001pt; mso-pagination:widow-orphan; font-size:12.0pt; font-family:Calibri; mso-ascii-font-family:Calibri; mso-ascii-theme-font:minor-latin; mso-hansi-font-family:Calibri; mso-hansi-theme-font:minor-latin; mso-ansi-language:EN-GB; mso-fareast-language:EN-US;} Figura 2: Ejemplo resultados predicción consumo sin calendario. Planificación y Construcción del modelo Generar el modelo implica seleccionar las variables más importantes y que más influyen en el consumo energético. La primera versión del algoritmo se centró en los consumos de los días anteriores y los valores de temperaturas. Con esta versión, se obtuvieron resultados de calidad para días de trabajo estándar, pero no para aquellos días que no se ajustaban a ciertos patrones. Por ejemplo, si se trabajaba un domingo de forma extraordinaria, los ajustes de consumo no eran muy precisos al día siguiente, tal y como se muestra en la Figura 1. Normal 0 21 false false false EN-GB JA X-NONE /* Style Definitions */ table.MsoNormalTable {mso-style-name:”Tabla normal”; mso-tstyle-rowband-size:0; mso-tstyle-colband-size:0; mso-style-noshow:yes; mso-style-priority:99; mso-style-parent:””; mso-padding-alt:0cm 5.4pt 0cm 5.4pt; mso-para-margin:0cm; mso-para-margin-bottom:.0001pt; mso-pagination:widow-orphan; font-size:12.0pt; font-family:Calibri; mso-ascii-font-family:Calibri; mso-ascii-theme-font:minor-latin; mso-hansi-font-family:Calibri; mso-hansi-theme-font:minor-latin; mso-ansi-language:EN-GB; mso-fareast-language:EN-US;} En una segunda iteración, para resolver el problema mencionado anteriormente se abordó una siguiente versión del algoritmo donde se incorporaron al modelo datos de calendarios tanto días festivos en los años y regiones particulares de los clientes, como festivos abiertos. Con ello, el algoritmo obtuvo un ajuste de predicciones mucho mayor en las situaciones que se comentaban anteriormente. Se puede observar la mejoría de la predicción de los resultados en la Figura 2, tratándose del mismo día observado en la gráfica anterior. Normal 0 21 false false false EN-GB JA X-NONE /* Style Definitions */ table.MsoNormalTable {mso-style-name:”Tabla normal”; mso-tstyle-rowband-size:0; mso-tstyle-colband-size:0; mso-style-noshow:yes; mso-style-priority:99; mso-style-parent:””; mso-padding-alt:0cm 5.4pt 0cm 5.4pt; mso-para-margin:0cm; mso-para-margin-bottom:.0001pt; mso-pagination:widow-orphan; font-size:12.0pt; font-family:Calibri; mso-ascii-font-family:Calibri; mso-ascii-theme-font:minor-latin; mso-hansi-font-family:Calibri; mso-hansi-theme-font:minor-latin; mso-ansi-language:EN-GB; mso-fareast-language:EN-US;} Figura 3: Ejemplo resultados predicción consumo con calendario. Comunicación de los resultados Los resultados obtenidos de los modelos deben ser evaluados y reportados. Para ello, se adoptó la métrica R2Score o coeficiente de determinación de la regresión, cuyo valor oscila entre 0-1 siendo 1. Esta métrica fue usada en un proceso de benchmarking que analizaba la calidad de los resultados de forma automatizada. Esto permitió realizar análisis comparativos probando las distintas opciones de configuración existentes en los algoritmos. Un ejemplo de ello fueron las pruebas para la selección del periodo de histórico de datos necesario para el entrenamiento de los algoritmos. Con este enfoque y realizando un benchmarking global del algoritmo se consiguió llegar en la mayor parte de las oficinas analizadas a unos resultados de predicción con R2Score entre 0.8 y 1. También se pudo determinar el periodo de entrenamiento mínimo y óptimo para llegar al régimen de mayor R2Score, tal y como se visualiza en la Figura 3. Figura 4: R2Score del algoritmo de LUCA Energy en función del tiempo y oficinas. Mejora de la robustez del algoritmo Tras analizar más detalladamente el benchmarking realizado, se detectó que anomalías o desviación en el consumo enérgico típico afectaban en la predicción de los días que dependía y bajaban la calidad del algoritmo. Para mejorar el R2score del algoritmo, se aplicó técnica de detección de valores atípicos en la entrada de los datos. El objetivo es mejorar la robustez del algoritmo a posibles problemas ocasionales en la calidad de los datos de entrada. Normal 0 21 false false false EN-GB JA X-NONE /* Style Definitions */ table.MsoNormalTable {mso-style-name:”Tabla normal”; mso-tstyle-rowband-size:0; mso-tstyle-colband-size:0; mso-style-noshow:yes; mso-style-priority:99; mso-style-parent:””; mso-padding-alt:0cm 5.4pt 0cm 5.4pt; mso-para-margin:0cm; mso-para-margin-bottom:.0001pt; mso-pagination:widow-orphan; font-size:12.0pt; font-family:Calibri; mso-ascii-font-family:Calibri; mso-ascii-theme-font:minor-latin; mso-hansi-font-family:Calibri; mso-hansi-theme-font:minor-latin; mso-ansi-language:EN-GB; mso-fareast-language:EN-US;} La Figura 3 muestra en azul los datos obtenidos a partir de los sensores de la Plataforma de Eficiencia Energética de Telefónica. Dichos datos se compararon con datos de consumo de días similares y se consideró que eran valores atípicos, es decir datos que distaban mucho de los demás correspondientes al mismo tipo de día, procediendo a la sustitución de dichos valores. Esto dio lugar a los valores de input “limpiados” representados por la línea naranja de la Figura 4. Normal 0 21 false false false EN-GB JA X-NONE /* Style Definitions */ table.MsoNormalTable {mso-style-name:”Tabla normal”; mso-tstyle-rowband-size:0; mso-tstyle-colband-size:0; mso-style-noshow:yes; mso-style-priority:99; mso-style-parent:””; mso-padding-alt:0cm 5.4pt 0cm 5.4pt; mso-para-margin:0cm; mso-para-margin-bottom:.0001pt; mso-pagination:widow-orphan; font-size:12.0pt; font-family:Calibri; mso-ascii-font-family:Calibri; mso-ascii-theme-font:minor-latin; mso-hansi-font-family:Calibri; mso-hansi-theme-font:minor-latin; mso-ansi-language:EN-GB; mso-fareast-language:EN-US;} Figura 5: Input original (azul) vs Input sin valores atípicos. Normal 0 21 false false false EN-GB JA X-NONE /* Style Definitions */ table.MsoNormalTable {mso-style-name:”Tabla normal”; mso-tstyle-rowband-size:0; mso-tstyle-colband-size:0; mso-style-noshow:yes; mso-style-priority:99; mso-style-parent:””; mso-padding-alt:0cm 5.4pt 0cm 5.4pt; mso-para-margin:0cm; mso-para-margin-bottom:.0001pt; mso-pagination:widow-orphan; font-size:12.0pt; font-family:Calibri; mso-ascii-font-family:Calibri; mso-ascii-theme-font:minor-latin; mso-hansi-font-family:Calibri; mso-hansi-theme-font:minor-latin; mso-ansi-language:EN-GB; mso-fareast-language:EN-US;} Con los nuevos datos limpiados de input, el algoritmo de predicción mejoró tanto los valores de R2Score como el número de días y minutos desviados, tal y como se muestra en la Tabla 1. Normal 0 21 false false false EN-GB JA X-NONE /* Style Definitions */ table.MsoNormalTable {mso-style-name:”Tabla normal”; mso-tstyle-rowband-size:0; mso-tstyle-colband-size:0; mso-style-noshow:yes; mso-style-priority:99; mso-style-parent:””; mso-padding-alt:0cm 5.4pt 0cm 5.4pt; mso-para-margin:0cm; mso-para-margin-bottom:.0001pt; mso-pagination:widow-orphan; font-size:12.0pt; font-family:Calibri; mso-ascii-font-family:Calibri; mso-ascii-theme-font:minor-latin; mso-hansi-font-family:Calibri; mso-hansi-theme-font:minor-latin; mso-ansi-language:EN-GB; mso-fareast-language:EN-US;} Tabla 1: Resultados Benchmarking Con Valores Atípicos vs Sin Valores Atípicos. Otro caso relativamente frecuente e importante es que los sensores no puedan enviar los valores de consumo y se reciban valores nulos como entrada al Predictor. En ese caso también debe hacerse una eliminación de los valores atípicos. Llegados a este punto y dada la robustez del algoritmo, el Predictor de Energía está listo para ser usado como parte del Servicio de Eficiencia Energética de Telefónica España. Inicialmente arrancará como Piloto que servirá para obtener un feedback importante de los clientes. Próximos pasos La evolución del servicio LUCA Energy empieza a afrontar otros casos de uso como la “Simulación de Cambios” que tratará de dar respuesta a preguntas como “¿Cuánto consumiré de más si abro una hora antes al público entre semana?”, “¿Cuánto ahorraré si disminuyo la temperatura 1 grado en invierno durante el horario de trabajo?”. Además de esto, LUCA Energy abordará otros casos de uso aún más complejos tales como el “Mantenimiento Predictivo” que permitirá alertar sobre futuras averías antes de que se produzcan y el caso “Gestor de Diseño” que se encargará de proporcionar un diseño de oficinas óptimo desde el punto de vista de eficiencia energética. La respuesta a estas preguntas y todos estos avances demuestran el poder que puede ofrecernos el Big Data y su correcta aplicación y análisis en el mundo de la eficiencia energética. No te pierdas ninguno de nuestros post. Suscríbete a LUCA Data Speaks. Las 5 preguntas que puedes responder con Data ScienceBig Data y Deportes: excelentes catalizadores para el desarrollo
Paloma Recuero de los Santos Data Science: ¿Cómo hacer las preguntas adecuadas? Cuando hablamos de Ciencia de Datos, o de Aprendizaje Automático, solemos hablar de datos, algoritmos, modelos, etc. Y no nos damos cuenta de que, quizás, hemos pasado”de puntillas” por...
Antonio Pita Lozano ¡Que la fuerza te acompañe LEIA! Son tiempos difíciles para la galaxia, la crisis financiera acecha a la unión y los estados periféricos imponen aranceles en su luchan con el control comercial. De forma silenciosa,...
LUCA Caso de éxito: Optimizando el plan de carreteras de Highways England La industria del transporte es una industria muy permeable a la aplicación de estrategias de Big Data e Inteligencia Artificial, ya que existen casos de uso claros para maximizar...
LUCA LUCA Talk: La transformación empieza por la formación La transformación digital de las empresas empieza por el cambio cultural de las personas y no en la tecnología. De nada sirve apostar por tecnología más puntera como Machine...
Paloma Recuero de los Santos IA bajo el microscopio: meetup y entrega de Data Science Awards Spain 2019 El pasado 5 de diciembre, en el Auditorio del Espacio Fundación Telefónica, tuvo lugar el encuentro Inteligencia Artificial bajo el Microscopio, en el que se hizo...
Jesús Montoya Sánchez de Pablo Cómo transformar una compañía. Paso 2: conectar la tecnología con el negocio En una entrada anterior, presentamos la priorización de los casos de uso como el primer paso hacia la transformación de las compañías en el marco de un plan de...