Telegestión & Big Data: Una perspectiva global desde IRIS y Hadoop

 

Introducción

Con la obligatoriedad legal de la sustitución de contadores de consumo eléctrico analógico por  contadores electrónicos (smart meters), muchas compañías eléctricas de España y de nuestro entorno cercano, se encuentran en un escenario en el que tienen que manejar ingentes cantidades de información. No hablamos sólo del consumo directo de un usuario doméstico, sino de datos de muy diversa índole:
  • Información de reactivas.
    Hadoop
  • Energías reactivas.
  • Maxímetros.
  • Interrupciones de servicio.
  • Eventos relacionados con la calidad del suministro (power quality).
  • Toda la información relacionada con cambios de potencia y cortes remotos.
  • Estados PLC de contador.
  • Conectividad con concentradores de datos.
  • Etc.
Todo este volumen de información, multiplicado cuando una compañía tiene que operar miles de dispositivos concentradores y millones de contadores, debe ser correcta y eficientemente gestionada.
Este documento presenta una perspectiva tecnológica que pretende indicar el rol de un sistema de telegestión de dispositivos como IRIS en relación con tecnologías de explotación y análisis de grandes volúmenes de datos (big data); ambos conceptos se suelen malinterpretar y se ha detectado, desde nuestro punto de vista, cierta confusión en el sector.

 

Telegestión de dispositivos PRIME

Podemos definir como sistema de telegestión aquel que permite gestionar, operar y sacar el máximo provecho y rendimiento de todos los dispositivos de campo instalados. IRIS es un sistema de Telegestión PRIME sobradamente probado, maduro y desde hace mucho tiempo en explotación, que, entre otras muchas cosas, permite:
  • Gestionar fácilmente miles de dispositivos
  • Operar correctamente las órdenes de gestión que se envían a los dispositivos
  • Única plataforma para la gestión total de los dispositivos
  • Maximizar el rendimiento de los dispositivos (mayor número de cierres obtenidos) mediante estrategias smart
  • Multiusuario, escalable por hardware y ejecución en cloud
  • Etc.
Dada la naturaleza de la información que gestiona IRIS (dispositivos, estados PLC, órdenes, tareas, históricos de conectividad, extensiones, usuarios, etc), claramente su repositorio de datos es estructurado y basado en SQL, como “no podría ser de otra forma”.
IRIS utiliza un patrón repositorio que permite usar la plataforma con distintos motores de base de datos; en su implementación actual, se utiliza y con enorme éxito de escalabilidad Sql Server 2012; perfectamente se podría utilizar Oracle, MySql o cualquier otro gestor de base de datos de manera totalmente transparente.
La naturaleza de la información que IRIS almacena está relacionada con la necesidad de un sistema de telegestión y operar correctamente los dispositivos de medida para:
  • Enviar correctamente órdenes y mantener una traza de las mismas
  • Leer con alto rendimiento avalanchas de cierres diarios
  • Envío masivo de cambios de firmware
  • Exportar al sistema de facturación, sistema de ticketing o MDM (por ejemplo), la información necesaria para la toma posterior de decisiones
  • Etc.
Todas estas son la capacidades que grosso modo debe incorporar el sistema de telegestión de una compañía eléctrica.
Ahora bien, ¿de qué volumen de información estamos hablando?

 

Volumen de datos gestionados por IRIS

La base de datos de IRIS está extremadamente optimizada y ha sido diseñada para su uso eficiente desde el punto de vista de una Plataforma de Telegestión.
Nuestro despliegue en Azure junto con la tecnología de concentradores virtuales, realizada para la simulación de un millón de contadores, nos ha permitido extraer ciertas conclusiones muy valiosas, entre otras:
  • En un escenario real, el sistema gestiona entre 40k y 60k ficheros diarios
  • La avalanchas de cierres diarios se procesan en menos de una hora (con el escalado de demostración actual)
  • Para un millón de contadores, y en base a nuestra experiencia con compañías eléctricas que usan IRIS, el sistema gestiona entre 5k y 15k órdenes diarias
  • La base de datos crece a un ritmo de 400Mb diarios (para 1M de contadores)
  • La operatividad y uso de la interfaz de usuario por un operador es ligera, rápida y eficiente: más datos no implica mayor lentitud en la operación, ya que la base de datos está suficientemente bien diseñada e indexada.
En conclusión: el rendimiento de Sql Azure (SQL Server 2012) es espectacularmente alto y se deduce que para una base de 4M de contadores, igualmente aceptable.
Ahora bien, ¿qué ocurre con los datos de cierres que se irían acumulando con el tiempo?
Entendemos que aquí está el quid de la cuestión: para un sistema de 4M de contadores en operación durante un año, concluimos que la base de datos de IRIS no alcanzaría los 2Tb de espacio de almacenamiento, muy lejos de su límite.
Si bien la Plataforma de Telegestión debe gestionar la base de dispositivos instalada, una confusión habitual es pensar que este sistema debe, además:
  • Actuar de repositorio histórico de datos
  • Proveer de un tratamiento de alto nivel de la información para la toma de decisiones
Ambas características es de lo que se encarga el big data: suministrar un mecanismo eficiente para gestionar y tratar grandes volúmenes de información para extraer conocimiento a partir de la misma.
En el contexto del big data se entiende por “grandes volúmenes” desde decenas de terabytes hasta varios petabytes; no obstante, hemos indicado que para un año de operación a nivel de telegestión, IRIS necesitaría menos de 2 terabytes, ocupando en un 80% de este espacio los valores de cierres e históricos PLC.

 

Y llegó el big data

Como se ha indicado, el big data pretende ofrecer un conjunto de herramientas para almacenar enormes volúmenes de información para su análisis posterior en un tiempo razonable. Por tanto, el big data no es:
  • Un simple cajón de enormes volúmenes de datos a modo de backups
  • No es una forma de estructurar la información para su operación por un sistema multiusuario de trabajo diario (como pueda ser IRIS como Plataforma de Telegestión)
Lo que sí es el big data desde la perspectiva de la telegestión:
  • Una herramienta extraordinariamente útil para extraer valor de la información de enormes volúmenes de información, como por ejemplo:
    • Patrones de comportamiento en los cierres de consumo diarios para la detección de fraudes
    • Áreas geográficas con mala cobertura de comunicaciones
    • Patrones de comportamiento a nivel PLC
    • Gestión de la demanda: dado un extenso histórico de consumo, ¿podemos estimar el consumo “probable” para un 15 de agosto, por poner en ejemplo?
    • Contadores “punto frontera” cuyos consumo no coincide correctamente con la suma de los consumos de sus contadores aguas abajo
    • Topologías de red PLC problemáticas
    • Franjas horarias con mayores/menores consumos por áreas
  • Un mecanismo homogéneo, seguro y escalable con el que poder implementar a un coste razonable lo necesario para responder a las preguntas anteriores

Por tanto, concluimos que un sistema que implementa big data no debe suponerse como el corazón de un sistema de telegestión, sino que, de la mano de este, encaja en el siguiente nivel de procesamiento de la información de telegestión para extraer valor útil de este.

 

Una propuesta comercial real: IRIS + Hadoop (HDInsight)

IRIS incorpora un conjunto de interfaces y mecanismos para la exportación de toda la información que gestiona a terceros:
  • Ficheros xml a ftp de clientes
  • Apertura de tickets de incidencias de un tercer sistema
  • Envío automático de cierres / eventos a un ERP (como pueda ser SAP)
  • Etc.
Del mismo modo, desde la perspectiva del big data, IRIS suministra de manera natural toda la información que un big data necesitaría para extraer conclusiones y realizar análisis acerca de los datos obtenidos por la Plataforma de Telegestión.
En el mercado del big data, se está instaurando de manera muy extendida el uso de Apache Hadoop, soportado ya por las grandes compañías de software como puedan ser Oracle y Microsoft.
 
IRIS puede ser desplegado en un entorno cloud como Microsoft Azure, como ya se han indicado anteriormente en este documento en relación al despliegue de 1M de contadores con concentradores virtuales. Azure provee de su implementación de Hadoop para la creación segura y ágil de entornos big data mediante lo que Microsoft denomina HDInsight.
 
Por esta razón, la Plataforma de Telegestión IRIS se alinea de manera natural con Hadoop y su implementación por Microsoft en HDInsight, ofreciendo un paquete total con todas las herramientas tecnológicas necesarias por una gran compañía eléctrica para la explotación con éxito de su despliegue smart de contadores y concentradores.
 
Igualmente, nos complace indicar que dada la naturaleza distribuida y escalable de IRIS, la Plataforma de Telegestión puede ser desplegada en Azure tanto como en local, en modo híbrido, con SQL Server / Oracle y en conjunción con cualquier otra solución de big data (SAP HANA, Oracle Exadata, etc.).

 

Referencias

Jueves, Febrero 27, 2014