USO DE LA SOLUCIÓN ELASTIC-STACK COMO DATALAKE MASIVO DE ABOX-ECM
Desde hace varios meses, Adapting LAB trabaja con una nueva tecnología de Big Data que permite consolidar grandes cantidades de datos en la nube y realizar un procesamiento avanzado con ellos, denominado Elastic Stack (ELK).
ELK es la sigla para tres proyectos open source: Elasticsearch, Logstash y Kibana. Elastic-Stack permite la obtención de datos a partir de ficheros de logs mediante Logstash y su almacenamiento en el motor de búsquedas y análisis Elasticsearch. Además, permite la visualización, monitorización y explotación de datos en tiempo real mediante Kibana.
Descripción del Elastic-Search:
Detallamos a continuación los componentes empleados por esta solución:
Elasticsearch:
Es el corazón del stack, siendo el motor de almacenamiento, búsqueda, procesamiento e indexación de datos. Se caracteriza por ser distribuido, lo que permite su crecimiento horizontal almacenando grandes cantidades de datos no estructurados mediante documentos JSON. A diferencia de otros motores similares, su diferencial es la velocidad, pues es excelente para buscar y visualizar información en tiempo real.
Logstash:
La forma más sencilla de definir Logstash, es describirlo como un ETL (acrónimo del concepto Extract Transform, Load). En otras palabras, Logtash permite llevar información desde cualquier origen a Elasticsearch. Por ejemplo, las bases de datos de Abox-ECM (sobre Oracle, SQL Server, MySQL o cualquier otro sistema. También es posible extraer información de todo tipo de archivos y orígenes de datos, algunos ejemplos son archivos de logs, XML, CSV, API-REST, entre otros.
Kibana:
Tiene dos funciones concretas, por un lado, es la interfaz gráfica que permite administrar todas las herramientas del stack y por otro, es la herramienta de visualización para la creación de tableros de control, mapas, informes, entre otros atractivos para visualizar información. Mantiene también la gestión de herramientas adicionadas al Stack como los módulos de APM, Machine Learning, Canvas, Logging, Infraestructure y muchos otros que permiten ver la información de forma más atractiva para casos de uso específicos.
Beats:
Aunque no hace parte del acrónimo ELK, los Beats son clientes ligeros de recolección de información que, al igual que Logstash, cargan información en Elasticsearch.
Primeras aplicaciones de Abox-ECM con Elastic-Stack:
Se ha desarrollado una herramienta capaz de extraer Datasets desde la base de datos de Abox-ECM, empleando las librería NEST, e indexarlas en Elastic.
Esto permite construir nuevos datasets que pueden procesarse de forma masiva y visualizarlos con facilidad y de forma atractiva mediante tableros gráficos (dashboards) en Kibana.
Kibana permite obtener y representar los siguientes tipos de información:
- Histogramas, gráficos de barras, gráficos de tarta, etc.
- Visualizar datos con información geoespacial en mapas.
- Análisis de series de datos en el tiempo.
- Gráficos de relaciones de datos.
Los cuadros de mando de Kibana realizan consultas a Elasticsearch para obtener en tiempo real el valor de los KPIs mostrados. Mostramos algunos ejemplos de dashboards desarrollados con Kibana que nos dan una idea de las posibilidades de la herramienta.
Figuras. Gráficos ilustrativos de Kibana
Ventajas de la solución propuesta:
El objetivo de Grupo Adapting es ofrecer a nuestra base instalada una alternativa open-source muy potente para centralizar masivamente sus datos documentales, extraer información de forma organizada y generar reportes estándar de gestión documental y reportes a medida para cada necesidad.
Destacamos algunas de las ventajas que nos aporta esta nueva tecnología:
- Open-source, no existen costos adicionales de licenciamiento;
- Construcción de datasets masivos (Big Data);
- Escalabilidad horizontal, permite un crecimiento prácticamente ilimitado, sin pérdidas de rendimiento apreciables;
- Independencia de sistemas, se obtiene una independencia entre nuestra plataforma y los sistemas de visualización y búsqueda.
Nuevas capacidades de analítica e Inteligencia Artificial, ofrece nuevas prestaciones empleando otros plugins compatibles.
Sigue Nuestras redes sociales y mantente enterado de la novedad del mundo documental:
