EL PROCESO ETL

¿QUÉ ES ETL?
Qué significa extraer, transformar y cargar, es un proceso de integración de datos que combina datos de múltiples fuentes de datos en un único almacén de datos consistente que se carga en un almacén de datos u otro sistema de destino.ETL proporciona la base para el análisis de datos y los flujos de trabajo de machine learning.
ETL limpia y organiza los datos de una manera que aborda las necesidades específicas de inteligencia comercial, como informes mensuales, pero también puede abordar analítica más avanzada, que puede mejorar los procesos de backend o las experiencias del usuario final.

ETAPA DE EXTRACCIÓN

Consiste en capturar datos de fuentes heterogéneas y homogéneas. Las herramientas de extracción que se utilizan en esta etapa soportan múltiples formatos de almacenamiento de datos.

ETAPA DE TRANSFORMACIÓN

Aplica un conjunto de reglas de unificación de datos básicos para transformar los datos desde el origen al destino. Esto incluye la conversión de los datos medidos a la misma dimensión, usando las mismas unidades, para que más adelante se puedan unificar. Una vez transformados los datos, es necesario realizar una serie de operaciones de depuración. Esta etapa es una de las más importantes, ya que garantiza la calidad de los datos por tratar.

ETAPA DE CARGA

Es necesario garantizar que esta operación se realiza correctamente y empleando el menor número de recursos posible.

¿CÓMO DESARROLLAR UN PROCESO DE ETL?
Desarrollar completamente desde cero una ETL conlleva la gran ventaja de la flexibilidad y las capacidades casi ilimitadas de la ETL final. En este caso, el uso de lenguajes de programación como Python ayudan mucho a la consecución de logros por la gran cantidad de librerías existentes relativas al trabajo con datos.
La otra opción para desarrollar una ETL sería utilizar herramientas de terceros diseñadas para tal fin. La simplicidad a la hora de realizar las transformaciones a través de interfaces muy visuales y un sistema de depuración mucho más ágil. Por el contrario, el coste es mayor y la flexibilidad del proyecto es menor.

 Ventajas.

-Analizan grandes cantidades de datos de empresariales con más sencillez que con procesos manuales. -Aumentan la productividad en la recopilación y uso de datos, que se recopilan desde varias fuentes . -Automatiza procesos, reduce los posibles fallos humanos. -Unifican distintos orígenes de datos bajo un modelo capaz de proveer información de alta calidad que facilite la toma de decisiones de un negocio.

 Características

-Capacidad de adaptación: Una ETL debe ser capaz de conectar con múltiples sistemas que incluyen datos de estructuras distintas como bases de datos relacionales y no relacionales, XML, ficheros sueltos de múltiples formatos, aplicaciones ERP, CRM y SCM, servicios web. -Capacidades de diseño y entorno de desarrollo: representación gráfica de los objetos del repositorio, modelos de datos y flujos de datos, soporte para test y, capacidades para trabajo en equipo, gestión de workflows de los procesos de desarrollo. -Capacidades de gestión de datos (calidad de datos, perfiles y minería). -Operaciones y capacidades de administración: habilidades para gestión, monitorización y control de los procesos de integración de datos, como gestión de errores, recolección de estadísticas de ejecución. -Capacidades SOA. es un tipo de diseño de software que permite reutilizar sus elementos gracias a las interfaces de servicios que se comunican a través de una red con un lenguaje común.

¿POR QUÉ ES IMPORTANTE?
Porque las organizaciones de ahora en día deben tener sus datos estructurados o no estructurados.
  • Datos de clientes de pagos en línea y sistemas de administración de la relación con el cliente (CRM).
  • Datos de inventario y operaciones de sistemas de proveedores.
  • Datos de sensores de dispositivos de Internet de las cosas (IoT).
  • Datos de marketing de las redes sociales y comentarios de los clientes.
  • Datos de los empleados de los sistemas internos de recursos humanos.                                           Esto con la finalidad de tener un control de la administración de inventarios, analizar los datos de los puntos de venta. 

AB Initio

Puede realizar una amplia gama de transformaciones a través de una interfaz gráfica en su entorno de reglas de negocio. Incluye varios tipos de transformaciones y permite a los usuarios escribir sus propias funciones en JavaScript o Ab Initio Script.

Barracuda Software

Ofrece soluciones fáciles, completas y asequibles para la protección del correo electrónico, la seguridad de aplicaciones y en la nube, la seguridad de la red y la protección de datos.

Bitool

Existen muchas empresas que proveen de herramientas OLAP (Explotadores), pero muy pocas se han dedicado a fabricar herramientas de ETL para proyectos de BI. De las pocas que existen, éstas tienen un alto coste tanto en licencias como en mantenimiento y consultoría, lo que ha originado que las compañías medianas que deseen implementar proyectos de BI lo hagan sin adquirir una herramienta eficiente de ETL.

IBM Websphere DataStage

Se utiliza esta herramienta ETL para diseñar y poblar un almacén de datos de destino. Facilita la extracción, transformación y carga de datos específicos de la aplicación desde la base de datos de origen al almacén de datos. Ayuda a construir un modelo de origen que describe las reglas para consultar la base de datos de procedencia.

Referencias
¿Qué es ETL (extraer, transformar, cargar)?  | IBM. (s. f.). https://www.ibm.com/mx-es/topics/etlJoyanes

Aguilar, L. (2019). INTELIGENCIA DE NEGOCIOS y ANALÍTICA DE DATOS [Eybooks.com]. Alfaomega.Bello, E. (2022, 5 enero).

 Guía de Procesos ETL: Qué son, cómo usarlos y herramientas clave. Thinking For Innovation. https://www.iebschool.com/blog/que-son-los-procesos-etl-big-data/

¿Qué es ETL? - Explicación de extracción, transformación y carga (ETL) - AWS. (s. f.). Amazon Web Services, Inc. https://aws.amazon.com/es/what-is/etl/#:~:text=El%20proceso%20ETL%20funciona%20en%20tres%20pasos%3A%201,datos%20en%20la%20base%20de%20datos%20de%20destino.

Características de las herramientas ETL. (s. f.). https://blog.powerdata.es/el-valor-de-la-gestion-de-datos/bid/289586/9-caracter-sticas-de-las-herramientas-etl





ESTE SITIO FUE CONSTRUIDO USANDO