Cómo funciona el almacenamiento de datos
La logística de la recopilación de datos de distintas partes de la empresa para obtener información útil puede escalar en complejidad a medida que su empresa crece. El almacenamiento de datos le puede ofrecer a su empresa una forma confiable para consolidar esa información en una única base de datos y modelo de datos que les permita a los analistas ejecutar las consultas.
Funciona de la siguiente manera:
- Extraer: recopila datos sin procesar desde las fuentes dispares en la organización (p. ej., ERP, CRM, ventas, marketing) en bases de datos de almacenamiento provisional.
- Transformar: los datos en la capa de almacenamiento provisional se transfieren a una capa de integración, en la que los datos se combinan y transforman en el almacén operacional de los datos (ODS, Operational Data Store).
- Cargar: los datos se trasladan desde la capa de integración hasta el almacenamiento de datos al definir el esquema que los analistas desean utilizar para las consultas SQL antes de escribirlas en la base de datos relacional (esquema contra escritura).
La base de datos con la que interactúa en un almacenamiento de datos es relacional, esto significa que los datos están estructurados (almacenados en tablas con columnas y filas). Estas tablas se organizan según el esquema definido durante la escritura.
Cuando un ODS externo al almacenamiento de datos controla el paso de transformación, se lo denomina proceso de extraer, transformar y cargar (ETL, Extract, Transform, Load). Cuando el almacenamiento de datos controla las transformaciones a nivel interno, se lo denomina proceso de extraer, cargar y transformar (ELT, Extract, Load, Transform). Ya sea que utilice el proceso de ETL o de ELT, el almacenamiento de datos necesita datos estructurados y un esquema contra escritura para trabajar con bases de datos relacionales.
¿Para qué se utiliza el almacenamiento de datos?
Las aplicaciones frecuentes en el almacenamiento de datos incluyen:
- Procesamiento de transacciones en línea (OLTP, Online Transaction Processing): puede optimizar el almacenamiento de datos para que la integridad de los datos y las consultas rápidas controlen un gran volumen de transacciones de datos breves. Por ejemplo, las transacciones que se producen en una plataforma de negociación de alta frecuencia.
- Procesamiento analítico en línea (OLAP, Online Analytical Processing): puede optimizar el almacenamiento de datos para consultas más complejas y rápidas en el caso de las transacciones de volumen relativamente menor. Esto es lo que un analista suele utilizar para generar los informes de BI.
- Análisis predictivo: Puede optimizar un sistema OLAP para predecir eventos futuros y generar situaciones hipotéticas para su empresa, a menudo con la ayuda de los algoritmos de aprendizaje automático.
Debido a que el almacenamiento de datos es un esquema contra escritura, es importante conocer el tipo de consulta que desea realizar antes de agregar el esquema al almacenamiento de datos. Con el fin de administrar la complejidad de las fuentes de datos dispares, puede segmentar el almacenamiento de datos en mercados de datos y dedicar los recursos de hardware y software para funciones específicas de la empresa como las relaciones con los clientes (CRM, Customer Relationship Management).
Almacenamiento de datos vs. data lake vs. hub de datos
A pesar de que estos tres conceptos suenan equivalentes, es importante comprender sus diferencias:
- Almacenamiento de datos: un único repositorio para la integración y el almacenamiento de datos estructurados obtenidos de varias fuentes de datos sin estructurar en la organización.
- Data lake: un único repositorio unificado para todas las fuentes de datos sin procesar, estructurados y sin estructura en una organización (que incluye el almacenamiento de datos). Los datos se deben procesar de todas formas para extraer los resultados de BI.
- Hub de datos: una única interfaz que consolida todos los datos, estructurados y sin estructura, en una capa central de datos accesibles. La diferencia con el almacenamiento de datos es que también puede controlar datos operativos y la diferencia con data lake es que posee la capacidad de presentar datos en varios formatos.
Los hubs de datos proporcionan la regulación de datos necesaria para optimizar el uso compartido de datos entre una diversa colección de puntos de conexión. De esta manera, los hubs de datos consolidan los data lakes y el almacenamiento de datos en una única capa de acceso. El procesamiento de datos se abstrae detrás del hub de datos, lo que le otorga a su organización un lugar centralizado para extraer los resultados de BI.
¿Por qué conviene elegir Pure Storage para satisfacer con sus necesidades de almacenamiento de datos?
Si necesita agregar un nuevo proceso de OLAP u OLTP a la infraestructura actual del almacenamiento de datos, se recomienda considerar la posibilidad de realizar una inversión en Modern Data Experience™ con las soluciones de almacenamiento basado íntegramente en tecnología flash de Pure Storage.
Como el primer hub de datos de la industria, Pure Storage® FlashBlade® controla las cargas de trabajo de los informes y las técnicas de análisis del almacenamiento de datos y también ofrece las cualidades básicas para el hub de datos:
- Uso compartido de datos sin problemas en todos los puntos de conexión de datos.
- Almacenamiento de objetos y archivos unificados.
- La capacidad de controlar los datos operativos en tiempo real.
- Cuenta con una arquitectura nativa para la escalabilidad horizontal.
- Su diseño brinda rendimiento multidimensional para datos de cualquier tipo.
- Paralelismo masivo de software a hardware.
