Para extraer y procesar datos de varias fuentes, un almacenamiento de datos operativos (ODS) actúa como una ubicación de almacenamiento temporal para el procesamiento de datos antes de enviarlos a su destino de almacenamiento final. Los datos pueden almacenarse como estructurados o no estructurados, pero deben almacenarse de una manera que pueda extraerse y transformarse en un formato para su ubicación final de almacenamiento de datos. Por lo general, la arquitectura ODS está diseñada para los procesos de datos de ETL (extracción, transformación y carga) y ELT (extracción, carga y transformación).
¿Qué es un ODS?
Un almacenamiento de datos operativos es un repositorio centralizado para datos en tiempo real o casi en tiempo real utilizados para informes y análisis operativos. En grandes procesos de datos, un ODS actúa como un área de almacenamiento provisional para el formato, la desduplicación y el procesamiento final de datos antes de que los datos se envíen al almacenamiento de datos. Por ejemplo, una gran organización de bienes raíces puede extraer datos de varios sitios web diferentes para realizar análisis para sus clientes. Durante el proceso de extracción, el proceso de datos almacena la información extraída en un ODS para que los scripts automatizados puedan formatear, organizar y desduplicar los datos. Una vez que ETL procesa los datos, se envían al almacenamiento de datos donde las aplicaciones de bienes raíces pueden consultarlos.
Un ODS se utiliza para datos estructurados y no estructurados, pero es especialmente útil para los procesos de datos que trabajan con bases de datos relacionales. El ODS puede almacenar datos no estructurados de archivos o páginas web raspadas, y el ETL los utiliza para procesar los datos recopilados antes del paso de transformación. Sin el ODS, los datos se perderían si fallara el formato de los registros. Cualquier registro que falle en la transformación puede permanecer en el ODS para un procesamiento adicional o posiblemente una revisión humana adicional.
Propósito de un ODS
Para grandes empresas y aplicaciones de aprendizaje automático, los datos a menudo se extraen de varias ubicaciones durante el procesamiento de ETL. El proceso de datos puede extraer archivos de una fuente de red, datos de puntos finales de API y datos eliminados de una aplicación web. Los scripts utilizados para recopilar los datos los desechan en un ODS donde se pueden procesar. El propósito de un ODS es permitir que los scripts de extracción de datos tengan un lugar para almacenar la información recopilada antes del procesamiento.
Un ODS es una parte importante de los tableros y las aplicaciones en tiempo real, especialmente cuando los datos recopilados en un ODS se utilizan en varias ubicaciones. Por ejemplo, el ODS contiene datos recopilados en los que un proceso de ETL los formatea antes de enviarlos a un almacenamiento de datos donde el análisis puede usarlos para proyecciones financieras. Piense en un ODS como un servicio de recopilación de datos provisional antes de que los datos estén disponibles para las aplicaciones del usuario final.
Beneficios de ODS
Las empresas necesitan un ODS para un mejor procesamiento de datos y procesos de ETL más eficientes. Debido a que los scripts de ETL tienen un lugar para almacenar datos, las aplicaciones en tiempo real también tienen una ubicación para extraer datos para un procesamiento rápido, cálculos de inteligencia artificial e incorporación de aprendizaje automático. Sin un ODS, sus procesos de datos de ETL podrían eliminar datos que no se ajustan a las restricciones de la base de datos o que no pueden procesarse antes de almacenarse en el almacenamiento de datos.
Algunos beneficios adicionales incluyen:
- Recopilación conveniente de varias fuentes de datos con formato y organización dispares
- Una instantánea completa de todos los registros recopilados de varias fuentes que se pueden usar para identificar problemas o reprocesar datos si es necesario.
- Capacidades de almacenamiento de datos no estructurados para análisis y aprendizaje automático
- Los sistemas ODS en la nube pueden configurarse para que estén disponibles para usuarios, aplicaciones, administradores o proveedores externos, independientemente de su ubicación.
- Ubicación centralizada para recopilar datos para todas las aplicaciones internas, lo que aumenta la precisión e integridad de los datos en todos sus informes críticos.
Implementación de un ODS
Debido a que un ODS es parte de su proceso de datos y procesamiento de ETL, debe incluirse en sus diseños y arquitectura de datos. El tipo de datos recopilados es un factor determinante importante para un ODS. Cualquier dato no estructurado necesita una base de datos NoSQL. Una base de datos relacional rechazará los datos que no cumplan con las restricciones de la tabla.
Después de elegir la plataforma de base de datos, deberá decidir si desea alojar el ODS en las instalaciones o en la nube. Una base de datos en las instalaciones podría ser más adecuada para aplicaciones internas que no están disponibles para el público, pero sus scripts de ETL deben poder llegar a la base de datos y a cualquier almacenamiento de datos interno. Las bases de datos en la nube son beneficiosas para las aplicaciones en la nube pública, donde se pueden configurar para conectarse a bases de datos de aplicaciones en la nube de producción.
Las aplicaciones en tiempo real requieren velocidad y potencia de procesamiento, así que asegúrese de que la arquitectura de su base de datos tenga el ancho de banda, la potencia de procesamiento, la memoria y la capacidad de almacenamiento para manejar grandes cargas de datos. Puede tener sentido realizar una prueba de recopilación de datos para identificar la cantidad de capacidad de almacenamiento necesaria, pero no olvide permitir almacenamiento adicional para la escalabilidad. Con el tiempo, las snapshots pueden moverse a otra base de datos de copia de seguridad o eliminarse después de que los datos envejecen y ya no son relevantes.
ODS frente al almacenamiento de datos
Un almacenamiento de datos es el destino final para los datos desinfectados y formateados. El ODS en sus procedimientos de ETL es donde se almacenan los datos sin procesar hasta que se estructuran, desduplican y verifican. La forma en que organiza los datos y dónde se almacenan depende de sus reglas comerciales individuales. Las bases de datos relacionales en su almacenamiento de datos requieren datos estructurados con reglas estrictas con la forma en que debe formatearlos antes de almacenarlos.
Las tablas ODS se actualizan de manera consistente con datos nuevos y se pueden usar para el procesamiento de datos en tiempo real y las aplicaciones de usuarios. Los datos estructurados y no estructurados pueden almacenarse en tablas ODS, pero muchos sistemas usan datos no estructurados para que la recopilación de datos tenga menos restricciones. Las restricciones y el filtrado pueden aplicarse durante el proceso de importación a su almacenamiento de datos.
Las consultas deben ejecutarse desde las tablas de almacenamiento de datos donde los datos son mucho más permanentes. Es inusual eliminar datos de un almacenamiento de datos. Puede archivarlo, pero eliminar los datos por completo es inusual. Los datos ODS son mucho más volátiles. Los datos duplicados pueden eliminarse y cualquier dato obsoleto o dañado puede eliminarse.
Conclusiones
Si planea recopilar datos de varias fuentes para su almacenamiento de datos, una arquitectura provisional ODS es beneficiosa para los procesos de datos que admiten varias aplicaciones con diferentes reglas comerciales. Puede convertir sus datos en formatos estructurados y no estructurados para admitir el aprendizaje automático, las consultas, los informes, los paneles de análisis y cualquier otra aplicación front-end que utilice el almacenamiento de datos.
Para permitir una base de datos en crecimiento, las soluciones en la nube de Pure Storage ofrecen soporte para AWS ,Azure y cualquier otro proveedor para conectar su ODS. Sus procedimientos de ETL tienen acceso rápido a servicios de bases de datos escalables para admitir el procesamiento en tiempo real y las consultas rápidas.
