Om data uit meerdere bronnen te extraheren en te verwerken, fungeert een operational data store (ODS) als een tijdelijke opslaglocatie voor dataverwerking voordat deze naar de uiteindelijke opslagbestemming wordt gestuurd. Data kunnen worden opgeslagen als gestructureerd of ongestructureerd, maar moeten worden opgeslagen op een manier die kan worden geëxtraheerd en omgezet in een formaat voor de uiteindelijke datawarehouselocatie. De ODS-architectuur is meestal gebouwd voor ETL- (extractie, transformatie en belasting) en ELT- (extractie, belasting en transformatie) datapipelines.
Wat is een ODS?
Een operationele dataopslag is een gecentraliseerde opslagplaats voor realtime of bijna realtime data die worden gebruikt voor operationele rapportage en analyse. In grote datapipelines fungeert een ODS als een verzamelplaats voor dataformattering, -deduplicatie en -eindverwerking voordat data naar het datawarehouse worden verzonden. Een grote vastgoedorganisatie kan bijvoorbeeld data extraheren van verschillende websites om analyses voor hun klanten uit te voeren. Tijdens het extractieproces slaat de datapijplijn de geëxtraheerde informatie op in een ODS, zodat geautomatiseerde scripts de data kunnen formatteren, organiseren en dedupliceren. Zodra ETL data verwerkt, wordt het naar het datawarehouse gestuurd waar vastgoedapplicaties het kunnen opvragen.
Een ODS wordt gebruikt voor gestructureerde en ongestructureerde data, maar is vooral nuttig voor datapipelines die met relationele databases werken. Het ODS kan ongestructureerde data opslaan uit bestanden of geschaafde webpagina's, en het ETL gebruikt het om verzamelde data te verwerken voorafgaand aan de transformatiestap. Zonder het ODS zouden data verloren gaan als het formatteren van records zou mislukken. Alle records die mislukken met transformatie kunnen in het ODS blijven voor aanvullende verwerking of mogelijk verdere menselijke beoordeling.
Doel van een ODS
Voor grote ondernemingen en machine learning-toepassingen worden data tijdens ETL-verwerking vaak van meerdere locaties gehaald. De datapijplijn kan bestanden uit een netwerkbron halen, data uit API-eindpunten en data uit een webapplicatie. Scripts die worden gebruikt om de data te verzamelen dumpen deze in een ODS waar ze kunnen worden verwerkt. Het doel van een ODS is om data-extractiescripts een plaats te geven om verzamelde informatie op te slaan voordat ze worden verwerkt.
Een ODS is een belangrijk onderdeel van realtime dashboards en applicaties, vooral wanneer de in een ODS verzamelde data op verschillende locaties worden gebruikt. De ODS bevat bijvoorbeeld verzamelde data waarbij een ETL-proces deze formatteert voordat ze naar een datawarehouse worden gestuurd waar analytics deze kunnen gebruiken voor financiële projecties. Zie een ODS als een tussentijdse dataverzamelingsdienst voordat data beschikbaar zijn voor eindgebruikersapplicaties.
Voordelen van ODS
Ondernemingen hebben een ODS nodig voor betere dataverwerking en efficiëntere ETL-pipelines. Omdat ETL-scripts een plaats hebben om data op te slaan, hebben realtime toepassingen ook een locatie om data op te halen voor snelle verwerking, berekeningen van artificiële intelligentie en het opnemen van machine learning. Zonder een ODS kunnen uw ETL-datapipelines data laten vallen die niet voldoen aan databasebeperkingen of die niet kunnen worden verwerkt voordat ze in het datawarehouse worden opgeslagen.
Enkele extra voordelen zijn:
- Handige verzameling van verschillende databronnen met ongelijksoortige opmaak en organisatie
- Een volledige snapshot van alle records die uit verschillende bronnen zijn verzameld en die kunnen worden gebruikt om problemen op te sporen of indien nodig data opnieuw te verwerken
- Ongestructureerde dataopslagmogelijkheden voor analytics en machine learning
- Cloud ODS-systemen kunnen worden geconfigureerd om beschikbaar te zijn voor gebruikers, applicaties, beheerders of externe leveranciers, ongeacht hun locatie
- Gecentraliseerde locatie om data te verzamelen voor alle interne applicaties, wat de nauwkeurigheid en integriteit van data in al uw kritieke rapportage verhoogt
Een ODS implementeren
Omdat een ODS deel uitmaakt van uw datapipeline en ETL-verwerking, moet het worden opgenomen in uw ontwerpen en dataarchitectuur. Het type verzamelde data is een belangrijke bepalende factor voor een ODS. Voor ongestructureerde data is een NoSQL-database nodig. Een relationele database zal data afwijzen die niet voldoen aan tabelbeperkingen.
Nadat u het databaseplatform hebt gekozen, moet u beslissen of u de ODS on-premises of in de cloud wilt hosten. Een on-premise database is misschien beter geschikt voor interne applicaties die niet beschikbaar zijn voor het publiek, maar uw ETL-scripts moeten de database en eventuele interne datawarehouses kunnen bereiken. Clouddatabases zijn gunstig voor public cloud-applicaties waar ze kunnen worden geconfigureerd om verbinding te maken met productiecloud-applicatiedatabases.
Realtime applicaties vereisen snelheid en rekenkracht, dus zorg ervoor dat uw databasearchitectuur de bandbreedte, rekenkracht, het geheugen en de opslagcapaciteit heeft om grote hoeveelheden data te verwerken. Het kan zinvol zijn om een proefversie uit te voeren op dataverzameling om de hoeveelheid benodigde opslagcapaciteit te identificeren, maar vergeet niet om extra opslag toe te staan voor schaalbaarheid. Snapshots kunnen uiteindelijk worden verplaatst naar een andere back-updatabase of worden verwijderd nadat de data zijn verouderd en niet langer relevant zijn.
ODS vs. datawarehouse
Een datawarehouse is de eindbestemming voor gedesinfecteerde en geformatteerde data. Het ODS in uw ETL-procedures is waar ruwe data worden opgeslagen totdat ze gestructureerd, gededupliceerd en geverifieerd zijn. De manier waarop u data organiseert en waar deze worden opgeslagen, hangt af van uw individuele bedrijfsregels. Relationele databases in uw datawarehouse vereisen gestructureerde data met strikte regels met de manier waarop u ze moet formatteren voordat u ze opslaat.
ODS-tabellen worden consistent bijgewerkt met nieuwe data en kunnen worden gebruikt voor realtime dataverwerking en gebruikerstoepassingen. Gestructureerde en ongestructureerde data kunnen worden opgeslagen in ODS-tabellen, maar veel systemen gebruiken ongestructureerde data, zodat de dataverzameling minder beperkingen heeft. Beperkingen en filtering kunnen worden toegepast tijdens het importproces in uw datawarehouse.
Vragen moeten worden gesteld vanuit de datawarehousetabellen, waar data veel permanenter is. Het is ongebruikelijk om data uit een datawarehouse te verwijderen. U kunt het archiveren, maar het volledig verwijderen van data is ongebruikelijk. ODS-data is veel vluchtiger. Dubbele data kunnen worden verwijderd en alle oude of beschadigde data kunnen worden verwijderd.
Conclusie
Als u van plan bent om data uit verschillende bronnen te verzamelen voor uw datawarehouse, is een ODS interim-architectuur gunstig voor datapipelines die meerdere applicaties met verschillende bedrijfsregels ondersteunen. U kunt uw data omzetten in gestructureerde en ongestructureerde formaten om machine learning, query's, rapportage, analytische dashboards en elke andere front-end applicatie die het datawarehouse gebruikt te ondersteunen.
Om een groeiende database mogelijk te maken, bieden cloudoplossingen van Pure Storage ondersteuning voor AWS , Azure , en elke andere provider om uw ODS te verbinden. Uw ETL-procedures hebben snelle toegang tot schaalbare databaseservices ter ondersteuning van realtime verwerking en snelle query's.
