Was ist ETL und wie funktioniert es?
Einmalige Datenmigrationen von veralteter Hardware auf eine neue Infrastruktur sind nicht die einzige Art, wie Daten in der IT-Infrastruktur eines modernen Unternehmens bewegt werden müssen.
Extrahieren, Transformieren und Laden (ETL) ist ein Prozess der Big-Data-Analyse, bei dem automatisierte ETL-Pipelines für die routinemäßige Verarbeitung von Big Data zur Verwendung in Anwendungen eingerichtet werden können. Und so funktioniert das Ganze:
- Extrahieren: Zunächst werden die Daten aus der Quelle extrahiert, die aus einer oder mehreren Datenbanken bestehen kann.
- Transformieren: Die Daten werden kompiliert und in eine lesbare strukturierte Abfragesprache (SQL, Structured Query Language) für die Zieldatenbank umgewandelt.
- Laden: Nach der Transformation werden die Daten in die neue Quelle geladen, wo sie entweder das Zielsystem ersetzen oder in dieses integriert werden.
ETL ist nur ein Beispiel dafür, wie Unternehmen große Datenmengen schnell von einem Ort zum anderen verschieben können, um den täglichen Betrieb und Anwendungs-Workloads zu unterstützen. Investitionen in lokale Lösungen und Cloud-Lösungen, die eine nahtlose Datenmobilität über verschiedene Umgebungen hinweg ermöglichen, sind für Unternehmen von entscheidender Bedeutung, wenn es darum geht, für ihre Kunden flexibel und hochgradig verfügbar zu bleiben.
Häufige Herausforderungen bei der Datenmigration
Vom ersten Moment der Extraktion bis zur endgültigen Bereitstellung an der Zielquelle müssen Sie für die Sicherheit Ihrer Daten sorgen. Eine unsachgemäße Extraktion oder Übertragung kann die Daten eines Systems beschädigen. Ebenso kann ein Ausfall Ihrer IT-Infrastruktur oder eine Katastrophe wie ein Stromausfall oder ein Cyberangriff Ihre Datenbank bedrohen. Es ist entscheidend, dass vor der Datenmigration ein Disaster-Recovery-Plan besteht.
Die Kompatibilität zwischen den beiden Quellen stellt eine weitere Komplikation dar. Die SQL der Originalquelle kann sich von der der Zielquelle unterscheiden. Dies ist besonders häufig bei Anwendungsmigrationen der Fall, bei denen zwei Anwendungen über zwei verschiedene Systeme laufen. Es ist notwendig, die Daten in eine kompatible Sprache zu übersetzen, bevor der Migrationsprozess abgeschlossen wird.
Während der Datenmigration kann es auch zu einer vorübergehenden Ausfallzeit bei der Website eines Unternehmens kommen. Von einer „Ausfallzeit“spricht man, wenn der Online-Zugriff auf das Rechenzentrum nicht möglich ist. Wenn bei der Datenmigration neue Daten in die Zielquelle hochgeladen werden, ist das System während des Uploads möglicherweise nicht zugänglich. Und ein Zugangsverlust bedeutet in der Regel auch einen Verlust von Kunden und Umsatz.
Hindernisse bei der Datenmigration vermeiden
Vor dem Durchführen einer Datenmigration ist es wichtig, sich vorzubereiten. Für den Erfolg ist es wichtig, sich mit den Quelldatenbanken und der Migrationstechnologie vertraut zu machen. Zweimal zu überprüfen, ob die Daten ordnungsgemäß übertragen werden, hilft dabei, einen nahtlosen Übergang zwischen der alten und der neuen Quelle zu schaffen. Wichtig ist auch, Ihre Kunden und Geschäftspartner zu kontaktieren, um sie auf eventuelle Ausfallzeiten vorzubereiten.
Es gibt mehrere Methoden, mit denen Sie Ausfallzeiten verhindern und Ihre Website während der Datenmigration betriebsbereit halten können. Bei einer Implementierung ohne Ausfallzeit ist zum Beispiel der Zugriff auf die ursprüngliche Datenbank möglich, bis die Migration vollständig abgeschlossen ist. Techniken wie die Schemamigration (bei der Upgrades schrittweise hochgeladen werden, um Ausfallzeiten zu vermeiden) oder die Hybrid Cloud (Cloud-Storage, der den Zugriff von zwei verschiedenen Einheiten aus ermöglicht) können Kunden auch während der Datenmigration weiterhin Zugang gewähren.
Nachdem die Daten übertragen und die Informationen bereitgestellt wurden, ist es wichtig zu überprüfen, ob die Migration ordnungsgemäß abgeschlossen wurde. Das bedeutet, dass vor dem Ändern oder Löschen der Originalquelle sichergestellt werden muss, dass die Datenbank betriebsbereit ist. Wenn es bei der Übertragung zu Komplikationen kam oder Informationen beschädigt wurden, müssen Sie zunächst diese Probleme beheben, bevor Sie fortfahren.
Datenmigrationen mit Pure Storage einfacher machen
Pure Storage vereinfacht die Datenmigration mit unterbrechungsfreien Upgrades auf die neuesten Controller, einem externen Host und interner Array-Konnektivität, SSDs (Solid-State Disks) und anderen Komponenten. Pure hilft bei der Konvertierung und dem Schutz Ihrer Daten und bietet eine Hybrid Cloud zur Minimierung von Ausfallzeiten. Von der Vorbereitung bis zur Validierung ist Pure bei jedem Schritt für Ihr Unternehmen und Ihre Daten da.