Bewährte Praktiken der Datenmigration

Nach Angaben von Gartner werden im Jahr 2022 50 % der oben genannten Datenmigrationsbestrebungen ihr geplantes Budget und ihren Zeitrahmen überschreiten und möglicherweise aufgrund einer schlechten Strategie und Ausführung ihrem Geschäft schaden. Der Grund dafür? Datenmigrationen sind nicht nur teuer, sondern auch sehr kompliziert und riskant, und jede Lücke in der Umsetzung kann zu unerwarteten" Ereignissen und ungerechtfertigten" Überraschungen führen. Um die Fallstricke zu vermeiden und nicht vom Weg abzukommen, ist die Befolgung der besten Praktiken bei der Datenmigration unerlässlich. Dieser Einblick wirft einen genaueren Blick darauf.

1. Was ist Datenmigration

Vereinfacht ausgedrückt bezieht sich die Datenmigration auf das Verschieben von Daten von einem System in ein anderes, wobei häufig eine Änderung der Datenspeicherung, der Anwendung, des Formats oder der Datenbank erfolgt. Es ist die Reise von Daten aus ihrer bestehenden Umgebung in eine neuere Umgebung, die den Anforderungen des Unternehmens entspricht. Aus der Perspektive der ETL-Methode (Extract, Transform, Load) umfasst jeder Datenmigrationsprozess zumindest Transformations- und Ladestufen. Das bedeutet im Wesentlichen, dass die extrahierten Daten eine Reihe von Funktionen durchlaufen müssen, nach denen sie an einem ausgewählten Ort geladen werden. Eine solide Datenmigration erfordert eine sorgfältige Planung, ein schnelles Handeln und eine proaktive Ausführung; sie wird außerdem durch technologisches und analytisches Fachwissen ermöglicht.

1) Warum ist eine Datenmigration notwendig?

Die Häufigkeit und Notwendigkeit der Datenmigration kann sich aus verschiedenen Faktoren ergeben, wie z.B. Fusionen und Übernahmen, Systemüberholungen und Upgrades, Datenbank-Upgrades, Aufbau neuer Data Warehouses, Einführung neuer Systeme, Anwendungskonsolidierung, Modernisierung von Legacy-Plattformen (da die Übertragung von Daten nicht mehr praktikabel ist). Unabhängig von der Art der Migration besteht das grundlegende Ziel darin, die Leistung zu steigern, einen Wettbewerbsvorteil zu erzielen und sich zukunftssicher zu machen.

2) Größte Herausforderungen bei der Datenmigration?

Die Übertragung von Daten in fortschrittliche Anwendungen bei unzureichender Kenntnis der aktuellen Datenquellen und des künftigen Speicherorts kann die Probleme eines Unternehmens vergrößern. Darüber hinaus können auf dem Weg dorthin viele weitere Herausforderungen auftreten.

• Inkompatibilitäten in der Software- oder Hardwareumgebung
• Nichtverfügbarkeit von Ressourcen
• Interoperabilitätslücken
• Protokollprobleme
• Schnittstellen-Probleme
• Kompromittierte referenzielle Integrität 
• Probleme mit der Datenablage
• Herausforderungen bei der Datenverbreitung    
• Höherer als geschätzter Zeitaufwand
• Schwachstellen bei der Sicherheit 

2. Migrationsmythen und Missverständnisse

Datenmigration kann für Außenstehende unterschiedliche Dinge bedeuten, was oft zu vorgefassten Meinungen über den Prozess führt

3. Datenmigration vs. Datenintegration

Wie bereits erwähnt, geht es bei der Datenmigration darum, Daten von einem Ort zu einem anderen zu verschieben, beispielsweise von einer Tabellenkalkulation oder einer Legacy-Anwendung zu einem modernen ERP. Die Gründe dafür können vielfältig sein, z. B. Effizienzsteigerung, bessere Vorbereitung auf den Wettbewerb mit den Mitbewerbern, bessere Kenntnis der Daten, Gewinnung besserer Erkenntnisse, Verbesserung der Daten oder Überholung des gesamten Systems. Andererseits geht es bei der Datenintegration darum, Daten aus verschiedenen Quellen in einer einzigen Quelle zusammenzuführen und den Datenaustausch besser zu synchronisieren (dies kann einseitig, bidirektional, kontinuierlich, API-gesteuert oder über triggerabhängige Connectoren erfolgen). Sie kann verschiedene Zwecke verfolgen, von der Bereitstellung einer einzigen Ansicht für Unternehmen bis hin zu Kosteneinsparungen (da die Systeme nicht erneuert, sondern zusammengefügt werden). Integrationen sind im Allgemeinen schneller zu implementieren.

4. Planung und Strategie der Datenmigration

Bei der Planung der Datenmigration geht es darum, die Komplexität, den Zeitrahmen und die Kosten der Migration zu erfassen. Die Teams müssen sich frühzeitig über die Größenordnung des Projekts in Bezug auf Aufwand und Umfang im Klaren sein. Anstatt die besten Praktiken der Datenmigration in späteren Phasen aufzudrängen, sollten sie von Anfang an in den Plan eingewoben werden.

Gleichermaßen muss die Strategie alle Phasen der Migration berücksichtigen. Sie sollte ein Team mit den richtigen Fähigkeiten zusammenstellen, sich von Anfang an auf die Datenqualität konzentrieren, Rollen, Richtlinien und Prozesse für die Daten- und Analytik-Governance formalisieren und die Metriken und Nachverfolgungsmechanismen definieren. Einige der entscheidenden Schritte werden in diesem Abschnitt erläutert.

1) Auswahl von Technologien für die Datenmigration

Sprocket Rocket ermöglicht es Ihnen, Ihren schnellen Prototyp in ein schönes Design zu verwandeln, indem Sie jeden Aspekt des Designs an die Markenstandards anpassen.

Oftmals wird mehr als eine Technologie in einem einzigen Projekt eingesetzt. In jedem Migrationsprojekt kann es bereits vorhandene Technologien, neuere Systeme und wesentliche Systeme geben. Die Verantwortlichen müssen bei der Auswahl der Technologien auch bedenken, wie lange oder regelmäßig das Migrationsprojekt in der Zukunft sein wird.

• ETL (Extract, Transfer, Load) ist eine der am meisten favorisierten Technologien
• Handcodierung ist trotz höherer Kosten ebenfalls beliebt
• Datenmanagement-Replikation wird auch manchmal bevorzugt
• EAI (Enterprise Application Integration) ist die am wenigsten bevorzugte 
   

2) Der Migrationsfahrplan

Höchste Aufmerksamkeit ist erforderlich, um sicherzustellen, dass Geschäftsmanager und Teams in allen Bereichen auf derselben Seite stehen, wenn es darum geht, den Projektplan, den Zeitplan und die zu erbringenden Leistungen detailliert zu beschreiben, die ihnen zum Erfolg verhelfen werden. Einmalige Migrationen fallen nicht unbedingt unter die Best Practices der Technik. Ideal ist es, kleinere Migrationsabschnitte zu bearbeiten, insbesondere wenn Datenabhängigkeiten bestehen. Manchmal kann die Migration zu einer Paketanwendung bedeuten, dass Altdaten an ein vorgegebenes Datenmodell angepasst werden müssen; in vielen anderen Fällen kann die Migration zu einem frisch entwickelten, selbst entwickelten System zusätzlichen Aufwand bei der Datenmodellierung bedeuten.

5. Durchführung der Datenmigration

Die Durchführung variiert von Projekt zu Projekt, und keine zwei Migrationen sind jemals ähnlich. Dennoch beinhaltet jede Migrationsdurchführung einige Schlüsselschritte, ohne die eine Migration nicht denkbar ist.

1) Auffinden Ihrer Daten

Das Verstehen Ihrer Datenquellen ist das wichtigste Element und erfordert einen vollständigen Überblick über Ihre gesamten Daten, damit mögliche Probleme (mit den Daten) in späteren Phasen nicht verborgen bleiben. Die Analyse der Daten spielt eine wichtige Rolle bei der vorgeschlagenen Implementierung. Auch die Bewertung des Migrationscodes sollte auf einer umfassenden Analyse der Datenquellen beruhen und nicht nur auf der Analyse einer Stichprobe, damit das Rätselraten vollständig aus der Gleichung entfernt wird. Die Erstellung einer detaillierten Wissensdatenbank der Datenquellen erleichtert die Genauigkeit und Schnelligkeit der Datenübertragungen. Es wird angenommen, dass ein vollständiges Datenaudit die Kosten für Codeänderungen um mehr als 75 % senken kann. Nach dem Auffinden der Daten wird ein phasenweiser Ansatz verfolgt, der mit der Erstellung von Datenprofilen, der Definition der Datenqualität, der Datenbereinigung und der Datenüberprüfung beginnt.

2) Durchführung der Migration

Der Ausführungsprozess kann je nach Art der Migration variieren, je nachdem, ob es sich um eine Speichermigration (d. h. Verschieben von Daten von ihrem derzeitigen Speicher in ein moderneres System), eine Cloud-Migration (d. h. Verschieben von Daten oder Anwendungen von einem lokalen Rechenzentrum in eine Cloud oder von einer Cloud in eine andere) oder eine Anwendungsmigration (d. h. Verschieben von Anwendungsprogrammen von einer Umgebung in eine neue; dies kann von einem lokalen Rechenzentrum in eine Cloud, von einer Cloud in eine Cloud oder von einer App in eine App sein) handelt. Der rote Faden bei den meisten Migrationen bleibt ETL, gekoppelt mit der Geschäftslogik. Manchmal sind herkömmliche Extrahier-, Transformier- und Ladetools jedoch nicht in der Lage, Freitextfelder und komplizierte Projektanforderungen, wie z. B. die Anpassung von Fuzzy-Logik, zu verarbeiten. In solchen Fällen verfügen Datenqualitäts-Tools über "Parsing"- und "Matching"-Funktionen. Dies geschieht hauptsächlich durch die Trennung und Umstrukturierung des Inhalts und die anschließende Übergabe an den Zielort.

3) Testen

Das Testen kann bei Datenmigrationen ein hohes Maß an Komplexität erreichen und erfordert daher besondere Aufmerksamkeit. Bevor die wichtigsten Stakeholder ihre Zustimmung geben, müssen Tests von Einheiten, Volumes, Systemen, Online-Anwendungen und Batch-Anwendungen durchgeführt werden. Eines der wichtigsten Ziele sollte es sein, das gesamte Datenvolumen hochzuladen und die Online-Anwendung frühzeitig für jede bestehende Arbeitseinheit zu testen; in vielen Fällen müssen dazu zunächst verschiedene Arbeitseinheiten fertiggestellt werden, bevor Online-Tests durchgeführt werden können.

Diese Strategie hilft, Speicherprobleme zu vermeiden, wenn die Fehlerbehebung in späteren Entwicklungsphasen teurer wird. Ein erhebliches Risiko besteht auch darin, dass die Migration noch in der Entwicklungsphase verbleibt, während die Daten in den Quellsystemen geändert werden. Da jedoch die meisten Migrationsprozesse ein Profil und ein Audit der Quellen erstellen, ist es relativ einfach, das Audit bei Bedarf erneut durchzuführen, um die Änderungen zu bewerten und entsprechend zu handeln.

6. Wartung und Folgemaßnahmen

Während die Daten in der IT-Infrastruktur platziert werden, können Datenaudits in den gewünschten Intervallen innerhalb der Migrationszyklen durchgeführt werden (um zu prüfen, ob das Projekt auf dem richtigen Weg ist und gemäß dem Plan funktioniert). Datenqualitätsgeräte können ständig eingesetzt werden, um die Daten in einer dauerhaften, qualitativ hochwertigen Form zu erhalten, so dass künftige Anforderungen reibungslos und nahtlos erfüllt werden können.

Reguläre Wartungskontrollpläne mit akzeptablen Ausfallzeiten müssen im Vorfeld erstellt werden, um etwaige Risiken kontinuierlich zu bewerten. Zu den Checklisten gehören die Überprüfung von Lieferantenverträgen, die Überprüfung des Zustands von IT-Systemen, die Überprüfung von Geräten, die Stilllegung und Entsorgung von Geräten sowie die Implementierung neuerer Kontrollen.

Außerdem sind die Wartung von Servern und Speichern, die Umstrukturierung der Arbeitslast und leistungsbezogene Überprüfungen unerlässlich. Durch gründliche Kontrollen in der Anfangsphase und während der gesamten Migration können die Wartungsaktivitäten jedoch produktiv und effizient gestaltet werden.

7. Datenmigration und darüber hinaus

Die Entwicklung der Datenmigration ist ein iterativer Prozess, der die Erstellung des Lösungsdesigns, die Modellierung der Daten, die Abbildung der Datenbewegung, die Datentransformation, die Lösungsentwicklung, das Testen und schließlich die Bereitstellung umfasst.

Wenn die Bereitstellung erfolgt und die Daten die tatsächlichen Endnutzer erreichen, wird die Aufgabe der Datenverwaltung an die IT-Abteilung weitergegeben, höchstwahrscheinlich an die Datenbankadministratoren oder die IT-Fachleute vor Ort. Da alte und neue Plattformen zusammenarbeiten, wird auch die Datensynchronisation wichtig, was bedeutet, dass sowohl ETL- als auch SQL-Technologien den Anforderungen entsprechen.

Danach folgt die Überwachung, bei der der Erfolg der Daten, etwaige Lücken und die Skalierbarkeit ermittelt und bewertet werden. Schließlich werden die alten Plattformen schrittweise abgeschafft, aber nicht bevor die Betriebsfähigkeit der neuen Plattform gründlich überprüft und genehmigt wurde.
 
 

8. Anwendungsfall 

Pimcore half einem führenden, weltweit tätigen IT-Produktvertrieb in Nordamerika, große Mengen an Produktdaten zu konsolidieren und zu verwalten

Das bestehende Produktinformationssystem (PI) des Unternehmens war nicht in der Lage, die dynamische Produktdatenstruktur zu handhaben, und die Integration von Daten aus verschiedenen Quellen war für das Unternehmen äußerst ineffizient. Das alte PI-System benötigte viel Zeit, um die von den Benutzern vorgenommenen Änderungen zu berücksichtigen. Das Unternehmen war in hohem Maße von Datenanbietern abhängig, um Informationen im Webportal anzuzeigen, da es kein standardisiertes Datenmodell hatte. Und aufgrund des Fehlens eines konsistenten und dynamischen Datenmodells war die Konsolidierung von Produktdaten verschiedener Datenanbieter schwierig geworden.

Pimcore konsolidierte seine Daten aus verschiedenen Quellen, um mit Hilfe von Pimcore PIM und DAM eine einheitliche Ansicht der Produkte zu schaffen. Es wurde eine automatisierte Taxonomie für 1500 Produktkategorien erstellt, was zu einem dynamischen Datenmodell führte, das 60k Attribute (mit fast 1,7 Millionen Dropdown-Werten) handhaben kann.

Pimcore transformierte die Produktdaten aus allen Quellen in ein standardisiertes Datenmodell und konsolidierte die Daten effizient. Pimcore bot den Geschäftsanwendern die Möglichkeit, Regeln für die Datenkonsolidierung über eine Prioritätsregelmaschine festzulegen.

Als Ergebnis wurden die Daten erfolgreich konsolidiert und von allen Anbietern sowie Verkäufern in ihrem B2B-Webportal zur Verfügung gestellt. Alle Produkt- und digitalen Assets konnten an einem Ort verwaltet werden. Sie haben nun auch die Flexibilität, Bilder und Rich Media in jedem gewünschten Format zu verwalten.