Konzepte zur Umsetzung eines Data Mesh in der industriellen Praxis

Daten sind eine der gefragtesten Ressourcen unserer Zeit, denn aus ihnen lassen sich viele wertvolle Einsichten gewinnen. Diese lassen sich gewinnbringend einsetzen, beispielsweise um neue Produkte oder Services zu erstellen oder existierende Prozesse zu optimieren. Dazu müssen die Daten analysiert werden.

Mithilfe von zentralisierten Datenmanagementsystemen wie beispielsweise Data Lake können Domänenexperten mit Daten von mehreren Quellsystemen in konsolidierter Form arbeiten. Die Verarbeitung und Wartung der Daten ist dabei die Aufgabe eines zentralen IT Teams. Dabei muss das IT Team eine große Anzahl von unterschiedlichen und komplexen Use Cases bearbeiten. Für die fachgerechte Bearbeitung ist jedoch Domänenwissen notwendig. Daher ist dies eine schwierige Aufgabe für ein einzelnes Team und es entsteht ein Engpass.

Data Mesh ist ein neuer Ansatz für die Verwaltung, den Austausch und den Zugriff auf Daten in großem Maßstab, der die Dezentralisierung nutzt, um die oben genannten Herausforderungen zentralisierter Ansätze zu überwinden. Hierbei wird die Verantwortung für die Daten in die Domänen verlegt, welchen die Daten gehören. Dort werden domänenorientierte, funktionsübergreifende Datenteams von einer Self-Service-Plattform bei der Wartung und Verarbeitung der Daten unterstützt. Die Daten werden als Datenprodukte zwischen den Domänen ausgetauscht, um Analysen in anderen Domänen möglich zu machen.

Während immer mehr Fortschritte in der Realisierung von Data Mesh gemacht werden, bleibt unklar, wie genau Data Mesh in einem Konkreten Fall gestaltet und implementiert werden kann, unter anderem in Bezug auf Datenprodukte, föderierte Verwaltung und Interoperabilität. Ziel dieses Forschungsprojektes ist es daher, Ansätze zur Realisierung des Data Mesh Konzepts in einem industriellen Kontext zu untersuchen.

Das Projekt befindet sich derzeit in der Anfangsphase. Im Moment wird eine Literaturrecherche durchgeführt, um einen Überblick über den Stand der Forschung und den Stand der Technik in der Industrie zu erhalten. Darauf basierend werden Forschungslücken identifiziert, welche im Rahmen des Projekts adressiert werden. Zudem wird aktuell an der ersten Publikation zur Datenschutzkonformität von Datenprodukten gearbeitet.