Ein Informationssystem, auch wenn es noch so klein ist, umfasst typischerweise mehrere Dutzend Systeme und Anwendungen, die Daten über heterogene Technologien und Plattformen (relationale oder nicht-relationale Datenbanken, verteilte Dateisysteme, APIs, Cloud-Lösungen usw.) nach eigenen Protokollen, Formaten und Regeln speichern.
Jedes dieser Systeme verwaltet Hunderte oder gar Tausende Datasets - typischerweise Tabellen oder Dateien -, die ihrerseits aus Dutzenden Fields (oder Spalten) bestehen. Und für jedes dieser Datasets und jedes Field muss ein Metamodell (d.h. ein strukturierter Satz von Metadaten) bereitgestellt werden, mit dessen Hilfe die Daten verwertet werden können.
Letztendlich muss der Datenkatalog Millionen von Informationen unterschiedlichster Art konsolidieren - und dieses Volumen wächst exponentiell, ebenso wie das Volumen der eigentlichen verwertbaren Daten. Diese Menge an Informationen wirft zwei Fragestellungen auf:
💡 Wie kann dieses Informationsvolumen gepflegt werden, ohne dass die Kosten fürs Metadaten-Management explodieren?
💡 Wie findet man das passende Dataset für einen bestimmten Use Case?
Unserer Meinung nach beschränkt sich der Begriff Smart Data Catalog also nicht auf die Integration von KI-Algorithmen, sondern bezieht sich vielmehr auf eine Reihe von technologischen und konzeptionellen Vorkehrungen, die wir als smart bezeichnen und die darauf abzielen, die beiden vorangegangenen Fragestellungen zu beantworten.
Wir haben fünf Bereiche identifiziert, in denen ein Datenkatalog smart sein kann - die meisten davon ohne Einsatz von Machine Learning:
🔸 Modellierung des Metamodells
🔸 Inventarisierung von Daten
🔸 Metadaten-Management
🔸 Suchmaschine
🔸 User Experience
