"Bereits seit einigen Jahren taucht der Begriff Smart Data Catalog in der Literatur rund um das Metadaten-Management auf. Wie viele andere Konzepte in der Technologiewelt hat auch der Smart Data Catalog keine formale Definition. Die gängige Auffassung besagt jedoch, dass ein moderner Datenkatalog Maschinelles Lernen oder Künstliche Intelligenz nutzen sollte, um seine Fähigkeiten in verschiedenen Hinsichten zu verbessern.
In diesem Dokument möchten wir erläutern, wie Zeenea das Konzept des Smart Data Catalogs behandelt, und warum es sich nicht nur auf Machine-Learning-Funktionen beschränkt."
Ein Informationssystem, auch wenn es noch so klein ist, umfasst typischerweise mehrere Dutzend Systeme und Anwendungen, die Daten über heterogene Technologien und Plattformen (relationale oder nicht-relationale Datenbanken, verteilte Dateisysteme, APIs, Cloud-Lösungen usw.) nach eigenen Protokollen, Formaten und Regeln speichern.
Jedes dieser Systeme verwaltet Hunderte oder gar Tausende Datasets - typischerweise Tabellen oder Dateien -, die ihrerseits aus Dutzenden Fields (oder Spalten) bestehen. Und für jedes dieser Datasets und jedes Field muss ein Metamodell (d.h. ein strukturierter Satz von Metadaten) bereitgestellt werden, mit dessen Hilfe die Daten verwertet werden können.
Letztendlich muss der Datenkatalog Millionen von Informationen unterschiedlichster Art konsolidieren - und dieses Volumen wächst exponentiell, ebenso wie das Volumen der eigentlichen verwertbaren Daten. Diese Menge an Informationen wirft zwei Fragestellungen auf:
Unserer Meinung nach beschränkt sich der Begriff Smart Data Catalog also nicht auf die Integration von KI-Algorithmen, sondern bezieht sich vielmehr auf eine Reihe von technologischen und konzeptionellen Vorkehrungen, die wir als smart bezeichnen und die darauf abzielen, die beiden vorangegangenen Fragestellungen zu beantworten.
Wir haben fünf Bereiche identifiziert, in denen ein Datenkatalog smart sein kann - die meisten davon ohne Einsatz von Machine Learning:
🔸 Modellierung des Metamodells
🔸 Inventarisierung von Daten
🔸 Metadaten-Management
🔸 Suchmaschine
🔸 User Experience
COPYRIGHT © ZEENEA 2022
All rights reserved