Metadatenklassifizierung und Datenmodellierung für
den Data Governance Erfolg
Sultan Shiffa, Senior Software Consultant, Embarcadero technologies
Agenda
• Datenmodellierung im Zeitalter von Big Data– DM gestern/heute und in der Zukunft– Herausforderungen und Trends
• Datenmodellierung und Data Governance im Unternehmen– Was ist Data Governance? Die DG Lücke und Architektur– Wie starte ich Data Governance mit heutigen Werkzeugen
• Datenmodellierungsportale für Unternehmensmetadaten – Datenklassifizierung, Benutzer– Probleme, Facebook ähnliche Kollaboration , Integration mit
Werkzeugen
GESTERN, HEUTE UND IN DER ZUKUNFT
DATENMODELLIERUNG IM ZEITALTER VON BIG DATA
Datenmodellierung gestern
• Logische und physikalische Modellierung
• Reverse Engineering und Dokumentation
• Forward Engineering• Impact Analyse• Designvorlagen und Patterns• Enterprise Data Dictionary• Data Lineage / Dokumentation• Reporting
Anforderungen an Datenmodellierung der Zukunft
Mobile DBMS Unterstützung
• Wie z.B. Interbase, Firebird, SQL Lite und weitere mobile Plattformen
Big Data Unterstützung• Reverse Engineering und Compare;
NoSQL Technologien sowie Big Data wie Hadoop, Cloudera, Azure, Apache, Mongo DB usw.
Metadaten und Data Governance Support
• Unternehmensportale, Business Definitionen, Integration mit Tools für Entwicklung, Administration, Integration mit Webseiten
• Datenbereitstellung für nicht technische User
Datenintegrationsunterstützung
• ETL Data Lineage
UDMs
Data Modelers Data Architects Data Stewards
Data Governance Big Data Professionals
Business Intelligence Professionals
MetadatenportalWebportal Data LineageRepositoryData Modeling
Business Users
Eine Datenmodellierungsplattform für gemeinsame Nutzung von Daten
Big DataETL Tools
Physische Modelle
HERAUSFORDERUNGEN UND DIEAUSGANGSLAGE
DATENMODELLIERUNG IM ZEITALTER VON BIG DATA
Komplexität im Unternehmen
Was ist ein Kunde?
Cloud-Daten
Web LogsMessdaten
BI, DWH, MDM, ETL, Relationale Datenbanken
Mobile
Herausforderungen & Chancen
Kosten für “schlechte” Daten mehr als $600Mrd jährlich für US Geschäfte.Quelle: TDWI
Datenqualität Best Practices steigern Umsatz um 66%Quelle: Sirius Decisions
Die Fortune 1000 Firmen könnten den Umsatz um $2.01Mrd steigern durch Steigerung Datennutzbarkeit um 10%.Quelle: University of Texas
95% der Unternehmensdaten sind unverwertbar, Grund: Datensilos und schlechte IntegrationQuelle: Forrester
Weitere Herausforderungen und die Lage
Die Herausforderung
• 30%-50% Datenwachstum pro Jahr
• Verwaltung und Daten effektiv nutzen konkurrenzfähig zu sein
• Konformität mit Vorschriften und gesetzlichen Regelungen
• IT Kosten senken
• Unstrukturierte Daten
Praktische Lösungswege
• Aufbau einer Unternehmensinformationszuordnung – Ein
Metadaten-Rahmenwerk für Kollaboration, Verständnis &
Synchronisierung
• Standardisierung bei Werkzeugen, Metadaten nutzen um
Datenqualität und Effizienz zu verbessern.
• Einige Unternehmen haben immense Summen in Governance Beratungen investiert –Ergebnisse im Aktenschrank?
• Andere wissen nicht wo man startet
Aktuelle Lage
• WAS IST DG, DIE DG LÜCKE UND DATENARCHITEKTUR, WIE STARTE ICH DG?
DATENMODELLIERUNG UND DATA GOVERNANCE
Was ist Data Governance?
• Data Governance ist eine auf Strategie, Rechte undPflichten basierte Praxis zur Verwaltung von Information und die Identifizierung und Verbesserung deren Werte für das Unternehmen.
Definition
• Bereitstellung von zuverlässigen und relevantenInformation, die Unternehmen bei Compliance, Kontrolle und Entscheidungsfindung helfen
Mission
• Umsatz steigern, Kosten senken und/oder Risiken minimierenVorteile
Ein DG Rahmenwerk
Quelle: Data Governance Institute
Data Governance Ziele
• Anerkennung von Daten als Unternehmenswerte
• Standardisierung von Daten innerhalb des Unternehmens
• Erfassung, Analyse und gemeinsame Nutzung der Daten
• Daten sind aus der Geschäftssicht definiert und die Regeln vorgegeben
• Zentrale Lokation und Bereitstellung der Daten und deren Definitionen sowie Regeln
Ergebnis von Data Governance
• Einheitliche Bezeichnungen• Einheitliche Geschäftsregeln• Einheitliche Namenskonventionen für Daten• Einheitliche Datendefinitionen• Einheitliche Datenbetrachtung• Einheitliche Datennutzung• Niedrige und kontrollierte Datenredundanz• Verbesserte Datenqualität
Die Governance Lücke - Warum viele DG Bemühungen ineffektiv sind?
Data GovernanceOrganisationen, Strategien, Prozesse, Metrik
Anwendungen & Daten
DEV ETLMDM DQ
Information Management
Data Governance Plattform – Das Datenmanagement Ökosystem
Data GovernanceOrganisationen, Strategien, Prozesse, Metriken
Anwendungen & Daten
DEV ETLMDM DQ Met
adat
a G
ove
rnan
ce
ArchitekturBewertungen, Planungen, Vorschriften, Abgleiche
Information Management
Web
API
Daten –Architekten
DBAs
Entwickler
Ente
rpri
se In
form
atio
n M
apVerantwortliche
Sync
Verfügbarkeit Integrität Support
Web
po
rtal
Wie Modellierungstools den Grad des Data Governance abdecken
18
Ungoverned[Unbekannt]
Charakteristik: Datenbanken wuchern/ Anarchie, dezentrale Information, AutomatisierungslückenProbleme: Redundanz, Inkonsistenz, hohe Kosten, Kein Vertrauen in Daten, IT fokussiert auf Technologie basierte Initiativen
Scoped[Risiken Eingegrenzt]
Veröffentlichte Bestandsaufnahme für Prozesse, Systeme & DatenVorteil: eingegrenzte Risiken; Chancen & Prioritäten identifiziert; Anlagen und Werte „auffindbar“
Meilenstein: Veröffentlichte Bestandsaufnahme für Prozesse, Systeme & DatenVorteil: eingegrenzte Risiken; Chancen & Prioritäten identifiziert; Anlagen und Werte “auffindbar”
ReverseEngineering
ER/Data Lineage
Repository
Established[Projekte Kontrolliert]
Meilenstein: Beratungsausschuss; Strategiegetriebene Standardisierung auf Tech
& Methoden; Schlüssel Rollen etabliert; initiativegetriebene unabhängige ProjekteVorteil: Ausuferung gestoppt; Datennutzung und Wiedernutzung gestiegen
Meilenstein: Beratungsausschuss; Strategiegetriebene Standardisierung auf Tech
& Methoden; Schlüssel Rollen etabliert; initiativegetriebene unabhängige ProjekteVorteil: Ausuferung gestoppt; Datennutzung und Wiedernutzung gestiegen
Meilenstein: Beratungsausschuss; Strategiegetriebene Standardisierung auf Tech
& Methoden; Schlüssel Rollen etabliert; initiativegetriebene unabhängige ProjekteVorteil: Ausuferung gestoppt; Datennutzung und Wiedernutzung gestiegen
Portal
Advanced[Koordinierte Bemühung]
Meilenstein: Org formalisiert, rationalisierte Daten, active gemeinsam genutzt (z.B. MDM, Kundensicht 360); Metriken etabliert und erzwungen, Ziele definiertVorteil: Redundanzen und Inkonsistenzen reduziert; Konkurrenzstatus verbessert
Governed[Kontinuierliche Verbesserung]
Meilenstein: weitgehend angenommen, quantifizierte kontinuierliche VerbesserungVorteil: Kosten kontrolliert, Qualität definiert, Vertrauen verbessert, Daten als Mitbewerbsvorteil; IT fokussiert auf das Business
Meilenstein: weitgehend angenommen, quantifizierte kontinuierliche VerbesserungVorteil: Kosten kontrolliert, Qualität definiert, Vertrauen verbessert, Daten als Mitbewerbsvorteil; IT fokussiert auf das Business
Meilenstein: Org formalisiert, rationalisierte Daten, active gemeinsam genutzt (z.B. MDM, Kundensicht 360); Metriken etabliert und erzwungen, Ziele definiertVorteil: Redundanzen und Inkonsistenzen reduziert; Konkurrenzstatus verbessert
Meilenstein: Org formalisiert, rationalisierte Daten, aktiv gemeinsam genutzt (z.B. MDM, Kundensicht 360); Metriken etabliert und erzwungen, Ziele definiertVorteil: Redundanzen und Inkonsistenzen reduziert; Konkurrenzstatus verbessert
Enterprise Data Dictionary
Portal
Role BasedSecurity
Data Dictionary
NamingStandardsTemplate
Security Center Groups
Infer Domains
UniversalMappings
• METADATENKLASSIFIZIERUNG
DATENMODELLIERUNGSPORTALE
UND METADATENVERWALTUNG
Unternehmensinformationszuordnung -Zuordnung der Landschaft
Wo?
Wer?
Wie?Warum?Was?
Embarcadero Connect
Tabellen und Spalten
Unternehmensinformationszuordnung oder Klassifizierung von Information durch Bedeutung, Geschäftsrelevanz, Nutzung und Verantwortung
Business Metadaten
Prozess-Modelle
Governance Policy
Logisch & PhysischDatenmodelle
Anwendungs-modelle
Gemeinschafts-Praxis
Bu
sin
ess
Glo
ssar
• BENUTZER
DATENMODELLIERUNG UND METADATENVERWALTUNG
Problem: Informationsbarriere zwischen Business und IT• Business
– Definiert die Prozesse und Produkte
– Interne Kunde der IT
– Sponsoren
– Möchten Budget kürzen
• IT
– Meist eine separate Abteilung
– Werden als Kostfaktor angesehen
– Fokus technische Ziele
BA
DG
DBA Dev
SA
BI MDM
Datenkonsumenten, Techniker und Führungskräfte
DA
TechnischeArchitekten
Business User
Ops
Auditor
Admin
Finanz
Analyst
TechnischeUser
Profitieren von Geschwindigkeit und Genauigkeit
von Daten
Liefern und leiten die Programme, die über
Portale verbessert werden
Profitieren durch verbesserte Datenqualität
und gesetzliche Compliance
Daten-Konsumenten
Auditoren Daten Analysten Business Analysten Data Governance Rollen
Weniger Zeit zu verbringen
Genaue Interpretation der stets wachsenden
Volumen der Unternehmensdaten
Gefährliche Geschäftsentscheidungen
auf Basis unvollständiger und
missverstandenen Daten
Vorteile:• Kontext für Datenverständnis im täglichen Arbeitsablauf• Schnelle Analysen• Konsistenz der Berichte
Technische Benutzer
Daten Architekten Daten Modellierer DBAs Daten & Anwendungsentwickler
Entwicklung oder Re-Engineer bestehender
Datenstrategien zur Unterstützung von
Anforderungen Daten genauer zu verstehen
Keine Compliance mit noch mehr Komplexen Regularien
Vorteile:• Schnelle Anwendungsentwicklung mit Fachbegriffen• Intelligente Datenbanktools mit Informationszuordnung• Einhaltung Industrievorschriften und Business
Standards
Führungskräfte
IT Führungskraft zuständig für wichtige datenbezogene Unternehmerische Initiativen
Strategische Entscheidungen, die auf
unvollständige oder missverstandene Daten
beruhen
Aussetzung an signifikante berufliche
und personelle Risiken
durch teure Compliance Herausforderungen
Vorteile:• Risikomanagement auf Grund von Datenqualität und schlechte Datenverwaltung• Unterstützung der unternehmerischen Compliance Initiativen
• PROBLEME, „FACEBOOK“ ÄHNLICHE KOLLABORATION, INTEGRATION MIT ANDEREN TOOLS
DATENMODELLIERUNGSPORTALE UND METADATENVERWALTUNG
Problem: Isoliertes Wissen
MenschenSoziales Wissen
Informationals Wert
Lösung: Information Sozialisation
MenschenInformationals Wert Soziales
Wissen
Webportals für die Verbindung von Menschen, Prozesse und Technologie
Bereitstellung
Governance und Kollaboration
Technische Metadaten
Business Metadaten
Repository
Data Modeling Webportal
Architektur Business
Datenintegration&
InformationManagement
IntegratedTooling
EnterpriseData
Unternehmensportale erlauben die gemeinsame Nutzung von Daten
Finden
Wissen
Schützen
Daten finden – Daten wissen – Daten schützen
Metadaten+ Sozialisierung+ Governance =
+
+
(Websuche)
( Annotation, Wissen anderer nutzen)
+(Information im Team austauschen, „Like“, „Teilen“ und Diskussionen über Fachbegriffe)
Finden - Suche
Wissen – Definitionen & Richtlinien
Schützen– Inline-Definitionen & Alarme
Integration: Gemeinsame Nutzung von Business-Begriffen und Datenelementen
Business&
DatenRepository
RES
T A
PI
DBA
Data Modelling
Glossary Tool Tips
Apps
DataElements
Data Sources
Search
Terms3rd Party
Tools
Metadatenportale erlauben Kollaboration über Daten
Anpassung der Attribute besseres Verständnis
Klassifizierung und Zuordnung
Erfassung “Teamwissen”
Webintegration: Browser Tool-tips in Wikipedia
Effektive Kollaboration zwischen Business und IT
Business Users
Datenarchitekten/Modellierer
Kollaboration, Kommunikation und Verbesserung der Metadaten
Unternehmensglossare Fachbegriffe
Detaileigenschaften/ Beschreibungen
Submodelle
Entitäten/Tabellen
Attribute/Spalten
Logische Modelle
Physische Modelle
ZusammenfassungUnternehmensdaten im Unternehmen effektiv nutzen
• Datenmodelle müssen mobile und unstrukturierte Daten erfassen
• Aufbau von Portale für eine zentrale und gemeinsame Nutzung von Business Definitionen für unternehmensweite Projekte
• Kollaboration zum Aufbau einer konsistenten Wissensdatenbank für Data Governance
• Integration von Datenmodellierungswerkzeugen mit ETL, Entwicklungs- und Administrationswerkzeugen
• Unterstützung für Effizienzsteigerung und Compliance• Praktische und schnelle Implementierung von Daten- und
Metadaten Governance mit Business Datenmodellierung
VIELEN DANK
Sultan Shiffa, Embarcadero [email protected]://www.embarcadero.com