damit beginnt ein vortrag in einer oc veranstaltung ...¼r-big-data.pdf · odi für big data - mehr...
TRANSCRIPT
© OPITZ CONSULTING GmbH 2016 Seite 1 ODI für Big Data - mehr als Konnektoren
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titelfolie für
Veranstaltungen • Damit beginnt ein Vortrag
in einer OC Veranstaltung.
• Haupttitel: 1zeilig!
• Untertitel: max 2. Zeilen
• Referent: Name, Funktion,
OC Niederlassung
• Kapitelnummer:
Die Nummer des Vortrags
in der Tagesagenda
• Fußzeile mit Haupttitel füllen.
Bodo Clausen,
Lead Consultant & Competence Center Big Data Lead
Opitz Consulting Deutschland GmbH
Martin Frisch, Developer
Opitz Consulting Deutschland GmbH
mehr als Konnektoren
ODI für Big Data
© OPITZ CONSULTING GmbH 2016 Seite 2 ODI für Big Data - mehr als Konnektoren
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
1Pager • Layout ausschließlich für den
1Pager
• Einsatz ist bei Konferenzen,
ext. Veranstaltungen etc.
obligatorisch. Die Folie ist
Folie 2 (nach der Titelfolie)
• Der Inhalt darf nicht
verändert werden.
• Ausnahme: Der Block
Märkte darf situativ um
Partnerlogos
(ORACLE, etc.) ergänzt
werden
Mission
Wir entwickeln gemeinsam mit allen
Branchen Lösungen, die dazu führen, dass
sich diese Organisationen besser entwickeln
als ihr Wettbewerb.
Unsere Dienstleistung erfolgt
partnerschaftlich und ist auf eine langjährige
Zusammenarbeit angelegt.
Leistungsangebot
Application Lifecycle Management
IT-Beratung
Business-Lösungen
Managed Services
Training und Coaching
IT-Trends
Märkte
Branchenübergreifend
Über 600 Kunden
29%
Industrie / Versorger /
Telekommunikation
29%
Handel / Logistik /
Dienstleistungen
42%
Öffentliche Auftraggeber / Banken und
Versicherungen / Vereine und Verbände
Eckdaten
Gründung 1990
400 Mitarbeiter
11 Standorte
© OPITZ CONSULTING GmbH 2016 Seite 3 ODI für Big Data - mehr als Konnektoren
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Themen
Apache Hadoop?
Startschwierigkeiten Big Data PoC
Pragmatischer Start
DWH Offload
Beispiel DWH Offload mit dem ODI
Beispiele
Apache Hive
Apache Pig
© OPITZ CONSULTING GmbH 2016 Seite 4 ODI für Big Data - mehr als Konnektoren
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Hadoop ist
ein Framework für die
Verwaltung von Cluster-
Kapazitäten.
eine Software, welche
Redundanz und Lastverteilung
gewährleistet.
auf Skalierung mit
kostengünstiger Commodity
Hardware ausgelegt.
eine Open-Source Plattform für
viele andere Werkzeuge.
© OPITZ CONSULTING GmbH 2016 Seite 5 ODI für Big Data - mehr als Konnektoren
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Hersteller nutzen Hadoop um
ihre Software skalierbarer zu
machen
performanceoptimierte
Appliancelösungen anzubieten
eine kostengünstige
Storagealternative anbieten zu
können.
© OPITZ CONSULTING GmbH 2016 Seite 6 ODI für Big Data - mehr als Konnektoren
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Apache betreut 30+ Toplevel Big Data Projekte
spezialisierter Anwendungszweck
Keine Allrounder!
© OPITZ CONSULTING GmbH 2016 Seite 7 ODI für Big Data - mehr als Konnektoren
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Startschwierigkeiten Big Data PoC
Use Cases Identifizieren
Gedanken zum Datenschutz
Tools auswählen
Distribution auswählen
Hardware Sizing und ggf. Anschaffung
Infrastruktur aufsetzen/installieren
PoC umsetzen
© OPITZ CONSULTING GmbH 2016 Seite 8 ODI für Big Data - mehr als Konnektoren
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Pragmatischer Start
Use Case DWH Offload
Infrastruktur Big Data Lite VM
Möglichkeiten ODI
Danach weitere Use Cases?
Entwicklungs Cluster aufsetzen
vielleicht Oracle Big Data Appliance
© OPITZ CONSULTING GmbH 2016 Seite 9 ODI für Big Data - mehr als Konnektoren
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
DWH Offload: Was ist das?
Einfaches ETL und Daten auf Hadoop Cluster auslagern
Daten empfangen
Daten aggregieren
Daten filtern
Daten historisieren
Daten persistieren
Vorteile
Platz für wichtigere Daten im DWH
Resourcen frei für Analytics
Neue Verarbeitungsmöglichkeiten
© OPITZ CONSULTING GmbH 2016 Seite 10 ODI für Big Data - mehr als Konnektoren
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Das bedeutet in diesem Fall
© OPITZ CONSULTING GmbH 2016 Seite 11 ODI für Big Data - mehr als Konnektoren
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Ist Zustand
Operationales System SALES
Staging Area SA_SALES
Data Mart SALES_PRD_CST_MLY
Src 2 Staging Staging 2 DM
© OPITZ CONSULTING GmbH 2016 Seite 12 ODI für Big Data - mehr als Konnektoren
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Source 2 Staging (Oracle) Logical Design
© OPITZ CONSULTING GmbH 2016 Seite 13 ODI für Big Data - mehr als Konnektoren
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Source 2 Staging (Oracle) Physical Design
© OPITZ CONSULTING GmbH 2016 Seite 14 ODI für Big Data - mehr als Konnektoren
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Umwandlung zu Apache Hive Staging
Operationales System SALES
Staging Area SA_SALES
Data Mart SALES_PRD_CST_MLY
Staging 2 DM Src 2 Staging
© OPITZ CONSULTING GmbH 2016 Seite 15 ODI für Big Data - mehr als Konnektoren
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Anpassungen Oracle 2 Apache Hive
SA_SALES Tabelle erstellen
© OPITZ CONSULTING GmbH 2016 Seite 16 ODI für Big Data - mehr als Konnektoren
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Anpassungen Oracle 2 Apache Hive
SA_SALES im ODI zufügen
© OPITZ CONSULTING GmbH 2016 Seite 17 ODI für Big Data - mehr als Konnektoren
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Anpassungen Oracle 2 Apache Hive
Neues Mapping Source zu Staging (Hive) Oracle Source
Hive Target
Expression Datum zu String
© OPITZ CONSULTING GmbH 2016 Seite 18 ODI für Big Data - mehr als Konnektoren
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Anpassungen Oracle 2 Apache Hive
Neues Mapping Physical View
© OPITZ CONSULTING GmbH 2016 Seite 19 ODI für Big Data - mehr als Konnektoren
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Ausführen Oracle 2 Apache Hive
© OPITZ CONSULTING GmbH 2016 Seite 20 ODI für Big Data - mehr als Konnektoren
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Anpassungen Oracle 2 Apache Hive
© OPITZ CONSULTING GmbH 2016 Seite 21 ODI für Big Data - mehr als Konnektoren
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Ergebnisse Oracle 2 Apache Hive
© OPITZ CONSULTING GmbH 2016 Seite 22 ODI für Big Data - mehr als Konnektoren
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Oracle Staging 2 DM
Operationales System SALES
Staging Area SA_SALES
Data Mart SALES_PRD_CST_MLY
Src 2 Staging Staging 2 DM
© OPITZ CONSULTING GmbH 2016 Seite 23 ODI für Big Data - mehr als Konnektoren
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Staging 2 DM (Oracle) Logical Design
© OPITZ CONSULTING GmbH 2016 Seite 24 ODI für Big Data - mehr als Konnektoren
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Staging 2 DM (Oracle) Physical Design
© OPITZ CONSULTING GmbH 2016 Seite 25 ODI für Big Data - mehr als Konnektoren
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Staging 2 DM (Oracle) SQL Code generiert
© OPITZ CONSULTING GmbH 2016 Seite 26 ODI für Big Data - mehr als Konnektoren
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Daten in der Tabelle
© OPITZ CONSULTING GmbH 2016 Seite 27 ODI für Big Data - mehr als Konnektoren
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Umwandlung zu Apache Hive Staging
Operationales System SALES
Staging Area SA_SALES
Data Mart SALES_PRD_CST_MLY
Staging 2 DM Src 2 Staging
© OPITZ CONSULTING GmbH 2016 Seite 28 ODI für Big Data - mehr als Konnektoren
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Änderungen Apache Hive Staging
© OPITZ CONSULTING GmbH 2016 Seite 29 ODI für Big Data - mehr als Konnektoren
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Änderungen Apache Hive Staging
© OPITZ CONSULTING GmbH 2016 Seite 30 ODI für Big Data - mehr als Konnektoren
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Erzeugter Hive Code
© OPITZ CONSULTING GmbH 2016 Seite 31 ODI für Big Data - mehr als Konnektoren
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Load Hive zu Oracle DWH
© OPITZ CONSULTING GmbH 2016 Seite 32 ODI für Big Data - mehr als Konnektoren
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Anpassungen um Apache PIG zu nutzen
Logical Design Staging Location Hint => Pig
Expression und Aggregate Execute on Hint => Staging
© OPITZ CONSULTING GmbH 2016 Seite 33 ODI für Big Data - mehr als Konnektoren
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Anpassungen um Apache PIG zu nutzen
Physical Design erzeugen
© OPITZ CONSULTING GmbH 2016 Seite 34 ODI für Big Data - mehr als Konnektoren
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Erzeugter Pig Code
String Manipulation Daten laden
Aggregierung Daten speichern
© OPITZ CONSULTING GmbH 2016 Seite 35 ODI für Big Data - mehr als Konnektoren
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
und Apache Spark
Analog zu Pig
ggf. Expressions anpassen (auch bei Pig)
© OPITZ CONSULTING GmbH 2016 Seite 36 ODI für Big Data - mehr als Konnektoren
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Titel und Inhalt: • Dies ist das Haupttemplate
für Inhaltsseiten.
• Titel: 1-2zeilig!
• Inhalt:
• 3-7 Punkte o 2-3
Hauptpunkte mit
Unterpunkten
• Max bis zur 3. Ebene
• Logo: optional. rechts des
Titels zwischen den letzten
beiden Rastern
• Fußzeile mit Haupttitel füllen.
Zusammengefasst
ODI bietet GUI für Hive, Pig, Spark Development Erweiterungen von Pig und Spark implizit verfügbar
DWH Offloading als Use Case
Pragmatischer Ansatz PoC Ist eine Überlegung wert
Beispiele für Erweiterungen Weblogs verarbeiten
360° Kundensicht (falls Webshop vorhanden)
Foren, Blogs, Feeds crawlen
Wie kommen unsere Produkte an
Sensordaten aus z.B. Produktionslinien
Predictive Maintenance
Streaming der Daten
© OPITZ CONSULTING GmbH 2016 Seite 37 ODI für Big Data - mehr als Konnektoren
OPITZ CONSULTING Vorlage Powerpoint 2011; Version 1.3; 10.05.2011; TGA, KSH
Kontakt 2fach: • Diese Folie wird als vorletzte
Folie genutzt, um den
individuellen Bezug zu 2
Referenten herzustellen.
• Als Fotos müssen
quadratische Fotos der
Referenten in qualitativ
hochwertiger Form vorliegen.
• Die Fotos geht über 2
Rasterbreiten.
• Die Daten der Adresse sollten
vollständig eingegeben
werden
Kontakt
Bodo Clausen, Lead Consultant & Competence Center Big Data Lead
E-Mail: [email protected]
Telefon: 02261 6001 0
Martin Frisch, Developer
E-Mail: [email protected]
Telefon: 02261 6001 0