pentaho data integration klebstoff und schweizer taschenmesser · pentaho data integration –...
TRANSCRIPT
Pentaho Data Integration –Klebstoff und Schweizer Taschenmesser
Jens Junker – IT Integration
26.03.2019
2 © VNG 2019
Gliederung
1. VNG Handel & Vertrieb
2. Gashandel
3. Pentaho DI bei VNG H&V
4. Regulatory Reporting
5. Valuation Archivierung
6. Ausblick
1. VNG Handel & Vertrieb
4 © VNG 2019
Geschichte
- 1. Juli 1958 Gründung Technische Leitung Ferngas (TLFG)
- 29. Juni 1990 Gründung VNG AG
- April 2016 EnBW Mehrheitseigner
- Q2/2017 VNG AG vollkonsolidiertes Unternehmen
- April 2018 Ausgliederung VNG Handel & Vertrieb GmbH
5 © VNG 2019
VNG Gruppe
2. Gashandel
7 © VNG 2019
VNG Handel & Vertrieb GmbH – Märkte Europa
Gaspool
NCG
NBP
ZEE
TTF
ZTP
TRF
PSV
CEGH
8 © VNG 2019
VNG Handel & Vertrieb GmbH – Deutschland
9 © VNG 2019
Produkte
10 © VNG 2019
Trading
11 © VNG 2019
Handelstag
Handel (08:30 - 18:00 Uhr)Nominierung(untertätig zur Handelszeit)
Export Forecast (21:00 -22:00 Uhr)
EH Valuation (12:00 und 16:00 Uhr)
Import Marktpreise (23:00 – 07:30 Uhr)
Valuations (03:00 – 05:30 Uhr)
3. Pentaho DI bei VNG H&V
15 © VNG 2019
Pentaho DI bei VNG H&V
- 2011 Auswahl ETL Tool(Pentaho, SAS, Talend und Informatica in Auswahl)
- 2012 Einsatz Pentaho DI
- löste OWB und PowerMart ab
- MicroStrategy BI Tool
- 2014 Einführung Inubit
Aktuell:
- Version 8.2.0.2-491 Enterprise
- Enterprise Repository auf Oracle DB
- Windows Server 2016
16 © VNG 2019
Integration Pentaho
- Integration von Pentaho über ClassEvents und Pentaho Webservices
17 © VNG 2019
Integration Pentaho
4. Regulatory Reporting
19 © VNG 2019
Regulatory Reporting
- EMIR - Regulierung des außerbörslichen Derivatehandels
- REMIT - Überwachung des Strom und Gas-Großhandels
- UTI Generierung (EMIR)
- Report Austausch Börse -> eTM (REMIT)
20 © VNG 2019
UTI Generator
- Generierung der UTI (Unique Transaction Identifier) aus Feldern eines Reports der Clearing Bank
- Automatischer Prozess (täglich) von Abruf des Reports, Generierung der UTI, schreiben ins ETRM System Allegro und Benachrichtigung des Fachbereichs
ECC MIC Code
UTI Type Indicator
Trade Date
Product ID
Transaction ID Number
Transaction ID Suffix Number Order ID Buy
CodeClearing Leg Indicator UTI
000XECC000 E 2016100
6 G3BQ 00000D54Z 0 000003IKU2EWY S T 000XECC000E20161006G3BQ00000D54Z0000003IKU2EWYST
21 © VNG 2019
UTI Generator
22 © VNG 2019
UTI Generator
23 © VNG 2019
UTI Generator
24 © VNG 2019
Schnittstelle Börse -> eTM
- Verschlüsselte XML von Börse (FTPS) laden
- XML entschlüsseln
- SOAP Request generieren
- Versand an Webservice
25 © VNG 2019
Schnittstelle Börse -> eTM
26 © VNG 2019
Schnittstelle Börse -> eTM
5. Valuation Archivierung
28 © VNG 2019
Valuation Archivierung
- 2014 Allegro Einführung
- Wachsende Daten durch Valuations
- Eine Valuation ca. 5,3 Millionen Rows
- Pro Tag 7,6 Mio Zeilen à 125 Spalten
- Vorgehen:
- 1. Archivierung via DB Link
- 2. Partitioning
- 3. Archivierung mit Komprimierung und Dateiablage
März AprilFebruar + 12 Jahre- 1 Jahr
monatlich täglich täglich täglich monatlich
Valuation Granularität
29 © VNG 2019
Valuation Archivierung
30 © VNG 2019
Valuation Archivierung
31 © VNG 2019
Valuation Archivierung
32 © VNG 2019
Valuation Archivierung
33 © VNG 2019
Valuation Archivierung
Produktion Demo
Zeilen (Mio) 5,25 0,4
DB Tabelle (MB) 3228 264
ZIP (MB) 282 50
XML (MB) 9319 712
Kompressionsrate (%) 91,26 81,06
6. Ausblick
35 © VNG 2019
Ausblick
- Integration von NTLM Authentifizierung
- Integration von Python Skripten
- Konsolidierung IT-Landschaft (Pentaho Instanzen)
- Azure Anbindung/Interaktion (MS Dynamics)
- Pentaho als Webservice Endpoint (PDI-17855)
36 © VNG 2019
37 © VNG 2019
38 © VNG 2019
Braunstraße 704347 Leipzigwww.vng-handel.de
VNG Handel & Vertrieb GmbH
Jens Junker
+49 341 443-1231
Ansprechpartner
Vielen Dank!