srs im daten - maschinenraum

31
© Zühlke 2014 Im Daten-Maschinenraum Leistungsfähige Architekturen für Smart Remote Services Dr. Christoph Bröcker, 29. September 2014

Upload: zuehlke

Post on 20-Jun-2015

332 views

Category:

Software


3 download

DESCRIPTION

Smart Remote Services werden erst möglich durch eine effiziente Bündelung und Verarbeitung der verfügbaren Informationen aus Geräten/ Maschinen und anderen Quellen. Der dazu verwendete „Daten-Maschinenraum“ muss hohe Anforderungen erfüllen: Zuverlässigkeit, Sicherheit, Robustheit, Erweiterbarkeit, Wirtschaftlichkeit. Während Lösungen dazu bisher meist individuell entworfen und umgesetzt wurden, zeichnen sich inzwischen bewährte Muster und Standards ab, die Risiken senken und Effizienz erhöhen. Der Vortrag zeigt dies anhand von Projektbeispielen

TRANSCRIPT

Page 1: SRS im Daten - Maschinenraum

© Zühlke 2014

Im Daten-MaschinenraumLeistungsfähige Architekturen für Smart Remote ServicesDr. Christoph Bröcker, 29. September 2014

Page 2: SRS im Daten - Maschinenraum

© Zühlke 201429. September 2014Im Daten-Maschinenraum | Dr. Christoph Bröcker Folie 2

Page 3: SRS im Daten - Maschinenraum

© Zühlke 2014

Nutzungsmuster 1:Daten aus der Ferne messen

29. September 2014Im Daten-Maschinenraum | Dr. Christoph Bröcker Folie 3

Page 4: SRS im Daten - Maschinenraum

© Zühlke 201429. September 2014Im Daten-Maschinenraum | Dr. Christoph Bröcker Folie 4

FeldtestViessmann optimiert die Vorentwicklung: Daten von neuen Brennstoffzellen werden täglich analysiert.

Page 5: SRS im Daten - Maschinenraum

© Zühlke 201429. September 2014Im Daten-Maschinenraum | Dr. Christoph Bröcker Folie 5

Szenario 150 Feldsysteme1 Ablesung / Stunde4.000 Werte pro Ablesung

500 MB / Monat

Szenario 2500 Feldsysteme6 Ablesungen / Minute40.000 Werte pro Reihe

20 TB / Monat

Page 6: SRS im Daten - Maschinenraum

© Zühlke 201429. September 2014Im Daten-Maschinenraum | Dr. Christoph Bröcker Folie 6

Um 20 Terabyte im Monat zu verarbeiten, reicht Excel als Werkzeug nicht mehr aus.

Horizontale Skalierbarkeit

Auto-Scaling

Schichtenmodell für Datenspeicher

Zeitreihen-verarbeitung

Page 7: SRS im Daten - Maschinenraum

© Zühlke 201429. September 2014Im Daten-Maschinenraum | Dr. Christoph Bröcker

Kosten und Nutzung verschiedener Speicherarten

Folie 7

$3,750

$200

$1,000

$100

Beispielpreise: Amazon Web Services, Stand 08/2014, Region EU

In-Memory Datenbank Festplatte Extern ArchivEC2 DynamoDB EBS S3 Glacier

Interaktive Analyse

Gefilterte Daten Historische DatenEvents

Aggregation

ReportingRohdaten

Pufferung

Page 8: SRS im Daten - Maschinenraum

© Zühlke 201429. September 2014Im Daten-Maschinenraum | Dr. Christoph Bröcker

Wann immer Geräte senden können, muss der Daten-Maschinenraum empfangen.

Folie 8

Lokale Redundanz

Überregionale Redundanz

Updates ohne Downtime

Trennung von Empfang und Verarbeitung

Page 9: SRS im Daten - Maschinenraum

© Zühlke 201429. September 2014Im Daten-Maschinenraum | Dr. Christoph Bröcker Folie 9

Page 10: SRS im Daten - Maschinenraum

© Zühlke 2014

Nutzungsmuster 2:Aktive Steuerung von Geräten

29. September 2014Im Daten-Maschinenraum | Dr. Christoph Bröcker Folie 10

Page 11: SRS im Daten - Maschinenraum

© Zühlke 201429. September 2014Im Daten-Maschinenraum | Dr. Christoph Bröcker Folie 11

Smart HomeRWE bringt ein umfassendes System zur Steuerung von Licht, Heizung, Geräten, etc. auf den Markt.

Page 12: SRS im Daten - Maschinenraum

© Zühlke 201429. September 2014Im Daten-Maschinenraum | Dr. Christoph Bröcker

Seit Stuxnet, Snowden und Shodan wachsen sowohl Missbrauchsfälle als auch die Empfindlichkeit der Kunden.

Folie 12

Hollywood-Prinzip„Built-in“ Security auf

IoT Plattformen

Ende-zu-Ende-Verschlüsselung

Authentisierung durch Zertifikate

Page 13: SRS im Daten - Maschinenraum

© Zühlke 201429. September 2014Im Daten-Maschinenraum | Dr. Christoph Bröcker

Wenn man den Schalter drückt, soll das Licht angehen. Und nicht erst fünf Sekunden später.

Folie 13

IoT-Protokolle

Caching / Offline-VerarbeitungBig Data Technologien

Real-time

Page 14: SRS im Daten - Maschinenraum

© Zühlke 201429. September 2014Im Daten-Maschinenraum | Dr. Christoph Bröcker

IoT Protokolle

Folie 14

CoAP MQTT DDS REST XMPP AMQP JMSFocus Low Power,

Small foot-print, IPv6, 6LoWPAN

Simple devices,telemetry

M2M,scalability, real-time

Resources, Statelessinteraction

Instant messaging

Messaging interop-erability

Messaging middleware

Background "REST fordevices"

Messaging middleware

Aerospace/Defence

Web architecture

Chat protocol

Financial sector

Java messagingsystems

Standard Body

IETF CoRE IBM –OASIS

OMG - IETF OASIS JCP/JSR 914

Architecturemodel

Client/Srv, multicast

Pub/Sub, message broker, websocketsupport

Pub/Sub, "data busapproach"

Client/Srv Client/Srv Pub/Sub, messagebroker

Pub/Sub, message broker or Point-to-point

Security DTLS user/pwd, encryption, TLS

provider specific, e.g. SSL, DDS

TLS SASL, TLS SASL for auth. & TLS

provider specific; TLS, JAAS

Wire Format binary binary, opaquepayload

DDSI (CDR) MIME (often JSON)

XML AMQP, opaquepayload

provider-specific

Page 15: SRS im Daten - Maschinenraum

© Zühlke 201429. September 2014Im Daten-Maschinenraum | Dr. Christoph Bröcker Folie 15

Page 16: SRS im Daten - Maschinenraum

© Zühlke 2014

Nutzungsmuster 3:Bessere Entscheidungen durch mehr Information

29. September 2014Im Daten-Maschinenraum | Dr. Christoph Bröcker Folie 16

Page 17: SRS im Daten - Maschinenraum

© Zühlke 201429. September 2014Im Daten-Maschinenraum | Dr. Christoph Bröcker Folie 17

MeteringFernablesung vereinfacht die Fakturierung und ermöglicht neue Services.

Page 18: SRS im Daten - Maschinenraum

© Zühlke 201429. September 2014Im Daten-Maschinenraum | Dr. Christoph Bröcker Folie 18

Vom Verbrauchswert zur Rechnung

EAI / ETL

Auswertungen„Walk by“

Ablesegeräte

Rules Engine

Kundenportal

Außendienst

Verbrauchs-zähler

Daten-terminals

Web-server

Kunden

Verträge

AblesewerteBackend-SystemeSensoren

Funk GSM

Prozessmanagement Monitoring

Page 19: SRS im Daten - Maschinenraum

© Zühlke 201429. September 2014Im Daten-Maschinenraum | Dr. Christoph Bröcker Folie 19

Damit der Monteur schnell sieht, wo er hin muss, braucht er die Daten aus dem zentralen CRM.

Middleware

Schichtenarchitekturen

Modularisierung

Enterprise ArchitectureManagement

Page 20: SRS im Daten - Maschinenraum

© Zühlke 201429. September 2014Im Daten-Maschinenraum | Dr. Christoph Bröcker

Vom Wasserleck zum Alarmsignal

EAI / ETL

Auswertungen„Walk by“

Ablesegeräte

Rules Engine

Kundenportal

Außendienst

Verbrauchs-zähler

Daten-terminals

Web-server

Kunden

Verträge

AblesewerteBackend-SystemeSensoren

Funk GSM

Prozessmanagement MonitoringFolie 20

Page 21: SRS im Daten - Maschinenraum

© Zühlke 201429. September 2014Im Daten-Maschinenraum | Dr. Christoph Bröcker Folie 21

Geräte leben lang. Backend-Applikationen auch.Die Use Cases ändern sich ständig.

Versionierung von Schnittstellen

KompatibilitätSeparation of concerns

Referenzmodelle

Page 22: SRS im Daten - Maschinenraum

© Zühlke 201429. September 2014Im Daten-Maschinenraum | Dr. Christoph Bröcker

IoT-A Reference Architecture: Functional Model

Folie 22

Quelle: IoT-A Programme, EU Seventh Framework Programme, Juli 2012

Page 23: SRS im Daten - Maschinenraum

© Zühlke 201429. September 2014Im Daten-Maschinenraum | Dr. Christoph Bröcker

WSO2 IoT Reference Architecture

Quelle: WSO2 White Paper, A Reference Architecture for the IoT, Mai 2015Folie 23

Page 24: SRS im Daten - Maschinenraum

© Zühlke 201429. September 2014Im Daten-Maschinenraum | Dr. Christoph Bröcker Folie 24

Page 25: SRS im Daten - Maschinenraum

© Zühlke 2014

Nutzungsmuster 4:Neue Einsichten aus vorhandenen Daten

29. September 2014Im Daten-Maschinenraum | Dr. Christoph Bröcker Folie 25

Page 26: SRS im Daten - Maschinenraum

© Zühlke 201429. September 2014Im Daten-Maschinenraum | Dr. Christoph Bröcker Folie 26

FlottenmanagementFunkmodule in Baumaschinen verbessern Diagnose und liefernneue Erkenntnisse für dieProduktentwicklung.

Page 27: SRS im Daten - Maschinenraum

© Zühlke 2014

Daten allein sind wertlos. Nutzen entsteht durch Einsichten, die aus den Daten gewonnen werden.

29. September 2014Im Daten-Maschinenraum | Dr. Christoph Bröcker Folie 27

Lambda-Architektur

Machine Learning/ Data Mining

Complex Event ProcessingNatural Language

Analysis

Page 28: SRS im Daten - Maschinenraum

© Zühlke 201429. September 2014Im Daten-Maschinenraum | Dr. Christoph Bröcker Folie 28

Lambda-Architektur

Page 29: SRS im Daten - Maschinenraum

© Zühlke 201429. September 2014Im Daten-Maschinenraum | Dr. Christoph Bröcker

Der Appetit kommt beim Essen.

Folie 29

Event Sourcing

Rohdaten archivieren

Dashboards

Up-front vs. YAGNI

Page 30: SRS im Daten - Maschinenraum

© Zühlke 2014

Zusammenfassung:Der leistungsfähige Daten-Maschinenraum

29. September 2014Im Daten-Maschinenraum | Dr. Christoph Bröcker Folie 30

Kapazität Verfügbarkeit

Sicherheit

Geschwindigkeit

Integration Wartbarkeit

Auswertbarkeit

Erweiterbarkeit

Page 31: SRS im Daten - Maschinenraum

© Zühlke 201429. September 2014Im Daten-Maschinenraum | Dr. Christoph Bröcker Folie 3122. Oktober 2013Large Development Projects | Ernst Ellmer

Dr. Christoph Bröcker

Folie 31

Feedback und Fragen

xing.to/cab

blog.zuehlke.com

[email protected]