© 2013 magellan netzwerke GmbH
| Globaler Überblick
Referent / Redner Benjamin Tiggemann
Folien Chart 2
© 2013 | magellan netzwerke GmbH
Überblick
Agenda
1. Die Herausforderung2. Was ist Splunk?3. Die Architektur von Splunk4. Neuerungen in Splunk Enterprise Version 55. Auszug aus unseren Case Studies
Folien Chart 3
© 2013 | magellan netzwerke GmbH
Überblick
Die Herausforderung
Folien Chart 4
© 2013 | magellan netzwerke GmbH
Überblick
Anforderungen an die Maschinendatenanalyse in der Zukunft:BIG DATA
Splunk storage Hadoop or other storage
Data collection
and indexing
• Zunehmende maschinelle Erzeugung von Daten
• Laut Berechnungen verdoppelt sich das weltweite Datenvolumenalle 2 Jahre
• BIG DATA als treibender Faktor für IT-Investitionen
• Auswertung und Korrelation von BIG DATA als Chance zurGewinnoptimierung
Folien Chart 5
© 2013 | magellan netzwerke GmbH
Überblick
einheitliche Anforderungen – untersch.Lösungen
Applikation
Management
Datenbank
Management
System
Management
Network
Management
Analytics
Applikationen Datenbanken Server Anwender Web / Cloud
Folien Chart 6
© 2013 | magellan netzwerke GmbH
Überblick
Eine Lösung, die Ihre Daten korreliert!
Applikation
Management
Datenbank
Management
System
Management
Network
Management
Analytics
Applikationen Datenbanken Server Network/
Devices
Anwender Web / Cloud
Folien Chart 7
© 2013 | magellan netzwerke GmbH
Überblick
Was ist Splunk?
Folien Chart 8
© 2013 | magellan netzwerke GmbH
Überblick
Sammeln, Verarbeiten und Nutzen Ihrer Maschinen erzeugten Daten zur Identifizierung von Problemen, Risiken und Chancen um bessere Entscheidungen für IT und Business
zu treffen.
Splunk’s Mission
Folien Chart 9
© 2013 | magellan netzwerke GmbH
Überblick
Unternehmensdaten Splunk (NASDAQ: SPLK)
Gründung 2004
Firmensitz San Francisco, CA
Mitarbeiter 600 in 12 Ländern
Niederlassungen
Nordamerika, EMEA (London), APAC (Honkong)
Kunden 4.400++
Anwender 1.000.000 in 75 Ländern
Umsatz $120 Mio. (2012)
Folien Chart 10
© 2013 | magellan netzwerke GmbH
Überblick
Was ist Splunk nun genau?
• Splunk ist eine plattformunabhängige Software
• Splunk ist eine Suchmaschine für ASCII basierte Daten
• Splunk wertet ihre Daten automatisch aus und stellt sie grafisch dar
Folien Chart 11
© 2013 | magellan netzwerke GmbH
Überblick
Die Architektur von Splunk
Folien Chart 12
© 2013 | magellan netzwerke GmbH
Überblick
Collection
Indexing
Search
Core Functions
Access
Controls
Stats/
AnalyticsAlerts DashboardsReports
Apps and Solutions
Application
Monitoring
SDKUser Interface APIs
IT
OperationsSecurity Compliance
Business
Analytics
Web
Intelligence
Architektur und Vorteile von Splunk
• Echtzeit Indizierung der Daten• Echtzeit Dashboarding• Echtzeitalarmierung (Email, Script, etc.)• Multiline Support• Mandanten Fähigkeit (LDAP, AD)• Mechanismus zum Auswerten von
Langzeitdaten (Compliance)• Keine Datenbank
Folien Chart 13
© 2013 | magellan netzwerke GmbH
Überblick
Datenbankbasierte Lösungen
Folien Chart 14
© 2013 | magellan netzwerke GmbH
Überblick
Splunk Lösung: Flat File, Kein Schema
Folien Chart 15
© 2013 | magellan netzwerke GmbH
Überblick
Wie werden die Daten verarbeitet?
…ermöglicht akkurate Suchen
und Trends über sämtliche
Daten
Automatisierte Ereignisabgrenzung
Automatisierte Erkennung der
Zeitstempel
Folien Chart 16
© 2013 | magellan netzwerke GmbH
Überblick
...ermöglicht Bollean Suchen auf jedem Ausdruck im Originalereignis
Segmentierung & und genaue Indexierung
jedes Ausdrucks
Wie werden die Daten verarbeitet?
Folien Chart 17
© 2013 | magellan netzwerke GmbH
Überblick
Wie werden die Daten verarbeitet?
Folien Chart 18
© 2013 | magellan netzwerke GmbH
Überblick
Wie gelangen die Daten in Splunk?
Agent and Agent-less Approach for Flexibility.
18
perfperf
shellshell
codecode
Mounted File Systems\\hostname\mount
syslogTCP/UDP
WMIEvent Logs Performance
Active
Directory
y
syslog compatible hosts
and network devices
Unix, Linux and Windows hosts
Windows hosts Custom apps and scripted API connections
Local File Monitoringlog filesconfig files
dumps and trace files
Windows InputsEvent Logs
performance counters
registry monitoring
Active Directory monitoring
virtual
host
Windows hosts
Scripted Inputsshell scripts custom
parsers batch loading
Agent-less Data Input Splunk Forwarder
Folien Chart 19
© 2013 | magellan netzwerke GmbH
Überblick
Indexing/Search
Server
Splunk Forwarders
Universal Forwarder sendet Daten
von entfernten Systemen zum Splunk-
Indexer
Verbraucht minimale Systemressourcen
(1%-2%)
Bietet Caching, Verschlüsselung und
Loadbalancing der Daten an
Folien Chart 20
© 2013 | magellan netzwerke GmbH
Überblick
Eine Splunk Installation kann eine oderalle Funktionen
abbilden…
Indexing and Search Services (Indexer)
Local Management (Deployment Server)
Data Collection and Forwarding (Forwarder)
Bestandteile der Software
Search and Reporting (Search Head)
Folien Chart 21
© 2013 | magellan netzwerke GmbH
Überblick
Lastverteilte Suchen und Indexierung für gewaltige Skalierungen
Forwarder
mit Auto Load
Balancing
Search Head
Horizontale Skalierbarkeit
Indexers
Folien Chart 22
© 2013 | magellan netzwerke GmbH
Überblick
Klonen der
Daten
Weiterleitung an Data Repository
Aktiv Standby
Datenredundanz
Aufteilung der Suchen auf mehrere
Search Heads ebenfalls möglich
Folien Chart 23
© 2013 | magellan netzwerke GmbH
Überblick
High Availability
Folien Chart 24
© 2013 | magellan netzwerke GmbH
Überblick
Lizenzierung
• Lizensiert wird das tägliche Logvolumen das Splunk indizieren muss
• Staffelung von mindestens 500 MB bis zu X Terabyte pro Tag
• Größter Kunde indiziert aktuell >100 Terabyte pro Tag
• Lizenzverletzung führt NICHT zum Abschalten des Systems
• Suchfunktion wird eingeschränkt
Folien Chart 25
© 2013 | magellan netzwerke GmbH
Überblick
Freie Enterprise Test-Version Indexed 500MB/Tag
• Testlizenz läuft nach 60 Tagen ab
• Trial Lizenzen über 500MB/Tag können über Partner
angefordert werden
• Wird zur freien Lizenz
Folgende Features sind in der freien Lizenz nicht enthalten
• User-Rollen und Authentisierung mehrer User
• Auslagern der Suchfunktion auf dediziertes System
(distributed search)
• Weiterleiten von Daten zu 3rd Party Systemen
• Konfigurationsverwaltung (deployment server)
• Zeitgesteuerte Suchen und generelle Alarmierungen
Weitere Lizenzen
• Enterprise, Forwarder, Trial, kostenpflichtige APPS (über 350
kostenlose Apps in Lizenz enthalten)
Lizenzierung
Folien Chart 26
© 2013 | magellan netzwerke GmbH
Überblick
Problem Investigation
Zentralisiertes Lizenz-Management
Folien Chart 27
© 2013 | magellan netzwerke GmbH
Überblick
“How to get started”
Damit Splunk auch Spaß macht:.
• Log-Events sind zeitabhängig -> dies setzt eine einheitliche
NTP / Zeit-Infrastruktur voraus
• Planen Sie ausführlich• Welches Datenaufkommen habe ich am Tag?
• Wie lange möchte ich die Daten vorhalten? 1 Tag? 1 Jahr?
• Wie viele User arbeiten gleichzeitig mit Splunk?
Folien Chart 28
© 2013 | magellan netzwerke GmbH
Überblick
Referenz Server
• Dual quad-core/6-core machines at ~2.5 GHz• 16 GB RAM• For indexers: 4x10K local SAS drives inRAID 10 (800+ IOPs) <- most important
• Variations in type of server and level of usage govern number ofmachines needed
Wäre ausgelegt für:100 GB Indexing pro Tag (Indexer)oder10 bis 12 gleichzeitigen Suchen (Search head)
Folien Chart 29
© 2013 | magellan netzwerke GmbH
Überblick
Wie viel Speicherplatz wird benötigt?
Das hängt ab von:
•Wie lange möchte ich meine Daten vorhalten?•Wie groß ist mein tägliches Datenvolumen?•Splunk komprimiert die eingehenden Daten ca. um 50%
Beispiel:Ein Kunde möchte seine Firewalldaten (4 GB/Tag) ein Jahr lang vorhalten
Benötigter Storage* = 4GB * 0,5 * 365d = 730 GB
*ohne Summary-Indexing
Folien Chart 30
© 2013 | magellan netzwerke GmbH
Überblick
“Add Knowledge” Unterstützung Dank App-Technologie
Apps…• Helfen dabei die Daten zu “normalisieren” (Bildung von Key
Value Pairs)
• Stellen vordefinierte Suchen, Dashboards, Reports, etc. bereit
• Bilden Schnittstellen zu anderen Lösungen wie z.B. Hadoop
• Sind frei und zum größten Teil kostenlos* verfügbar unter
http://splunk-base.splunk.com/apps
*Aktuell wird ein Konzept zur Monetarisierung der Apps entwickelt
Folien Chart 31
© 2013 | magellan netzwerke GmbH
Überblick
EigeneApps von Splunk
Splunk for Enterprise Security wurde als beste SIEM App ausgezeichnet.
splunkbase.com
QUICK WIN
Folien Chart 32
© 2013 | magellan netzwerke GmbH
Überblick
Über 320 Apps unterhttp://splunk-base.splunk.com
Folien Chart 33
© 2013 | magellan netzwerke GmbH
Überblick
Folien Chart 34
© 2013 | magellan netzwerke GmbH
Überblick
Neuerungen in Splunk Enterprise Version 5
Folien Chart 35
© 2013 | magellan netzwerke GmbH
Überblick
Splunk 5
EnginePlatform1 2 3
Tool
4 4.1 4.2 4.35
“Google for the
datacenter”
“Engine for machine-
generated data”
“Platform for operational
intelligence”
Folien Chart 36
© 2013 | magellan netzwerke GmbH
Überblick
Zielsetzungen für Splunk Enterprise 5
Verbesserung und Beschleunigung der Dashboards und des Reportings
Hochverfügbarkeit mit Standard-Hardware
Anwender Plattform, API, SDK, Big Data Integration
Folien Chart 37
© 2013 | magellan netzwerke GmbH
Überblick
Verbesserung des Reportings und des Dashboardings
• Unterstützung mobiler Devices (Ablösung von Flash)• Erweiterung der Drilldown-Funktion aus einzelnen Charts per „Field-
Basis“• Integration eines PDF-Generators zum automatischen Generieren
und Versenden von Reports • Suchen können Beschleunigt werden (neuer Summarization
Algorithmus)
Folien Chart 38
© 2013 | magellan netzwerke GmbH
Überblick
Hochverfügbarkeit mit Standard-Hardware
Splunk Universal
Forwarder Pool
Constant Uptime
Indizierte Daten werden auf mehrere Indexer repliziert
Ein Ausfall eines oder mehrerIndexer kann damit abgefangenwerden
Daten können aus mehrerenIndexern ausgelesen werden
Durch Parallelisierung erhöht sichdie Performance
Datenintegrität ohne SAN möglich
Index Replication
Folien Chart 39
© 2013 | magellan netzwerke GmbH
Überblick
Modularität, Kompalibilität, Erweiterbarkeit
• Vereinfachung der Generierung neuer Inputs durch Installation der Inputs als Apps
• Bereitstellung neuer modularer Inputs z.B. für Twitter, Amazon S2, FTP
• Anbindung neuer Inputs durch REST API
Folien Chart 40
© 2013 | magellan netzwerke GmbH
Überblick
Anbindung von 3rd Party Big Data Lösungen
>>
>>
Real-time Collection and
Analysis
Dashboards, Reports,
Access Controls
>>
• Reliable Data Export
• Index Hadoop Data
Splunk App for HadoopOps
• Troubleshoot, monitor and analyze
end-to-end Hadoop environment
Folien Chart 41
© 2013 | magellan netzwerke GmbH
Überblick
Entwicklungsschnittstellen
Erweiterung der SDKs
Available SDKs
Python Beta
Java Beta
JavaScript Beta
PHP Public Preview
Shipping with Splunk Enterprise 5
JavaScript SDK
Versioned API
JSON Everywhere
41
Folien Chart 42
© 2013 | magellan netzwerke GmbH
Überblick
Auszug aus unseren Case Studies
Folien Chart 43
© 2013 | magellan netzwerke GmbH
Überblick
case studies by magellan – Splunk im VoIP Umfeld
VersicherungsbrancheUmgebung: Heterogene VoIP Infrastruktur auf Asteriskbasis>2000 Endgeräte, diverse Hersteller für Gatekeeper, Mediagateways etc.
Anforderung:• Call-Nachverfolgung über die gesamte Topologie• Vereinheitlichen der Rufnummern• Darstellung des Calls nach Suche durch From oder To-Rufnummern• Erkennung von Fehlverhalten wie z.B. Verbindungsabbrüchen
Folien Chart 44
© 2013 | magellan netzwerke GmbH
Überblick
case studies by magellan – Splunk im Datacenter Mailhosting
IT-Dienstleister (magellan)Umgebung: Redundante Data-Center-Infrastruktur für HostingservicesMailhosting-Infrastruktur mit Fortinet Mail-Security, Zertifikon und MS Exchange, Handling von über 4 Mio. Mails pro Tag
Anforderung:• Nachverfolgung des Mailflows via From, To, Betreff etc. • Security-Analyse des Spam- und AV-Aufkommens• Kapazitätsplanung• Kundenabrechnung
Folien Chart 45
© 2013 | magellan netzwerke GmbH
Überblick
Internationales HandelsunternehmenUmgebung: Mehrere Datacenter mit virt. & phys. Servern, Diverse Betriebssysteme und Citrix Xenapp
Anforderung:• Inventarisierung aller aktiven Server „online“ und in Historie • Überwachung der Citrix-Umgebung, z.B. Anzahl Server, Anzahl
Sessions, Errors etc.• Inventarisierung des AD, z.B. Anzahl Benutzer, Objekte und deren
Status• VMWare und Logging, Monitoring
case studies by magellan – Splunk im Datacenter
Folien Chart 46
© 2013 | magellan netzwerke GmbH
Überblick
case studies by magellan – Splunk im Firewall-Umfeld
Führendes MedienunternehmenUmgebung: Weltweites Netzwerk zum Austausch von Nachrichten, Videos, etc.Stellt Kunden Daten bereit, Absicherung des Netzwerks mittels FortinetFirewalls
Anforderung:• Überwachung des Informationsflusses • Überwachung und Abrechnung der Bandbreitennutzung innerhalb des
Netzwerks• Erkennung von Sicherheitsvorfällen wie Botnetz-Kommunikation
Tätigkeiten:Erstellen von Dashboards zur Berechnung des Datenflusses, Korrelation der Firewall-Logs mit externen Botnetz-Datenbanken
Folien Chart 47
© 2013 | magellan netzwerke GmbH
Überblick
FIN