Webinar 5:Daten speichern in der Cloud –
die AWS Storage-Dienste
Steffen KrauseTechnical Evangelist
@AWS_Aktuellhttp://www.facebook.com/awsaktuell
Teilen Sie uns mit:Was gut ist, was nicht
Was Sie bei unseren Veranstaltungen
sehen wollen
Was Sie sich von AWS wünschen
Ihr Feedback ist wichtig
1. Was ist Amazon Web Services und wofür kann ich AWS nutzen2. Erste Schritte mit Amazon Web Services – von der Anmeldung bis zur
ersten Instanz3. Amazon Web Services 1*1 – welche Dienste gibt es wofür?4. Server in der Cloud – die AWS Compute-Dienste
Aufzeichnungen: http://aws.amazon.com/de/recorded-webinar/ 5. Daten speichern in der Cloud – die AWS Storage-Dienste
17. April 2013, 16 Uhr6. Datenbanken in der Cloud – SQL und NoSQL
7. Mai 2013, 16 UhrAnmeldung unter http://aws.amazon.com/de/about-aws/events/
Die Webinar-Serie
Themen
• Object Storage– S3– CloudFront– Glacier
• Block Storage– EBS
• Verbindung von AWS Storage mit Storage im eigenen Datacenter
AWS Storage Optionen
Object Storage Block Storage
Verbindung von AWS Storage mit Storage im eigenen Datacenter
#1Object Storage
●○○
Amazon S3Simple Storage Service
Sie legen es in S3AWS speichert es mit 99.999999999% Dauerhaftigkeit
Hoch skalierbarer Webzugriff auf Objekte
Mehrere redundante Kopien in einer Region
Sie legen es in S3AWS speichert es mit 99.999999999% Dauerhaftigkeit
Aber es ist mehr als nur ein Simple Storage Service
1 2 3 4 5 6 70
200
400
600
800
1000
1200
1400
1.3 Billionen*
Regelmäßiger Spitzenwert: 835000 Transaktionen pro Sekunde
Milliarden* Objekte
* - Deutsche Skala: Milliarde=109, Billion=1012
Objekte in S3
Kosten ab 5,5 Cent pro Gigabyte
Zugriff über Web-APIs
Zugriff auf S3 via REST oder SDKs für:- Java- .NET- PHP- Ruby- Python- iOS- Android
Was ist S3?
Hoch skalierbare Datenspeicherung
Zugriff über APIsEin Web Store, kein Dateisystem
Schnell
Hochverfügbar und dauerhaft
Kostengünstig
Ein regionaler DienstIhre Daten verlassen nie die RegionEs sei denn, Sie bewegen die Daten
Reduced Redundancy Storage
Reduziert die Kosten durch Datenspeicherung mit geringerer
Redundanz als der Standard Storage
Bietet 99,99% Dauerhaftigkeit und 99,99% Verfügbarkeit der Objekte
innerhalb eines Jahres
Standard
Bietet 99,999999999% Dauerhaftigkeit und 99,99% Verfügbarkeit der Objekte
innerhalb eines Jahres
Entworfen, um den gleichzeitigen Verlust der Daten
in zwei Einrichtungen zu überdauern
Amazon S3 Speicherklassen
Glacier
Geeignet für Datenarchivierung, wo Daten selten zugegriffen werden und
eine Zugriffszeit von mehreren Stunden akzeptabel ist
Verwendet den sehr kostengünstigen Amazon Glacier
Storage-Dienst, wird aber von Amazon S3 verwaltet
Reduced Redundancy Storage
Reduziert die Kosten durch Datenspeicherung mit geringerer
Redundanz als der Standard Storage
Bietet 99,99% Dauerhaftigkeit und 99,99% Verfügbarkeit der Objekte
innerhalb eines Jahres
Standard
Bietet 99,999999999% Dauerhaftigkeit und 99,99% Verfügbarkeit der Objekte
innerhalb eines Jahres
Entworfen, um den gleichzeitigen Verlust der Daten
in zwei Einrichtungen zu überdauern
Amazon S3 Speicherklassen
GlacierSuitable for archiving data,
where data access is infrequent and a retrieval time of several
hours is acceptable
Uses the very low-cost Amazon Glacier storage service, but
managed through Amazon S3
Objekte, die Sie lange Zeit archivieren wollen
z.B. Digitales Archiv von alten Filmen und Sendungen
StandardDesigned to provide
99.999999999% durability and 99.99% availability of objects over a given year
Designed to sustain the concurrent loss of data in
two facilities
Objekte, die hohe Dauerhaftigkeit haben sollen
z.B. Master-Kopie eines Films
Reduced Redundancy StorageReduces costs by storing data at lower levels of redundancy
than the Standard storage
Designed to provide 99.99% durability and 99.99%
availability of objects over a given year
Objekte, bei denen Sie sich den Verlust leisten können oder die wieder erstellt werden können
z.B. verschiedene Formate des Filmes
Amazon S3 Speicherklassen
Server Side Encryption
Automatische Verschlüsselung von ruhenden Daten
DauerhafteS3 Schlüssel-Speicherung
Einfach zusätzlicher PUT
Header
StarkesAES-256
Voll verwaltetKein eigenes Schlüsselmanagement notwendig
SichererGleichzeitiger 3-
Wege-Zugriff
Alternativ: Clientseitige Verschlüsselung über das AWS Java SDK oder beliebige andere Bibliotheken
Secure by Default
Sie entscheiden, was freigegeben wirdPolicies für Buckets und Objekte
Policies, ACLs & IAMVerwenden Sie S3 Policies, ACLs oder
IAM um Regeln zu defnieren
Bucket Policies ACLskontraIAM kontra
Detailliert
Administrierung als Teil des rollenbasierten Zugriffs
Anwenden von Policies auf S3 auf Rollen-, Benutzer- und
Gruppenebene
Detailliert
Anwenden von Policies auf Bucket-Ebene in S3
Benutzereinschränkungen ohne die Verwendung von IAM
Grob
Zugriffskontroll-Regeln auf Bucket und/oder Objektebene
in S3
Allow
ActionsPutObject
Resourcearn:aws:s3:::mybucket/*
Bob Jane
AllowBob, Jane
ActionsPutObject
Resourcearn:aws:s3:::mybucket/*
mybucket
AllowEveryone, Bob, Jane
ActionsRead
mybucket myobject
Statische Websites
1. Hohe Dauerhaftigkeit2. Unbegrenzte Kapazität3. Niedrige Latenz4. Große statische Websites5. Auslieferung über CloudFront
S3 gibt Ihnen Sie können erstellenMobile AppsMusik-AppsVideo NetzwerkeVideo AppsBackup AppsFoto-AppsStatische WebsitesWerbenetzwerkeVieles anderes!
S3
Über 20000 neue Musiktitel pro Tag
“Spotify needed a storage solution that could scale very quickly without incurring
long lead times for upgrades. This led us to cloud storage, and in that market, Amazon Simple Storage Service (Amazon S3) is the
most mature large-scale product.
Amazon S3 gives us confidence in our ability to expand storage quickly while also
providing high data durability.”
Emil Fredriksson, Operations DirectorCase Study
Compute Storage
AWS Global Infrastructure
Database
App Services
Deployment & Administration
Networking
S3 - zuverlässige Speicherung 99.999999999% Dauerhaftigkeit der Objekte
Unbegrenzte Speicherung von Objekten jeder Größe
Bis zu 5TB Größe pro Objekt
Feature Details
Flexible Objekt-Speicherung
Buckets funktionieren wie Laufwerke, mit Ordnerstrukturen darin
Zugriffskontrolle Granulare Kontrolle für Berechtigungen
Verschlüsselung 256 Bit AES Verschlüsselung auf dem Server
Multi-part Uploads Verbessert Durchsatz und Kontrolle
Versionierung Alte Objekte archivieren, neue versionieren
Object Expiry Automatische Entfernung alter Objekte
Zugriffs-Logging Komplettes Audit Log für Bucket und Objekte
Web Content Hosting
Inhalte können als statische Website bereitgestellt werden
Notifications Benachrichtigungen über wichtige Ereignisse
Import/Export Import und Export von physischen Medien
Storage
Integration mit CloudFront
CloudFrontWeltweites Content Distribution Network
Einfache Verteilung von Inhalten an
Benutzer mit niedriger Latenz und hoher
Geschwindigkeit. Ohne Vertragsbindung
Feature Details
Schnell Viele, weltweit verteilte Edge Locations senden stellen Inhalte so nah wie möglich den Benutzern bereit
Integriert mit anderen Diensten
Nahtlos mit S3 und EC2 Quellservern integriert
Dynamische Inhalte Unterstützt statische und dynamische Inhalte von den Quellservern
Streaming Unterstützt rtmp aus S3 und Live Streaming von Adobe FMS und Microsoft Media Server
London
Paris
NY
Bedient von S3/images/*
3
Bedient von EC2*.php
2
Ein CNAMEwww.mysite.com
1
Storage
Compute Storage
AWS Global Infrastructure
Database
App Services
Deployment & Administration
Networking
Amazon CloudFront for delivery of static files and video streaming (for over 70 million
requests per month)
“By the end of this year, we will have served over 1 billion static objects over Amazon
CloudFront. It is hard to argue in cost savings because most of our business would have
been impossible without the usage of cloud computing.”
Nikolai Longolius, CEO schnee von morgen WebTV GmbH
CloudFront
London
Paris
NY
Bedient von S3/images/*
3
Bedient von EC2*.php
2
Ein CNAMEwww.mysite.com
1
Fallst
udie
Compute Storage
AWS Global Infrastructure
Database
App Services
Deployment & Administration
Networking
Amazon Glacier
Kostengünstiger Archivdienst
1 CentPro GB / Monat
120$Pro TB / Jahr
99,999999999%Dauerhaftigkeit
3−5 StundenDatenabruf
Storage Kostenkontra
Abruf-Kosten
1. Hohe Dauerhaftigkeit2. Niedrige Kosten3. 3–5 Stunden Latenz
Glacier gibt Ihnen Geeignet für• Datei-Archivierung• Hierarchal Storage
Management in der Cloud
Automatische Verschiebung von Amazon S3 Dateien nach Glacier über Lifecycle Policies
Oder direkte Speicherung in Glacier…
2. Erstellung Ihres eigenen Clients 1. Mit Third-Party Software
Compute Storage
AWS Global Infrastructure
Database
App Services
Deployment & Administration
Networking
Every day our genome sequencers produce terabytes of data. As our company moves into the clinical space, we face a legal requirement to archive patient data for years that would drastically raise the cost of storage. Thanks to Amazon Glacier’s secure and scalable solution, we will be able to provide cost-effective, long-term storage and thereby eliminate a barrier to providing whole genome sequencing for medical treatment of cancer and other genetic diseases.
Keith Raffel, Senior Vice President and Chief Commercial Officer, Complete Genomics
Storage
Fallst
udie
Compute Storage
AWS Global Infrastructure
Database
App Services
Deployment & Administration
Networking
GlacierKostengünstiger Speicherdienst
Sichere und dauerhafte Speicherung für
Datensicherung und Archiv
Für selten zugegriffene Daten
Feature Details
Kostengünstig $0.01/GB/Monat ohne vorherige Investitionen
Dauerhaft Dieselben 99.999999999% Dauerhaftigkeit wie S3
Flexibel Beliebige Datenmengen nach Bedarf Keine Kapazitätsplanung erforderlich
Sicher Nutzt die robuste AWS Sicherheitsplattform Kontrolle des Zugriffs auf Ihre Daten.
API REST API zum senden und empfangen
Import/Export Optionale Nutzung von portablen Speichergeräten für Import und Export
Vault Inventory Index für Echtzeit-Sicht auf Inhalt der Vault
Storage
#2Block Storage
●●○
Amazon EBSElastic Block Storage
Elastic Block StoreInstance Storage kontra
Lokale „auf dem Host“ Disk Volumes
Daten-Persistenz abhängig von Instanz-Zustand
Über Netzwerk angebundene, optimierte Block Storage
Daten-Persistenz unabhängig von Instanz-Zustand
Storage
Instance StorageAuch „Ephemeral Storage“
Lokale „auf dem Host“ Disk Volumes
Daten-Persistenz abhängig von Instanz-Zustand
Wenn eine Instanz rebootet (absichtlich oder unabsichtlich), bleiben Instance Store Daten erhalten
Daten auf Instance Store gehen verloren unter den folgenden Umständen:• Fehler auf einer zugrunde liegenden Disk• Stoppen einer Amazon EBS-backed Instanz• Instance Store Instanzen können nicht
gestoppt werden• Terminieren der Instanz
Instance Storage
Instance StorageAuch „Ephemeral Storage“
Lokale „auf dem Host“ Disk Volumes
Daten-Persistenz abhängig von Instanz-Zustand
• Alle Instanztypen (außer m3 und micro) haben Instance Storage
• Muss beim Anlegen der Instanz hinzugefügt werden
• Größe und maximale Anzahl abhängig von Instanztyp
• High I/O Instanzen haben 2 SSD Volumes• High Storage Instanzen haben 24 HDDs (je 2
TB)
Instance Storage
Elastic Block StoreÜber Netzwerk angebundene,
optimierte Block Storage
Daten-Persistenz unabhängig von Instanz-Zustand
EBSEC2
Workspace
Hypervisor
S3
EBS Snapshot
Netzwerk
Null bis mehrere temporäre Platten(Instanz Storage)
Eine oder mehrere EBS (persistente)
Platten
EBS Snapshots (Backup Images)
Elastic Block Store (EBS)
Amazon EBS Anwendungsfälle
• Dateisysteme für Instanzen: NTFS, ExtFS, RAID, LVM• Dauerhafte persistente Storage• Daten können häufig geändert werden• Zugriff auf unformatierte Block Storage
• 1 GB bis 1 TB Größe• Automatisch innerhalb einer Availability Zone repliziert– Daher RAID für Verfügbarkeit normalerweise unnötig
• Standard-Durchsatz: ca. 100 IOPS• Provisioned IOPS: Bis zu 2000 IOPS• RAID 0 (Striping) durch Betriebssystem für mehr Größe
und/oder Performance• Kein automatisches Backup– Regelmäßig Snapshots erstellen
Elastic Block Store (EBS)
EBSSnapshots
EBS Snapshots nach S3
#3Verbindung von AWS Storage mit Storage im
eigenen Datacenter●●●
AWS Storage Gateway Oracle Recovery Manager
AWS Storage Gateway
1. Lokaler Zugriff mit niedriger Latenz auf die am häufigsten benutzten Dateien; alle Dateien sind in S3 gespeichert
oder
2. Zeitgesteuerte externe Sicherung Ihrer lokalen Daten nach Amazon S3
Verbindung von Ihrem Rechenzentrum zur Cloud
AWS Storage Gateway
Anwendungsfälle• Daten-Backup• Daten-Synchronisation• Datenexport für Migration• Abteilungs-Fileshare• Einfache Disaster Recovery
Oracle Backup nach Amazon S3
Das Oracle Secure Backup (OSB) Cloud Modul ermöglicht die Sicherung von Oracle Datenbanken direkt nach Amazon S3 mit Hilfe des Oracle Recovery Manager (RMAN)
AWS Storage Optionen
Object Storage Block Storage
Verbindung von AWS Storage mit Storage im eigenen Datacenter
Demo
Performance-orientiertKosten-orientiert
Sie haben die
Wahl
• http://aws.amazon.com/de • Beginnen Sie mit dem Free Tier:
http://aws.amazon.com/de/free/• 25 US$ Startguthaben für Neukunden:
http://aws.amazon.com/de/campaigns/account/• Twitter: @AWS_Aktuell• Facebook: http://www.facebook.com/awsaktuell • Webinare: http://aws.amazon.com/de/about-aws/events/• Slides: http://de.slideshare.net/AWSAktuell/ • Kommen Sie zum AWS Summit am 2. Mai in Berlin
https://aws.amazon.com/de/aws-summit-2013/berlin/
Ressourcen