![Page 1: Clustered Storage Ceph und Gluster im VergleichGluster ist für dateibasierte Anwendungen (NFS, SMB) Object Store können sie beide Hohe Flexibilität durch Skalierung in die Breite](https://reader033.vdokument.com/reader033/viewer/2022052012/60294bff4d34c5190779c793/html5/thumbnails/1.jpg)
Linux höchstpersönlich.
Storage Cluster Systeme[Chemnitzer Linuxtage 2014]Robert Sander <[email protected]>
Clustered Storage
Ceph und Gluster im Vergleich
![Page 2: Clustered Storage Ceph und Gluster im VergleichGluster ist für dateibasierte Anwendungen (NFS, SMB) Object Store können sie beide Hohe Flexibilität durch Skalierung in die Breite](https://reader033.vdokument.com/reader033/viewer/2022052012/60294bff4d34c5190779c793/html5/thumbnails/2.jpg)
Linux höchstpersönlich.
Storage Cluster Systeme[Chemnitzer Linuxtage 2014]Robert Sander <[email protected]>
Wer sind wir?
➞ wir bieten seit 20 Jahren Wissen und Erfahrung rund um Linux-Server und E-Mails
➞ IT-Consulting und 24/7 Linux-Support mit > 20 Mitarbeitern
➞ Eigener Betrieb eines ISPs seit 1992➞ jpberlin.de➞ mailbox.org
➞ Täglich tiefe Einblicke in die Herzen der IT aller Unternehmensgrößen
![Page 3: Clustered Storage Ceph und Gluster im VergleichGluster ist für dateibasierte Anwendungen (NFS, SMB) Object Store können sie beide Hohe Flexibilität durch Skalierung in die Breite](https://reader033.vdokument.com/reader033/viewer/2022052012/60294bff4d34c5190779c793/html5/thumbnails/3.jpg)
Linux höchstpersönlich.
Storage Cluster Systeme[Chemnitzer Linuxtage 2014]Robert Sander <[email protected]>
Software defined Storage
![Page 4: Clustered Storage Ceph und Gluster im VergleichGluster ist für dateibasierte Anwendungen (NFS, SMB) Object Store können sie beide Hohe Flexibilität durch Skalierung in die Breite](https://reader033.vdokument.com/reader033/viewer/2022052012/60294bff4d34c5190779c793/html5/thumbnails/4.jpg)
Linux höchstpersönlich.
Storage Cluster Systeme[Chemnitzer Linuxtage 2014]Robert Sander <[email protected]>
Abstraktion von Hardware
➞ Hardware ist „egal“
➞ Fing eigentlich schon mit LVM an
➞ Beschränkt sich nicht nur auf eine Maschine
➞ Redundanz nicht über RAID-Controller
➞ Jede Hardware kann ausfallen➞ Software natürlich auch
![Page 5: Clustered Storage Ceph und Gluster im VergleichGluster ist für dateibasierte Anwendungen (NFS, SMB) Object Store können sie beide Hohe Flexibilität durch Skalierung in die Breite](https://reader033.vdokument.com/reader033/viewer/2022052012/60294bff4d34c5190779c793/html5/thumbnails/5.jpg)
Linux höchstpersönlich.
Storage Cluster Systeme[Chemnitzer Linuxtage 2014]Robert Sander <[email protected]>
Skalierbarkeit
➞ Beliebig in die Breite skalieren
➞ Keine „teure“ vertikale Skalierung notwendig
➞ günstigere Commodity Hardware einsetzbar
➞ Trotzdem: Blick auf Performance wichtig
![Page 6: Clustered Storage Ceph und Gluster im VergleichGluster ist für dateibasierte Anwendungen (NFS, SMB) Object Store können sie beide Hohe Flexibilität durch Skalierung in die Breite](https://reader033.vdokument.com/reader033/viewer/2022052012/60294bff4d34c5190779c793/html5/thumbnails/6.jpg)
Linux höchstpersönlich.
Storage Cluster Systeme[Chemnitzer Linuxtage 2014]Robert Sander <[email protected]>
Ceph
![Page 7: Clustered Storage Ceph und Gluster im VergleichGluster ist für dateibasierte Anwendungen (NFS, SMB) Object Store können sie beide Hohe Flexibilität durch Skalierung in die Breite](https://reader033.vdokument.com/reader033/viewer/2022052012/60294bff4d34c5190779c793/html5/thumbnails/7.jpg)
Linux höchstpersönlich.
Storage Cluster Systeme[Chemnitzer Linuxtage 2014]Robert Sander <[email protected]>
CephObject Store
➞ RADOS: Reliable Autonomic Distributed Object Store➞ 2007 Doktorarbeit von Sage Weil
➞ Ein Object hat einen Namen in einem flachen Namensraum➞ Metadaten / Attribute➞ Daten / Payload
➞ Placement Groups
➞ Object Storage Devices
➞ Verteilung durch Algorithmus➞ keine Zentrale, keine verteilte Tabelle o.ä.➞ CRUSH: Controlled Replication Under Scalable Hashing
![Page 8: Clustered Storage Ceph und Gluster im VergleichGluster ist für dateibasierte Anwendungen (NFS, SMB) Object Store können sie beide Hohe Flexibilität durch Skalierung in die Breite](https://reader033.vdokument.com/reader033/viewer/2022052012/60294bff4d34c5190779c793/html5/thumbnails/8.jpg)
Linux höchstpersönlich.
Storage Cluster Systeme[Chemnitzer Linuxtage 2014]Robert Sander <[email protected]>
CephAusfallzonen
➞ Alles kann ausfallen➞ Festplatten➞ Controller➞ CPUs➞ NICs➞ Software➞ Switches➞ Strom
➞ CRUSH Map➞ Wo möchte ich meine Redundanz platzieren?
![Page 9: Clustered Storage Ceph und Gluster im VergleichGluster ist für dateibasierte Anwendungen (NFS, SMB) Object Store können sie beide Hohe Flexibilität durch Skalierung in die Breite](https://reader033.vdokument.com/reader033/viewer/2022052012/60294bff4d34c5190779c793/html5/thumbnails/9.jpg)
![Page 10: Clustered Storage Ceph und Gluster im VergleichGluster ist für dateibasierte Anwendungen (NFS, SMB) Object Store können sie beide Hohe Flexibilität durch Skalierung in die Breite](https://reader033.vdokument.com/reader033/viewer/2022052012/60294bff4d34c5190779c793/html5/thumbnails/10.jpg)
Linux höchstpersönlich.
Storage Cluster Systeme[Chemnitzer Linuxtage 2014]Robert Sander <[email protected]>
CephClusterzustand
➞ Monitore➞ eigenen Prozesse➞ redundant➞ mit Quorum (also immer ungerade Anzahl)➞ günstig im Netzwerk verteilen
➞ CRUSH Map➞ Welches OSD auf welchem Knoten➞ Welches OSD aktiv➞ Pools➞ Redundanzen / Replikationen➞ Wo sind Ausfallzonen für Pools definiert➞ Datenplatzierung dann über CRUSH Algorithmus
![Page 11: Clustered Storage Ceph und Gluster im VergleichGluster ist für dateibasierte Anwendungen (NFS, SMB) Object Store können sie beide Hohe Flexibilität durch Skalierung in die Breite](https://reader033.vdokument.com/reader033/viewer/2022052012/60294bff4d34c5190779c793/html5/thumbnails/11.jpg)
Linux höchstpersönlich.
Storage Cluster Systeme[Chemnitzer Linuxtage 2014]Robert Sander <[email protected]>
CephRedundanz / Replikation
➞ Objekte werden in mehreren Kopien abgelegt
➞ Kopie wird vom „primary OSD“ angefertigt
➞ Erst nach Schreiben aller Kopien ACK an Client
➞ Lokalisierung durch CRUSH➞ Damit kennt der Client die Orte der Kopien➞ Fällt primary OSD aus, wird von Kopie gelesen➞ Gleichzeitig balanciert der Cluster die Daten neu
![Page 12: Clustered Storage Ceph und Gluster im VergleichGluster ist für dateibasierte Anwendungen (NFS, SMB) Object Store können sie beide Hohe Flexibilität durch Skalierung in die Breite](https://reader033.vdokument.com/reader033/viewer/2022052012/60294bff4d34c5190779c793/html5/thumbnails/12.jpg)
Linux höchstpersönlich.
Storage Cluster Systeme[Chemnitzer Linuxtage 2014]Robert Sander <[email protected]>
CephSkalierung
➞ Ausbalancierung der Placement Groups durch CRUSH
➞ Komplett Online
➞ Reduzierung auch Online➞ mit passender Replikation
➞ Wartung einzelner Knoten
![Page 13: Clustered Storage Ceph und Gluster im VergleichGluster ist für dateibasierte Anwendungen (NFS, SMB) Object Store können sie beide Hohe Flexibilität durch Skalierung in die Breite](https://reader033.vdokument.com/reader033/viewer/2022052012/60294bff4d34c5190779c793/html5/thumbnails/13.jpg)
Linux höchstpersönlich.
Storage Cluster Systeme[Chemnitzer Linuxtage 2014]Robert Sander <[email protected]>
CephPerformance
➞ Durch parallelen Zugriff auf OSDs Saturierung des Netzwerks
➞ Schreiben kostet➞ Inter-OSD Clusternetzwerk tunen➞ 10 GB/s empfohlen➞ 1 GB/s bonding möglich➞ Journaling auf SSD➞ Auf HDD-Controller achten
➞ http://ceph.com/docs/master/start/hardware-recommendations/
![Page 14: Clustered Storage Ceph und Gluster im VergleichGluster ist für dateibasierte Anwendungen (NFS, SMB) Object Store können sie beide Hohe Flexibilität durch Skalierung in die Breite](https://reader033.vdokument.com/reader033/viewer/2022052012/60294bff4d34c5190779c793/html5/thumbnails/14.jpg)
Linux höchstpersönlich.
Storage Cluster Systeme[Chemnitzer Linuxtage 2014]Robert Sander <[email protected]>
CephRoadmap
➞ Erasure Coding ➞ RAID5➞ Mehr Platz➞ Weniger Performance
➞ Für „kalte“ Daten
➞ Ceph Enterprise von Inktank
![Page 15: Clustered Storage Ceph und Gluster im VergleichGluster ist für dateibasierte Anwendungen (NFS, SMB) Object Store können sie beide Hohe Flexibilität durch Skalierung in die Breite](https://reader033.vdokument.com/reader033/viewer/2022052012/60294bff4d34c5190779c793/html5/thumbnails/15.jpg)
Linux höchstpersönlich.
Storage Cluster Systeme[Chemnitzer Linuxtage 2014]Robert Sander <[email protected]>
Gluster
![Page 16: Clustered Storage Ceph und Gluster im VergleichGluster ist für dateibasierte Anwendungen (NFS, SMB) Object Store können sie beide Hohe Flexibilität durch Skalierung in die Breite](https://reader033.vdokument.com/reader033/viewer/2022052012/60294bff4d34c5190779c793/html5/thumbnails/16.jpg)
Linux höchstpersönlich.
Storage Cluster Systeme[Chemnitzer Linuxtage 2014]Robert Sander <[email protected]>
GlusterVerteiltes Dateisystem
➞ Einfache Server➞ kein zentraler Metadatenserver
➞ Zustandslose Clients➞ aber mit konsistenter Konfiguration
➞ POSIX kompatibel („ähnlich“)
➞ erstes Release 2006
➞ seit 2012: RedHat Storage Server
![Page 17: Clustered Storage Ceph und Gluster im VergleichGluster ist für dateibasierte Anwendungen (NFS, SMB) Object Store können sie beide Hohe Flexibilität durch Skalierung in die Breite](https://reader033.vdokument.com/reader033/viewer/2022052012/60294bff4d34c5190779c793/html5/thumbnails/17.jpg)
Linux höchstpersönlich.
Storage Cluster Systeme[Chemnitzer Linuxtage 2014]Robert Sander <[email protected]>
GlusterArchitektur
➞ Brick➞ ein Filesystem-Mountpoint auf dem Knoten (Server)
➞ Volume➞ wird mit Translatoren aus Bricks zusammengesetzt
➞ Translator➞ kombiniert Bricks zu Subvolumes und Subvolumes zu Volumes➞ Am Ende entsteht ein Graph zwischen Brick und Volume
➞ Distribute (RAID0 auf Dateiebene)➞ Replicate (RAID1 auf Dateiebene)➞ Stripe (RAID0 auf Blockebene)
➞ empfohlen, wenn Dateigröße > Filesystemgröße der Bricks
![Page 18: Clustered Storage Ceph und Gluster im VergleichGluster ist für dateibasierte Anwendungen (NFS, SMB) Object Store können sie beide Hohe Flexibilität durch Skalierung in die Breite](https://reader033.vdokument.com/reader033/viewer/2022052012/60294bff4d34c5190779c793/html5/thumbnails/18.jpg)
Linux höchstpersönlich.
Storage Cluster Systeme[Chemnitzer Linuxtage 2014]Robert Sander <[email protected]>
GlusterAusfallzonen
➞ Beim Anlegen des Volumes abzubilden
➞ Keine einfache Rekonfiguration
➞ Kein dynamisches Rebalancing
![Page 19: Clustered Storage Ceph und Gluster im VergleichGluster ist für dateibasierte Anwendungen (NFS, SMB) Object Store können sie beide Hohe Flexibilität durch Skalierung in die Breite](https://reader033.vdokument.com/reader033/viewer/2022052012/60294bff4d34c5190779c793/html5/thumbnails/19.jpg)
Linux höchstpersönlich.
Storage Cluster Systeme[Chemnitzer Linuxtage 2014]Robert Sander <[email protected]>
GlusterZugriff auf Daten
➞ GlusterFS als FUSE-Dateisystem➞ libgfapi für eigene Applikationen
➞ NFS serverseitig eingebaut➞ als glusterfsd-Client im glusterd➞ mit Samba + ctdb auch SMB-Cluster
➞ REST API➞ S3 & SWIFT➞ Account Volume→➞ Container Verzeichis→➞ Objekt Datei→
![Page 20: Clustered Storage Ceph und Gluster im VergleichGluster ist für dateibasierte Anwendungen (NFS, SMB) Object Store können sie beide Hohe Flexibilität durch Skalierung in die Breite](https://reader033.vdokument.com/reader033/viewer/2022052012/60294bff4d34c5190779c793/html5/thumbnails/20.jpg)
Linux höchstpersönlich.
Storage Cluster Systeme[Chemnitzer Linuxtage 2014]Robert Sander <[email protected]>
GlusterRedundanz / Replikation
➞ Distribute: Elastic Hash Algorithmus➞ 32 Bit großer Davis-Mayers-Hashraum, aufgeteilt in N Bereiche (N Subvolumes)➞ Verzeichnisse auf den Bricks erhalten jeweils disjunkten Bereich zugewiesen➞ Hash auf Dateiname
➞ Bestimmt dann über den Bereich den Brick, auf dem die Datei abgelegt wird
➞ Replicate➞ Der Client schreibt auf alle beteilgten Subvolumes➞ Transaktionsbasiert, dadurch konsistent➞ Beliebige Anzahl Kopien möglich
➞ Kombination ergibt „RAID10“
![Page 21: Clustered Storage Ceph und Gluster im VergleichGluster ist für dateibasierte Anwendungen (NFS, SMB) Object Store können sie beide Hohe Flexibilität durch Skalierung in die Breite](https://reader033.vdokument.com/reader033/viewer/2022052012/60294bff4d34c5190779c793/html5/thumbnails/21.jpg)
Linux höchstpersönlich.
Storage Cluster Systeme[Chemnitzer Linuxtage 2014]Robert Sander <[email protected]>
GlusterSkalierung
➞ Dynamisch Bricks hinzufügen➞ Bei „Replicate“ immer Multiplikat der Kopienanzahl
➞ Ausbalancierung der Datenverteilung im Volume
➞ Ersatz eines Bricks
![Page 22: Clustered Storage Ceph und Gluster im VergleichGluster ist für dateibasierte Anwendungen (NFS, SMB) Object Store können sie beide Hohe Flexibilität durch Skalierung in die Breite](https://reader033.vdokument.com/reader033/viewer/2022052012/60294bff4d34c5190779c793/html5/thumbnails/22.jpg)
Linux höchstpersönlich.
Storage Cluster Systeme[Chemnitzer Linuxtage 2014]Robert Sander <[email protected]>
GlusterPerformance
➞ Native Clients sprechen mit jedem Brickserver (glusterfsd)➞ Clients für Kopien zuständig➞ dort performantes Netzwerk notwendig
➞ NFS / SMB Clients werden mit Round-Robin-DNS verteilt➞ sprechen dann nur mit einem Knoten
![Page 23: Clustered Storage Ceph und Gluster im VergleichGluster ist für dateibasierte Anwendungen (NFS, SMB) Object Store können sie beide Hohe Flexibilität durch Skalierung in die Breite](https://reader033.vdokument.com/reader033/viewer/2022052012/60294bff4d34c5190779c793/html5/thumbnails/23.jpg)
Linux höchstpersönlich.
Storage Cluster Systeme[Chemnitzer Linuxtage 2014]Robert Sander <[email protected]>
GlusterRoadmap
➞ Verteilte Geo-Replikation
➞ Dateisnapshots
➞ Kompression
➞ Quota serverseitig
➞ Volumesnapshots
➞ pNFS
➞ HSM
![Page 24: Clustered Storage Ceph und Gluster im VergleichGluster ist für dateibasierte Anwendungen (NFS, SMB) Object Store können sie beide Hohe Flexibilität durch Skalierung in die Breite](https://reader033.vdokument.com/reader033/viewer/2022052012/60294bff4d34c5190779c793/html5/thumbnails/24.jpg)
Linux höchstpersönlich.
Storage Cluster Systeme[Chemnitzer Linuxtage 2014]Robert Sander <[email protected]>
Performance Vergleich
➞ Nicht repräsentativ
![Page 25: Clustered Storage Ceph und Gluster im VergleichGluster ist für dateibasierte Anwendungen (NFS, SMB) Object Store können sie beide Hohe Flexibilität durch Skalierung in die Breite](https://reader033.vdokument.com/reader033/viewer/2022052012/60294bff4d34c5190779c793/html5/thumbnails/25.jpg)
Linux höchstpersönlich.
Storage Cluster Systeme[Chemnitzer Linuxtage 2014]Robert Sander <[email protected]>
Fazit
➞ Ceph ist für blockbasierte Anwendungen (KVM, …)
➞ Gluster ist für dateibasierte Anwendungen (NFS, SMB)
➞ Object Store können sie beide
➞ Hohe Flexibilität durch Skalierung in die Breite
➞ Enorme Kostenreduktion ggü. klassischen Storage-Systemen
![Page 26: Clustered Storage Ceph und Gluster im VergleichGluster ist für dateibasierte Anwendungen (NFS, SMB) Object Store können sie beide Hohe Flexibilität durch Skalierung in die Breite](https://reader033.vdokument.com/reader033/viewer/2022052012/60294bff4d34c5190779c793/html5/thumbnails/26.jpg)
Linux höchstpersönlich.
Storage Cluster Systeme[Chemnitzer Linuxtage 2014]Robert Sander <[email protected]>
Soweit, so gut.
Gleich sind Sie am Zug:Fragen und Diskussionen!
![Page 27: Clustered Storage Ceph und Gluster im VergleichGluster ist für dateibasierte Anwendungen (NFS, SMB) Object Store können sie beide Hohe Flexibilität durch Skalierung in die Breite](https://reader033.vdokument.com/reader033/viewer/2022052012/60294bff4d34c5190779c793/html5/thumbnails/27.jpg)
Linux höchstpersönlich.
Storage Cluster Systeme[Chemnitzer Linuxtage 2014]Robert Sander <[email protected]>
Wir suchen:Admins, Consultants, Trainer!
Wir bieten:Spannende Projekte, Kundenlob, eigenständige Arbeit, keine Überstunden, Teamarbeit
...und natürlich: Linux, Linux, Linux...
http://www.heinlein-support.de/jobs
![Page 28: Clustered Storage Ceph und Gluster im VergleichGluster ist für dateibasierte Anwendungen (NFS, SMB) Object Store können sie beide Hohe Flexibilität durch Skalierung in die Breite](https://reader033.vdokument.com/reader033/viewer/2022052012/60294bff4d34c5190779c793/html5/thumbnails/28.jpg)
Linux höchstpersönlich.
Storage Cluster Systeme[Chemnitzer Linuxtage 2014]Robert Sander <[email protected]>
Und nun...
➞ Vielen Dank für's Zuhören...
➞ Schönen Tag noch...
➞ Und viel Erfolg an der Tastatur...
Bis bald.
![Page 29: Clustered Storage Ceph und Gluster im VergleichGluster ist für dateibasierte Anwendungen (NFS, SMB) Object Store können sie beide Hohe Flexibilität durch Skalierung in die Breite](https://reader033.vdokument.com/reader033/viewer/2022052012/60294bff4d34c5190779c793/html5/thumbnails/29.jpg)
Linux höchstpersönlich.
Storage Cluster Systeme[Chemnitzer Linuxtage 2014]Robert Sander <[email protected]>
Heinlein Support hilft bei allen Fragen rund um Linux-Server
HEINLEIN AKADEMIEVon Profis für Profis: Wir vermitteln die oberen 10% Wissen: geballtes Wissen und umfang-reiche Praxiserfahrung.
HEINLEIN CONSULTINGDas Backup für Ihre Linux-Administration: LPIC-2-Profis lösen im CompetenceCall Notfälle, auch in SLAs mit 24/7-Verfügbarkeit.
HEINLEIN HOSTINGIndividuelles Business-Hosting mit perfekter Maintenance durch unsere Profis. Sicherheit und Verfügbarkeit stehen an erster Stelle.
HEINLEIN ELEMENTSHard- und Software-Appliances und speziell für den Serverbetrieb konzipierte Software rund ums Thema eMail.