![Page 1: Aufbau und Anwendung eines objektbasierten Speichersystems · 2020-01-09 · – MoBo: Supermicro SMX10DRCT4+ (4 x 10 Gigabit LAN onboard) – CPU: XE52623V3T 3 GHz 4Core – RAM:](https://reader033.vdokument.com/reader033/viewer/2022042219/5ec4c35a2ba0ab269c51a052/html5/thumbnails/1.jpg)
Aufbau und Anwendung eines objektbasierten Speichersystems
guug Frühjahrsfachgespräch25.02.2016
Christian Schubert
![Page 2: Aufbau und Anwendung eines objektbasierten Speichersystems · 2020-01-09 · – MoBo: Supermicro SMX10DRCT4+ (4 x 10 Gigabit LAN onboard) – CPU: XE52623V3T 3 GHz 4Core – RAM:](https://reader033.vdokument.com/reader033/viewer/2022042219/5ec4c35a2ba0ab269c51a052/html5/thumbnails/2.jpg)
guug FFG 2016: Ceph25.02.2016 2/43
Überblick
● OSZimt – Portfolio
● Motivation
● Ceph – Aufbau & Funktion
● Zwei Anwendungsbeispiele● Ceph im OSZimt● Ceph im Krankenhaus
● Hinweise & Tipps
● Fazit
![Page 3: Aufbau und Anwendung eines objektbasierten Speichersystems · 2020-01-09 · – MoBo: Supermicro SMX10DRCT4+ (4 x 10 Gigabit LAN onboard) – CPU: XE52623V3T 3 GHz 4Core – RAM:](https://reader033.vdokument.com/reader033/viewer/2022042219/5ec4c35a2ba0ab269c51a052/html5/thumbnails/3.jpg)
guug FFG 2016: Ceph25.02.2016 3/43
Über mich
![Page 4: Aufbau und Anwendung eines objektbasierten Speichersystems · 2020-01-09 · – MoBo: Supermicro SMX10DRCT4+ (4 x 10 Gigabit LAN onboard) – CPU: XE52623V3T 3 GHz 4Core – RAM:](https://reader033.vdokument.com/reader033/viewer/2022042219/5ec4c35a2ba0ab269c51a052/html5/thumbnails/4.jpg)
guug FFG 2016: Ceph25.02.2016 4/43
OSZimt – Portfolio
game programmer
2 Jahre
![Page 5: Aufbau und Anwendung eines objektbasierten Speichersystems · 2020-01-09 · – MoBo: Supermicro SMX10DRCT4+ (4 x 10 Gigabit LAN onboard) – CPU: XE52623V3T 3 GHz 4Core – RAM:](https://reader033.vdokument.com/reader033/viewer/2022042219/5ec4c35a2ba0ab269c51a052/html5/thumbnails/5.jpg)
guug FFG 2016: Ceph25.02.2016 5/43
OSZimt – in Zahlen
Schüler
Anzahl 2015/16
2.471
Berufsoberschule 25
Berufsschule Auszubildende 1.590
Fachschule 47
Berufsfachschule mehrjährig 502
Fachoberschule 55
Berufliches Gymnasium 252
Mitarbeiter 136
Unterrichtsstunden 2.899,7(96,5%)
![Page 6: Aufbau und Anwendung eines objektbasierten Speichersystems · 2020-01-09 · – MoBo: Supermicro SMX10DRCT4+ (4 x 10 Gigabit LAN onboard) – CPU: XE52623V3T 3 GHz 4Core – RAM:](https://reader033.vdokument.com/reader033/viewer/2022042219/5ec4c35a2ba0ab269c51a052/html5/thumbnails/6.jpg)
guug FFG 2016: Ceph25.02.2016 6/43
Motivation
Warum RAID nicht immer Spaß macht
![Page 7: Aufbau und Anwendung eines objektbasierten Speichersystems · 2020-01-09 · – MoBo: Supermicro SMX10DRCT4+ (4 x 10 Gigabit LAN onboard) – CPU: XE52623V3T 3 GHz 4Core – RAM:](https://reader033.vdokument.com/reader033/viewer/2022042219/5ec4c35a2ba0ab269c51a052/html5/thumbnails/7.jpg)
guug FFG 2016: Ceph25.02.2016 7/43
Ceph – Aufbau & Funktion
![Page 8: Aufbau und Anwendung eines objektbasierten Speichersystems · 2020-01-09 · – MoBo: Supermicro SMX10DRCT4+ (4 x 10 Gigabit LAN onboard) – CPU: XE52623V3T 3 GHz 4Core – RAM:](https://reader033.vdokument.com/reader033/viewer/2022042219/5ec4c35a2ba0ab269c51a052/html5/thumbnails/8.jpg)
guug FFG 2016: Ceph25.02.2016 8/43
Ceph – Aufbau & Funktion
![Page 9: Aufbau und Anwendung eines objektbasierten Speichersystems · 2020-01-09 · – MoBo: Supermicro SMX10DRCT4+ (4 x 10 Gigabit LAN onboard) – CPU: XE52623V3T 3 GHz 4Core – RAM:](https://reader033.vdokument.com/reader033/viewer/2022042219/5ec4c35a2ba0ab269c51a052/html5/thumbnails/9.jpg)
guug FFG 2016: Ceph25.02.2016 9/43
Ceph – Aufbau & Funktion
![Page 10: Aufbau und Anwendung eines objektbasierten Speichersystems · 2020-01-09 · – MoBo: Supermicro SMX10DRCT4+ (4 x 10 Gigabit LAN onboard) – CPU: XE52623V3T 3 GHz 4Core – RAM:](https://reader033.vdokument.com/reader033/viewer/2022042219/5ec4c35a2ba0ab269c51a052/html5/thumbnails/10.jpg)
guug FFG 2016: Ceph25.02.2016 10/43
Ceph – Aufbau & Funktion
![Page 11: Aufbau und Anwendung eines objektbasierten Speichersystems · 2020-01-09 · – MoBo: Supermicro SMX10DRCT4+ (4 x 10 Gigabit LAN onboard) – CPU: XE52623V3T 3 GHz 4Core – RAM:](https://reader033.vdokument.com/reader033/viewer/2022042219/5ec4c35a2ba0ab269c51a052/html5/thumbnails/11.jpg)
guug FFG 2016: Ceph25.02.2016 11/43
Pool
Ceph – Aufbau & Funktion
![Page 12: Aufbau und Anwendung eines objektbasierten Speichersystems · 2020-01-09 · – MoBo: Supermicro SMX10DRCT4+ (4 x 10 Gigabit LAN onboard) – CPU: XE52623V3T 3 GHz 4Core – RAM:](https://reader033.vdokument.com/reader033/viewer/2022042219/5ec4c35a2ba0ab269c51a052/html5/thumbnails/12.jpg)
guug FFG 2016: Ceph25.02.2016 12/43
CRUSH(pg, cluster state, rule set)
CRUSH: Controlled Replication Under Scalable Hashing
Ceph – Aufbau & Funktion
![Page 13: Aufbau und Anwendung eines objektbasierten Speichersystems · 2020-01-09 · – MoBo: Supermicro SMX10DRCT4+ (4 x 10 Gigabit LAN onboard) – CPU: XE52623V3T 3 GHz 4Core – RAM:](https://reader033.vdokument.com/reader033/viewer/2022042219/5ec4c35a2ba0ab269c51a052/html5/thumbnails/13.jpg)
guug FFG 2016: Ceph25.02.2016 13/43
Ceph – Aufbau & Funktion
Rebalancing nach einem Ausfall einer OSD
![Page 14: Aufbau und Anwendung eines objektbasierten Speichersystems · 2020-01-09 · – MoBo: Supermicro SMX10DRCT4+ (4 x 10 Gigabit LAN onboard) – CPU: XE52623V3T 3 GHz 4Core – RAM:](https://reader033.vdokument.com/reader033/viewer/2022042219/5ec4c35a2ba0ab269c51a052/html5/thumbnails/14.jpg)
guug FFG 2016: Ceph25.02.2016 14/43
Alternativ: 10 Gb Ethernet MTU 9000 (Jumbo frames)
Alternativ: Infiniband with IPoIB DDR/QDR/FDR (10/40/56 Gbps) MTU 65520 (connected mode)Cluster-Net
Public-NetO
SD
, MO
N, M
SD
OS
D
OS
D, M
ON
OS
D
OS
D, M
ON
Hypervisor (LAN)
VLAN1 10 Gb Ethernet
VLAN2 10 Gb Ethernet
Ceph – Aufbau & Funktion
Nodes
![Page 15: Aufbau und Anwendung eines objektbasierten Speichersystems · 2020-01-09 · – MoBo: Supermicro SMX10DRCT4+ (4 x 10 Gigabit LAN onboard) – CPU: XE52623V3T 3 GHz 4Core – RAM:](https://reader033.vdokument.com/reader033/viewer/2022042219/5ec4c35a2ba0ab269c51a052/html5/thumbnails/15.jpg)
guug FFG 2016: Ceph25.02.2016 15/43
Ceph – Aufbau & Funktion
● RADOS Gateway (RGW)
Verbindung (API) zu anderen Speichersystemen (z.B. multi side)
● Erasure Coding (EC)
'RAID' mit einstellbarer HDDAnzahl ( n = k + m ) ( r = k / n )
● Cache Tiering
HotColdPool in Kombination mit EC
● Ceph Client
Mounten eines RADOS Block Devices (RBD)
● MDS
CephFS und die Ausfallsicherheit
![Page 16: Aufbau und Anwendung eines objektbasierten Speichersystems · 2020-01-09 · – MoBo: Supermicro SMX10DRCT4+ (4 x 10 Gigabit LAN onboard) – CPU: XE52623V3T 3 GHz 4Core – RAM:](https://reader033.vdokument.com/reader033/viewer/2022042219/5ec4c35a2ba0ab269c51a052/html5/thumbnails/16.jpg)
guug FFG 2016: Ceph25.02.2016 16/43
Ceph – Aufbau & Funktion
![Page 17: Aufbau und Anwendung eines objektbasierten Speichersystems · 2020-01-09 · – MoBo: Supermicro SMX10DRCT4+ (4 x 10 Gigabit LAN onboard) – CPU: XE52623V3T 3 GHz 4Core – RAM:](https://reader033.vdokument.com/reader033/viewer/2022042219/5ec4c35a2ba0ab269c51a052/html5/thumbnails/17.jpg)
guug FFG 2016: Ceph25.02.2016 17/43
Anwendungsbeispiel –
Ceph im OSZimt
![Page 18: Aufbau und Anwendung eines objektbasierten Speichersystems · 2020-01-09 · – MoBo: Supermicro SMX10DRCT4+ (4 x 10 Gigabit LAN onboard) – CPU: XE52623V3T 3 GHz 4Core – RAM:](https://reader033.vdokument.com/reader033/viewer/2022042219/5ec4c35a2ba0ab269c51a052/html5/thumbnails/18.jpg)
guug FFG 2016: Ceph25.02.2016 18/43
Ceph im OSZimt – Motivation
● OSZimtCloud = Proxmox + Ceph
● CloudManagement Bestandteil der Ausbildung (FISI, ITA)
● VDI – alte Hardware mit neuster Software
● ServiceVMs für den Fachunterricht (SQL, IDE)
● Storage für weitere Hypervisoren
![Page 19: Aufbau und Anwendung eines objektbasierten Speichersystems · 2020-01-09 · – MoBo: Supermicro SMX10DRCT4+ (4 x 10 Gigabit LAN onboard) – CPU: XE52623V3T 3 GHz 4Core – RAM:](https://reader033.vdokument.com/reader033/viewer/2022042219/5ec4c35a2ba0ab269c51a052/html5/thumbnails/19.jpg)
guug FFG 2016: Ceph25.02.2016 19/43
Ceph im OSZimt – Aufbau
R1 R3R2
2960S 2960S
HP
xw
86
00
HP
xw
86
00
Dell 1950
Dell PowerVault
Dell 1950
Dell 1950
Dell PowerVault
HP DL 380 G5
HP DL 380 G5
HP DL 380 G5
HP DL 380 G5
BL6
85 G
6
BL6
85 G
7
BL6
85 G
6
BL6
85 G
6
HP c7000
BL4
60 G
6
SB
40
c
BL4
60 G
6
SB
40
c
BL4
60 G
6
SB
40
c
BL4
60 G
6
SB
40
c
HP DL585 G5
Hypervisor
Ceph
10 GbE
1 GbE (mehrfach)
1 GbE
SAS
Legende:
N5k
HDD: 4x 750 GB je Maschine (SATA) SSD: 1x 120 GB je Maschine (SATA)
HDD: 7x 300 GB (SAS) HDD: 8x 300 GB (SAS) HDD: 6x 1000 GB (SATA) SSD: 1x 120 GB je Maschine (SATA)
HDD: 6x 140 GB je Maschine (SAS) SSD: 1x 120 GB je Maschine (SATA)
HDD: 6x 140 GB je Maschine (SAS) HDD: 5x 500 GB (SATA) SSD: 1x 120 GB je Maschine (SATA)
LAN
![Page 20: Aufbau und Anwendung eines objektbasierten Speichersystems · 2020-01-09 · – MoBo: Supermicro SMX10DRCT4+ (4 x 10 Gigabit LAN onboard) – CPU: XE52623V3T 3 GHz 4Core – RAM:](https://reader033.vdokument.com/reader033/viewer/2022042219/5ec4c35a2ba0ab269c51a052/html5/thumbnails/20.jpg)
guug FFG 2016: Ceph25.02.2016 20/43
R1 R3R2
2960S 2960S
HP
xw
86
00
HP
xw
86
00
Dell 1950
Dell PowerVault
Dell 1950
Dell 1950
Dell PowerVault
HP DL 380 G5
HP DL 380 G5
HP DL 380 G5
HP DL 380 G5
BL6
85 G
6
BL6
85 G
7
BL6
85 G
6
BL6
85 G
6
HP c7000
BL4
60 G
6
SB
40
c
BL4
60 G
6
SB
40
c
BL4
60 G
6
SB
40
c
BL4
60 G
6
SB
40
c
HP DL585 G5
Hypervisor
Ceph
10 GbE
1 GbE (mehrfach)
1 GbE
SAS
Legende:
N5k
HDD: 4x 750 GB je Maschine (SATA) SSD: 1x 120 GB je Maschine (SATA)
HDD: 7x 300 GB (SAS) HDD: 8x 300 GB (SAS) HDD: 6x 1000 GB (SATA) SSD: 1x 120 GB je Maschine (SATA)
HDD: 6x 140 GB je Maschine (SAS) SSD: 1x 120 GB je Maschine (SATA)
HDD: 6x 140 GB je Maschine (SAS) HDD: 5x 500 GB (SATA) SSD: 1x 120 GB je Maschine (SATA)
LAN
![Page 21: Aufbau und Anwendung eines objektbasierten Speichersystems · 2020-01-09 · – MoBo: Supermicro SMX10DRCT4+ (4 x 10 Gigabit LAN onboard) – CPU: XE52623V3T 3 GHz 4Core – RAM:](https://reader033.vdokument.com/reader033/viewer/2022042219/5ec4c35a2ba0ab269c51a052/html5/thumbnails/21.jpg)
guug FFG 2016: Ceph25.02.2016 21/43
![Page 22: Aufbau und Anwendung eines objektbasierten Speichersystems · 2020-01-09 · – MoBo: Supermicro SMX10DRCT4+ (4 x 10 Gigabit LAN onboard) – CPU: XE52623V3T 3 GHz 4Core – RAM:](https://reader033.vdokument.com/reader033/viewer/2022042219/5ec4c35a2ba0ab269c51a052/html5/thumbnails/22.jpg)
guug FFG 2016: Ceph25.02.2016 22/43
Ceph im OSZimt – Calamari
![Page 23: Aufbau und Anwendung eines objektbasierten Speichersystems · 2020-01-09 · – MoBo: Supermicro SMX10DRCT4+ (4 x 10 Gigabit LAN onboard) – CPU: XE52623V3T 3 GHz 4Core – RAM:](https://reader033.vdokument.com/reader033/viewer/2022042219/5ec4c35a2ba0ab269c51a052/html5/thumbnails/23.jpg)
guug FFG 2016: Ceph25.02.2016 23/43
Ceph im OSZimt – Calamari
![Page 24: Aufbau und Anwendung eines objektbasierten Speichersystems · 2020-01-09 · – MoBo: Supermicro SMX10DRCT4+ (4 x 10 Gigabit LAN onboard) – CPU: XE52623V3T 3 GHz 4Core – RAM:](https://reader033.vdokument.com/reader033/viewer/2022042219/5ec4c35a2ba0ab269c51a052/html5/thumbnails/24.jpg)
guug FFG 2016: Ceph25.02.2016 24/43
Ceph im OSZimt – Calamari
![Page 25: Aufbau und Anwendung eines objektbasierten Speichersystems · 2020-01-09 · – MoBo: Supermicro SMX10DRCT4+ (4 x 10 Gigabit LAN onboard) – CPU: XE52623V3T 3 GHz 4Core – RAM:](https://reader033.vdokument.com/reader033/viewer/2022042219/5ec4c35a2ba0ab269c51a052/html5/thumbnails/25.jpg)
guug FFG 2016: Ceph25.02.2016 25/43
Ceph im OSZimt – Calamari
![Page 26: Aufbau und Anwendung eines objektbasierten Speichersystems · 2020-01-09 · – MoBo: Supermicro SMX10DRCT4+ (4 x 10 Gigabit LAN onboard) – CPU: XE52623V3T 3 GHz 4Core – RAM:](https://reader033.vdokument.com/reader033/viewer/2022042219/5ec4c35a2ba0ab269c51a052/html5/thumbnails/26.jpg)
guug FFG 2016: Ceph25.02.2016 26/43
Ceph im OSZimt – Calamari
![Page 27: Aufbau und Anwendung eines objektbasierten Speichersystems · 2020-01-09 · – MoBo: Supermicro SMX10DRCT4+ (4 x 10 Gigabit LAN onboard) – CPU: XE52623V3T 3 GHz 4Core – RAM:](https://reader033.vdokument.com/reader033/viewer/2022042219/5ec4c35a2ba0ab269c51a052/html5/thumbnails/27.jpg)
guug FFG 2016: Ceph25.02.2016 27/43
Ceph im OSZimt – Anwendung
![Page 28: Aufbau und Anwendung eines objektbasierten Speichersystems · 2020-01-09 · – MoBo: Supermicro SMX10DRCT4+ (4 x 10 Gigabit LAN onboard) – CPU: XE52623V3T 3 GHz 4Core – RAM:](https://reader033.vdokument.com/reader033/viewer/2022042219/5ec4c35a2ba0ab269c51a052/html5/thumbnails/28.jpg)
guug FFG 2016: Ceph25.02.2016 28/43
![Page 29: Aufbau und Anwendung eines objektbasierten Speichersystems · 2020-01-09 · – MoBo: Supermicro SMX10DRCT4+ (4 x 10 Gigabit LAN onboard) – CPU: XE52623V3T 3 GHz 4Core – RAM:](https://reader033.vdokument.com/reader033/viewer/2022042219/5ec4c35a2ba0ab269c51a052/html5/thumbnails/29.jpg)
guug FFG 2016: Ceph25.02.2016 29/43
![Page 30: Aufbau und Anwendung eines objektbasierten Speichersystems · 2020-01-09 · – MoBo: Supermicro SMX10DRCT4+ (4 x 10 Gigabit LAN onboard) – CPU: XE52623V3T 3 GHz 4Core – RAM:](https://reader033.vdokument.com/reader033/viewer/2022042219/5ec4c35a2ba0ab269c51a052/html5/thumbnails/30.jpg)
guug FFG 2016: Ceph25.02.2016 30/43
![Page 31: Aufbau und Anwendung eines objektbasierten Speichersystems · 2020-01-09 · – MoBo: Supermicro SMX10DRCT4+ (4 x 10 Gigabit LAN onboard) – CPU: XE52623V3T 3 GHz 4Core – RAM:](https://reader033.vdokument.com/reader033/viewer/2022042219/5ec4c35a2ba0ab269c51a052/html5/thumbnails/31.jpg)
guug FFG 2016: Ceph25.02.2016 31/43
Anwendungsbeispiel –
Ceph im Krankenhaus
Diakoniewerk Bethel
● Krankenhaus in Berlin (276 Betten), geriatrischen RehaKliniken in Welzheim und Trossingen
● Seniorenwohnungen und stationäre Pflege in Berlin, Bad Oeynhausen, Wiehl, Welzheim, Trossingen und München
● Pflegedienste in Berlin, Bad Oeynhausen, Welzheim
![Page 32: Aufbau und Anwendung eines objektbasierten Speichersystems · 2020-01-09 · – MoBo: Supermicro SMX10DRCT4+ (4 x 10 Gigabit LAN onboard) – CPU: XE52623V3T 3 GHz 4Core – RAM:](https://reader033.vdokument.com/reader033/viewer/2022042219/5ec4c35a2ba0ab269c51a052/html5/thumbnails/32.jpg)
guug FFG 2016: Ceph25.02.2016 32/43
Ceph im Krankenhaus – Motivation
● Einführung eines neuen DMS
● HW musste ausgetauscht werden
● Angebot VMware inkl. Storage ~150 k€
● VMware mit hoher HWAnforderung (1 SSD pro 6 HDDs)
● Ausfallsicherheit konnte nicht gewährleistet werden
● CephDemo überzeugte, gleichzeitiger Ausfall mehrerer OSDs (Node)
● Testaufbau Hypervisor und Ceph bewies die Ausfallsicherheit der Anwendungen
● guter Erfahrungsaustausch mit dem OSZimt
![Page 33: Aufbau und Anwendung eines objektbasierten Speichersystems · 2020-01-09 · – MoBo: Supermicro SMX10DRCT4+ (4 x 10 Gigabit LAN onboard) – CPU: XE52623V3T 3 GHz 4Core – RAM:](https://reader033.vdokument.com/reader033/viewer/2022042219/5ec4c35a2ba0ab269c51a052/html5/thumbnails/33.jpg)
guug FFG 2016: Ceph25.02.2016 33/43
Ceph im Krankenhaus – Aufbau
ceph01
192.168.250.100/101 10.10.35.130/135 255.255.255.0 255.255.255.0 192.168.250.1 MTU 9000 ipmi.ceph01 vlan35 10.10.90.103 vlan10, vlan90, vlan250
ceph02
192.168.250.102/103 10.10.35.131/136 255.255.255.0 255.255.255.0 192.168.250.1 MTU 9000 ipmi.ceph02 vlan35 10.10.90.104 vlan10, vlan90, vlan250
ceph03
192.168.250.104/105 10.10.35.132/138 255.255.255.0 255.255.255.0 192.168.250.1 MTU 9000 ipmi.ceph03 vlan35 10.10.90.105 vlan10, vlan90, vlan250
ceph04
192.168.250.106/107 10.10.35.133/138 255.255.255.0 255.255.255.0 192.168.250.1 MTU 9000 ipmi.ceph04 vlan35 10.10.90.106 vlan10, vlan90, vlan250
ceph05
192.168.250.108/109 10.10.35.134/139 255.255.255.0 255.255.255.0 192.168.250.1 MTU 9000 ipmi.ceph05 vlan35 10.10.90.107 vlan10, vlan90 vlan250
Prox00-0A
10.10.90.215 255.255.255.0 10.10.90.1 vlan10,vlan90, vlan250
Prox00-0B
10.10.90.216 255.255.255.0 10.10.90.1 vlan10,vlan90, vlan250
prox01
192.168.250.10/11 255.255.255.0 10.10.90.1 ipmi.prox01 10.10.30.100 vlan10, vlan90, vlan250
prox03
192.168.250.14/15 255.255.255.0 10.10.90.1 ipmi.prox03 10.10.90.102 vlan10, vlan90, vlan250
prox02
192.168.250.12/13 255.255.255.0 10.10.90.1 ipmi.prox02 10.10.30.101 vlan10, vlan90, vlan250
Coreswitch 10.10.90.111
Ceph00-0A
10.10.35.213 255.255.255.0 MTU 9000
Ceph00-0B
10.10.35.214 255.255.255.0 MTU 9000
#1
#2
#3
#4
#5
#6
#1
#2
#1
#2
#1
#2
#3
#3
#4
#4
#3
#4
#3
#4
#3#4
#1
#2
#3
#4
#5
#1
#2
#3
#4
#5
#11 / 12#11 / 12
#11 / 12
#7
#8
#4
#5
#6
#7
#8
#1
#2
#3
#9
#9
#1
#2
#1
#2
#1
#2
#1
#2
#1
#2
#11 / 12
Storage-Network
Storage-Cluster
Application-Network
Application-Cluster
Application-Network
![Page 34: Aufbau und Anwendung eines objektbasierten Speichersystems · 2020-01-09 · – MoBo: Supermicro SMX10DRCT4+ (4 x 10 Gigabit LAN onboard) – CPU: XE52623V3T 3 GHz 4Core – RAM:](https://reader033.vdokument.com/reader033/viewer/2022042219/5ec4c35a2ba0ab269c51a052/html5/thumbnails/34.jpg)
guug FFG 2016: Ceph25.02.2016 34/43
ceph01
192.168.250.100/101 10.10.35.130/135 255.255.255.0 255.255.255.0 192.168.250.1 MTU 9000 ipmi.ceph01 vlan35 10.10.90.103 vlan10, vlan90, vlan250
ceph02
192.168.250.102/103 10.10.35.131/136 255.255.255.0 255.255.255.0 192.168.250.1 MTU 9000 ipmi.ceph02 vlan35 10.10.90.104 vlan10, vlan90, vlan250
ceph03
192.168.250.104/105 10.10.35.132/138 255.255.255.0 255.255.255.0 192.168.250.1 MTU 9000 ipmi.ceph03 vlan35 10.10.90.105 vlan10, vlan90, vlan250
ceph04
192.168.250.106/107 10.10.35.133/138 255.255.255.0 255.255.255.0 192.168.250.1 MTU 9000 ipmi.ceph04 vlan35 10.10.90.106 vlan10, vlan90, vlan250
ceph05
192.168.250.108/109 10.10.35.134/139 255.255.255.0 255.255.255.0 192.168.250.1 MTU 9000 ipmi.ceph05 vlan35 10.10.90.107 vlan10, vlan90 vlan250
Prox00-0A
10.10.90.215 255.255.255.0 10.10.90.1 vlan10,vlan90, vlan250
Prox00-0B
10.10.90.216 255.255.255.0 10.10.90.1 vlan10,vlan90, vlan250
prox01
192.168.250.10/11 255.255.255.0 10.10.90.1 ipmi.prox01 10.10.30.100 vlan10, vlan90, vlan250
prox03
192.168.250.14/15 255.255.255.0 10.10.90.1 ipmi.prox03 10.10.90.102 vlan10, vlan90, vlan250
prox02
192.168.250.12/13 255.255.255.0 10.10.90.1 ipmi.prox02 10.10.30.101 vlan10, vlan90, vlan250
Coreswitch 10.10.90.111
Ceph00-0A
10.10.35.213 255.255.255.0 MTU 9000
Ceph00-0B
10.10.35.214 255.255.255.0 MTU 9000
#1
#2
#3
#4
#5
#6
#1
#2
#1
#2
#1
#2
#3
#3
#4
#4
#3
#4
#3
#4
#3#4
#1
#2
#3
#4
#5
#1
#2
#3
#4
#5
#11 / 12#11 / 12
#11 / 12
#7
#8
#4
#5
#6
#7
#8
#1
#2
#3
#9
#9
#1
#2
#1
#2
#1
#2
#1
#2
#1
#2
#11 / 12
Storage-Network
Storage-Cluster
Application-Network
Application-Cluster
Application-Network
![Page 35: Aufbau und Anwendung eines objektbasierten Speichersystems · 2020-01-09 · – MoBo: Supermicro SMX10DRCT4+ (4 x 10 Gigabit LAN onboard) – CPU: XE52623V3T 3 GHz 4Core – RAM:](https://reader033.vdokument.com/reader033/viewer/2022042219/5ec4c35a2ba0ab269c51a052/html5/thumbnails/35.jpg)
guug FFG 2016: Ceph25.02.2016 35/43
Ceph im Krankenhaus – Ausstattung
● 5 x CephNode
– MoBo: Supermicro SMX10DRCT4+ (4 x 10 Gigabit LAN onboard)
– CPU: XE52623V3T 3 GHz 4Core
– RAM: 64 GB
– HDDs: 6 x 900 GB SAS 10k (OSD)6 x 2000 GB SATA 128 MB Cache (OSD)
– SSD: 1 x Intel SSD DC P3600, 1.2TB, PCIe, NVMe 3.0 x4 (OSD)
● 3 x ProxmoxNode
– MoBo: Supermicro SMX10DRIT4+ (4x 10GBaseT LAN onboard)
– CPU: XE52630V3 8Core
– RAM: 128 GB
![Page 36: Aufbau und Anwendung eines objektbasierten Speichersystems · 2020-01-09 · – MoBo: Supermicro SMX10DRCT4+ (4 x 10 Gigabit LAN onboard) – CPU: XE52623V3T 3 GHz 4Core – RAM:](https://reader033.vdokument.com/reader033/viewer/2022042219/5ec4c35a2ba0ab269c51a052/html5/thumbnails/36.jpg)
guug FFG 2016: Ceph25.02.2016 36/43
Ceph im Krankenhaus – Ausstattung
![Page 37: Aufbau und Anwendung eines objektbasierten Speichersystems · 2020-01-09 · – MoBo: Supermicro SMX10DRCT4+ (4 x 10 Gigabit LAN onboard) – CPU: XE52623V3T 3 GHz 4Core – RAM:](https://reader033.vdokument.com/reader033/viewer/2022042219/5ec4c35a2ba0ab269c51a052/html5/thumbnails/37.jpg)
guug FFG 2016: Ceph25.02.2016 37/43
Ceph im Krankenhaus – Anwendung
● StorageVolumen 95 TB
● Replica 3
● 3 Pools (SSD, SAS, SATA)
● 10 Gbps Cu, Cluster/PublicNetz getrennt
● DMS Testbetrieb seit 09/2015Fachanwendung (MediFox) produktiv seit 09/2015
● Performance liegt weit über den Erwartungen,Netzwerk saturiert (SSD/SASPool gleiche Performance)
● Projektkosten ca. 95 k€(Hypervisor, Storage, Consulting, Setup)
![Page 38: Aufbau und Anwendung eines objektbasierten Speichersystems · 2020-01-09 · – MoBo: Supermicro SMX10DRCT4+ (4 x 10 Gigabit LAN onboard) – CPU: XE52623V3T 3 GHz 4Core – RAM:](https://reader033.vdokument.com/reader033/viewer/2022042219/5ec4c35a2ba0ab269c51a052/html5/thumbnails/38.jpg)
guug FFG 2016: Ceph25.02.2016 38/43
Ceph versus RAID
● Anzahl der möglichen, gleichzeitigen HDAusfälle (kann > 2 sein)
● Dauer eines Rebuilds/Rebalancing ()
● Anzahl der möglichen Replikate (110)
● Scale out (jederzeit möglich)
→ es gehen keine Daten verloren
→ ich schlafe ruhiger
→ Backup ist weiterhin erforderlich
![Page 39: Aufbau und Anwendung eines objektbasierten Speichersystems · 2020-01-09 · – MoBo: Supermicro SMX10DRCT4+ (4 x 10 Gigabit LAN onboard) – CPU: XE52623V3T 3 GHz 4Core – RAM:](https://reader033.vdokument.com/reader033/viewer/2022042219/5ec4c35a2ba0ab269c51a052/html5/thumbnails/39.jpg)
guug FFG 2016: Ceph25.02.2016 39/43
Hinweise & Tipps
● SPoF vermeiden
● commodity HW ist OK, besser ist aktuelle HW
● Dienste auf separaten Nodes betreiben (z.B. Hypervisor, OSDs)
● 1 HDD = 1 OSD (OS auf extra HW), 1GB RAM pro 1TB OSD
● RAIDCache nutzen (JBOD hat meist keinen)
● viele 'kleinere' HDDs sind sinnvoller, als wenige große
● je mehr Nodes desto besser (im Fehlerfall den Füllgrad beachten)
![Page 40: Aufbau und Anwendung eines objektbasierten Speichersystems · 2020-01-09 · – MoBo: Supermicro SMX10DRCT4+ (4 x 10 Gigabit LAN onboard) – CPU: XE52623V3T 3 GHz 4Core – RAM:](https://reader033.vdokument.com/reader033/viewer/2022042219/5ec4c35a2ba0ab269c51a052/html5/thumbnails/40.jpg)
guug FFG 2016: Ceph25.02.2016 40/43
Hinweise & Tipps
● PublicNet vom ClusterNet trennen
● max. Netzwerkgeschwindigkeit bei schnellen OSDs aktivieren
10 Gbps Ethernet, Infiniband, MTU (Jumbo frames, connected mode)
● Journale auf SSD schreiben, Partition alignment
● SSDHDDVerhältnis (Schreib/Lesegeschwindigkeit)
![Page 41: Aufbau und Anwendung eines objektbasierten Speichersystems · 2020-01-09 · – MoBo: Supermicro SMX10DRCT4+ (4 x 10 Gigabit LAN onboard) – CPU: XE52623V3T 3 GHz 4Core – RAM:](https://reader033.vdokument.com/reader033/viewer/2022042219/5ec4c35a2ba0ab269c51a052/html5/thumbnails/41.jpg)
guug FFG 2016: Ceph25.02.2016 41/43
Fazit
● Ceph ist nicht für alle oder alles gut
● fast 'unkaputtbar'
● unterschiedliche HW kann gleichzeitig genutzt werden
● mindest HWAnforderung berücksichtigen, Dimensionierungsgrösse ist der worst case (Rebalancing)
● das eigene knowhow kann mit dem CephCluster wachsen
![Page 42: Aufbau und Anwendung eines objektbasierten Speichersystems · 2020-01-09 · – MoBo: Supermicro SMX10DRCT4+ (4 x 10 Gigabit LAN onboard) – CPU: XE52623V3T 3 GHz 4Core – RAM:](https://reader033.vdokument.com/reader033/viewer/2022042219/5ec4c35a2ba0ab269c51a052/html5/thumbnails/42.jpg)
guug FFG 2016: Ceph25.02.2016 42/43
In eigener Sache
Wer unser Haus und unsere Arbeit unterstützen möchte
kann dies gerne über unseren Förderverein VeFF e.V. tun.
http://www.oszimt.de/de/ueberuns/organisation/foerderverein.html
Hilfe (monitärer Art, Hardware, Hands on) ist immer willkommen.
Danke
VeFF e.V.: Verein der Freunde und Förderer des Oberstufenzentrums Informations und Medizintechnik Berlin e.V.