unser weg zum frankenstack
TRANSCRIPT
![Page 1: Unser Weg zum Frankenstack](https://reader034.vdokument.com/reader034/viewer/2022042907/5875dd941a28ab7d5a8b4691/html5/thumbnails/1.jpg)
FRANKENSTACKUNSER WEG ZUM
![Page 2: Unser Weg zum Frankenstack](https://reader034.vdokument.com/reader034/viewer/2022042907/5875dd941a28ab7d5a8b4691/html5/thumbnails/2.jpg)
INTRO
SASCHA VOGT
▸ Software Entwickler @ SEEBURGER AG
▸ Part-Time Operator Entwicklungsinfrastruktur
▸ Twitter @maybebuggy
▸ E-Mail: [email protected]
![Page 3: Unser Weg zum Frankenstack](https://reader034.vdokument.com/reader034/viewer/2022042907/5875dd941a28ab7d5a8b4691/html5/thumbnails/3.jpg)
FRANKENSTACKUNSER WEG ZUM
![Page 4: Unser Weg zum Frankenstack](https://reader034.vdokument.com/reader034/viewer/2022042907/5875dd941a28ab7d5a8b4691/html5/thumbnails/4.jpg)
INTRO
UMFRAGE
▸ OpenStack Install-Guide angeschaut?
▸ Eigenes OpenStack Deployment?
0
10
20
30
40
YES NO
?
![Page 5: Unser Weg zum Frankenstack](https://reader034.vdokument.com/reader034/viewer/2022042907/5875dd941a28ab7d5a8b4691/html5/thumbnails/5.jpg)
Do’s
Dont’s
![Page 6: Unser Weg zum Frankenstack](https://reader034.vdokument.com/reader034/viewer/2022042907/5875dd941a28ab7d5a8b4691/html5/thumbnails/6.jpg)
INTRO
UNSER OPENSTACK
▸ Wo haben wir angefangen?
▸ Wo sind wir jetzt?
▸ Wo wollen wir hin?
▸ Q&A gerne am Ende und bei Pizza & Bier
![Page 7: Unser Weg zum Frankenstack](https://reader034.vdokument.com/reader034/viewer/2022042907/5875dd941a28ab7d5a8b4691/html5/thumbnails/7.jpg)
IT’S LIKE A SAUNA IN HERE
Cosmo Kramer - Seinfeld
DER ANFANG
WARUM ÜBERHAUPT OPENSTACK
![Page 8: Unser Weg zum Frankenstack](https://reader034.vdokument.com/reader034/viewer/2022042907/5875dd941a28ab7d5a8b4691/html5/thumbnails/8.jpg)
DER ANFANG
DIE BÜRO SERVERFARM
▸ 1 Büro
▸ 4 Personen
▸ 8 Monitore
▸ 12 Rechner
▸ 34 Grad trotz Klimaanlage
![Page 9: Unser Weg zum Frankenstack](https://reader034.vdokument.com/reader034/viewer/2022042907/5875dd941a28ab7d5a8b4691/html5/thumbnails/9.jpg)
DER ANFANG
PROTOTYP
▸ 3 Desktops
▸ Openstack Havana
▸ ein Netzwerkinterface ;)
![Page 10: Unser Weg zum Frankenstack](https://reader034.vdokument.com/reader034/viewer/2022042907/5875dd941a28ab7d5a8b4691/html5/thumbnails/10.jpg)
DER ANFANG
INTERNE IT
▸ IPs
▸ Routen
▸ DNS
▸ etc.
![Page 11: Unser Weg zum Frankenstack](https://reader034.vdokument.com/reader034/viewer/2022042907/5875dd941a28ab7d5a8b4691/html5/thumbnails/11.jpg)
DER ANFANG
GRÜNDE FÜR OPENSTACK
▸ All things cloud
▸ Erfahrungen sammeln
▸ IT sucht ebenfalls “günstige” Alternative zu VMWare
![Page 12: Unser Weg zum Frankenstack](https://reader034.vdokument.com/reader034/viewer/2022042907/5875dd941a28ab7d5a8b4691/html5/thumbnails/12.jpg)
PLANUNG
HARDWARE
▸ I/O-lastige Anwendung
▸ SAN “out of budget”
▸ Ceph ➔ 10 GbE
![Page 13: Unser Weg zum Frankenstack](https://reader034.vdokument.com/reader034/viewer/2022042907/5875dd941a28ab7d5a8b4691/html5/thumbnails/13.jpg)
PLANUNG
HARDWARE
▸ Compute / Storage geshared
▸ 3,5” HDDs
▸ Dell 730xd
▸ 2x 10 GbE NIC
▸ angedacht: 5 Nodes + Controller
![Page 14: Unser Weg zum Frankenstack](https://reader034.vdokument.com/reader034/viewer/2022042907/5875dd941a28ab7d5a8b4691/html5/thumbnails/14.jpg)
PLANUNG
HARDWARE
▸ 4 Compute / Storage Nodes
▸ 5 HDDs 7200rpm, 4 TB, pro Node für Storage ==> 7 slots frei
▸ keine SSDs fürs Ceph journal ==> Geld in Reserve falls nötig
▸ 2 HDDs 15k rpm, 300 GB als Boot Platten im Raid-1
▸ 256 GB RAM
▸ 2x 14 Core Xeon CPU E5-2695 v3 @ 2.30GHz
▸ 1 Controller
▸ 1 TB Disk für apt / yum repo Mirrors
▸ 64 GB RAM
▸ 1x 8 Core Xeon CPU E5-2630 v3 @ 2.40GHz
![Page 15: Unser Weg zum Frankenstack](https://reader034.vdokument.com/reader034/viewer/2022042907/5875dd941a28ab7d5a8b4691/html5/thumbnails/15.jpg)
PLANUNG
HARDWARE
▸ Dell Force10 48 port 10 GbE Switch
▸ Geld in Reserve für 1 zusätzlichen Knoten wie oben
▸ Externe Hilfe (B1 systems) (3x3 Tage)
▸ Fallback ➔ Hardware für VMWare
![Page 16: Unser Weg zum Frankenstack](https://reader034.vdokument.com/reader034/viewer/2022042907/5875dd941a28ab7d5a8b4691/html5/thumbnails/16.jpg)
SETUP
VORBEREITUNGEN
▸ Hardware im Keller
▸ BIOS / EFI Updates
▸ Firmware Patches
▸ SELFTESTS !
▸ defekter RAID-Controller getauscht
![Page 17: Unser Weg zum Frankenstack](https://reader034.vdokument.com/reader034/viewer/2022042907/5875dd941a28ab7d5a8b4691/html5/thumbnails/17.jpg)
SETUP
JUNO
▸ Netzwerk: Openvswitch + GRE
▸ Storage zunächst LVM + lokale 15k Disks
▸ Es läuft - “Everbody” is happy
![Page 18: Unser Weg zum Frankenstack](https://reader034.vdokument.com/reader034/viewer/2022042907/5875dd941a28ab7d5a8b4691/html5/thumbnails/18.jpg)
SETUP
![Page 19: Unser Weg zum Frankenstack](https://reader034.vdokument.com/reader034/viewer/2022042907/5875dd941a28ab7d5a8b4691/html5/thumbnails/19.jpg)
SETUP
![Page 20: Unser Weg zum Frankenstack](https://reader034.vdokument.com/reader034/viewer/2022042907/5875dd941a28ab7d5a8b4691/html5/thumbnails/20.jpg)
SETUP
![Page 21: Unser Weg zum Frankenstack](https://reader034.vdokument.com/reader034/viewer/2022042907/5875dd941a28ab7d5a8b4691/html5/thumbnails/21.jpg)
SETUP
CEPH
▸ ceph-deploy
▸ Hauptsächlich “defaults”
▸ Kämpfe mit
▸ qcow vs sparse
▸ Snapshots
▸ Boot from ISO
![Page 22: Unser Weg zum Frankenstack](https://reader034.vdokument.com/reader034/viewer/2022042907/5875dd941a28ab7d5a8b4691/html5/thumbnails/22.jpg)
SETUP
KILO
▸ Unser erste Update *zitter*
▸ Holzhammer Methode
▸ 5x apt-get upgrade && reboot
![Page 23: Unser Weg zum Frankenstack](https://reader034.vdokument.com/reader034/viewer/2022042907/5875dd941a28ab7d5a8b4691/html5/thumbnails/23.jpg)
SETUP
FAIL 1: CEPH
▸ Ceph maintenance mode
▸ “ceph osd set noout”
![Page 24: Unser Weg zum Frankenstack](https://reader034.vdokument.com/reader034/viewer/2022042907/5875dd941a28ab7d5a8b4691/html5/thumbnails/24.jpg)
SETUP
KILO
▸ Konfigurationsänderungen nachziehen
▸ Fehler im Log fixen
▸ Updatedauer ca. 5h
![Page 25: Unser Weg zum Frankenstack](https://reader034.vdokument.com/reader034/viewer/2022042907/5875dd941a28ab7d5a8b4691/html5/thumbnails/25.jpg)
STORAGE
CEPH - MR. SLOW HAND
▸ hohe Latenz
▸ Automatisierte Tests
▸ 1x, 2x, 4x, 8x
▸ Latenz bleibt gleich, IOPS skalieren
![Page 26: Unser Weg zum Frankenstack](https://reader034.vdokument.com/reader034/viewer/2022042907/5875dd941a28ab7d5a8b4691/html5/thumbnails/26.jpg)
STORAGE
TUNING
▸ Journal disks
▸ 15k RPM Disks + NVRAM Cache
▸ Replication size
▸ min_size=1, size=1
![Page 27: Unser Weg zum Frankenstack](https://reader034.vdokument.com/reader034/viewer/2022042907/5875dd941a28ab7d5a8b4691/html5/thumbnails/27.jpg)
STORAGE
NVME
▸ freie PCIe slots
▸ keine spezielle Backplane
▸ schnell, schneller, NVMe
▸ Intel DC P3700, 400 GB
![Page 28: Unser Weg zum Frankenstack](https://reader034.vdokument.com/reader034/viewer/2022042907/5875dd941a28ab7d5a8b4691/html5/thumbnails/28.jpg)
STORAGE
SSD CACHE
▸ 4x 130 GB auf NVMe
▸ I/O Performance vergleichbar
▸ solange Cache nicht voll
▸ “großer” Cache mit mehr OSDs?
![Page 29: Unser Weg zum Frankenstack](https://reader034.vdokument.com/reader034/viewer/2022042907/5875dd941a28ab7d5a8b4691/html5/thumbnails/29.jpg)
STORAGE
FAIL 2: TARGET_MAX_BYTES - DIE ERSTE
▸ Ceph defaults mal wieder
▸ Cache läuft voll
▸ trotz cache_target_full_ratio
▸ Recovery dank LVM
![Page 30: Unser Weg zum Frankenstack](https://reader034.vdokument.com/reader034/viewer/2022042907/5875dd941a28ab7d5a8b4691/html5/thumbnails/30.jpg)
STORAGE
FAIL 3: TARGET_MAX_BYTES - DIE ZWEITE
▸ Cache läuft wieder voll
▸ size=2 ein kalkulieren
![Page 31: Unser Weg zum Frankenstack](https://reader034.vdokument.com/reader034/viewer/2022042907/5875dd941a28ab7d5a8b4691/html5/thumbnails/31.jpg)
UPGRADE
LIBERTY
▸ Liberty Upgrade mit B1
▸ “HA-Reihenfolge”
▸ ebenfalls ca. 1 Tag
![Page 32: Unser Weg zum Frankenstack](https://reader034.vdokument.com/reader034/viewer/2022042907/5875dd941a28ab7d5a8b4691/html5/thumbnails/32.jpg)
DIE ZUKUNFT
NEUE HARDWARE
▸ NVMe Cache pool (1,2 TB)
▸ Compute / Storage trennen
![Page 33: Unser Weg zum Frankenstack](https://reader034.vdokument.com/reader034/viewer/2022042907/5875dd941a28ab7d5a8b4691/html5/thumbnails/33.jpg)
DIE ZUKUNFT
NEUE HARDWARE
▸ Bereits bestellt, 2x:
▸ 2x 18 Core XEON
▸ 512 GB RAM
▸ 300 GB Boot-HDDs
▸ 8x NVMe SSDs für reinen Cache Pool
![Page 34: Unser Weg zum Frankenstack](https://reader034.vdokument.com/reader034/viewer/2022042907/5875dd941a28ab7d5a8b4691/html5/thumbnails/34.jpg)
DIE ZUKUNFT
AUSFALLSICHERHEIT / MAINTAINABILITY
▸ 2ter Controller
▸ evtl. 2ter Switch
▸ Dienste in VMs
![Page 35: Unser Weg zum Frankenstack](https://reader034.vdokument.com/reader034/viewer/2022042907/5875dd941a28ab7d5a8b4691/html5/thumbnails/35.jpg)
ZUSAMMENFASSUNG
WAS HABEN WIR GELERNT?
▸ Ausprobieren
▸ keine Angst vorm Umbau
▸ Dont’s auch mal ignorieren ;)
![Page 36: Unser Weg zum Frankenstack](https://reader034.vdokument.com/reader034/viewer/2022042907/5875dd941a28ab7d5a8b4691/html5/thumbnails/36.jpg)
ZUSAMMENFASSUNG
ANDERS MACHEN?
▸ Controller Dienste in VMs
▸ Ceph Journal SSDs direkt einkalkulieren
▸ Evtl. Storage auf SSD only?
▸ Geringere Ansprüche an uns
▸ wir sind keine Vollzeit-Ops
▸ Flache Netzwerk Konfiguration
![Page 37: Unser Weg zum Frankenstack](https://reader034.vdokument.com/reader034/viewer/2022042907/5875dd941a28ab7d5a8b4691/html5/thumbnails/37.jpg)
ZUSAMMENFASSUNG
CEPH
▸ expect the unexpected
▸ mehr verstehen
▸ weniger trial ’n error
▸ weiter optimieren
![Page 38: Unser Weg zum Frankenstack](https://reader034.vdokument.com/reader034/viewer/2022042907/5875dd941a28ab7d5a8b4691/html5/thumbnails/38.jpg)
ZUSAMMENFASSUNG
ALLGEMEIN
▸ Aktuell 120 VMs, 400 vCPUs, 800 GB RAM
▸ vgl. Amazon AWS ca. 16k USD / Monat
▸ Ceph im Schnitt > 2000 IOPS
▸ Bisher alles sehr positiv!
▸ Ausbauen und lernen
▸ jetzt kommt der Betrieb
![Page 39: Unser Weg zum Frankenstack](https://reader034.vdokument.com/reader034/viewer/2022042907/5875dd941a28ab7d5a8b4691/html5/thumbnails/39.jpg)
ZUSAMMENFASSUNG
Q & A
▸ Fragen?
![Page 40: Unser Weg zum Frankenstack](https://reader034.vdokument.com/reader034/viewer/2022042907/5875dd941a28ab7d5a8b4691/html5/thumbnails/40.jpg)
ZUSAMMENFASSUNG
VIELEN DANK
▸ Wo bleibt das Bier und die Pizza?!?
![Page 41: Unser Weg zum Frankenstack](https://reader034.vdokument.com/reader034/viewer/2022042907/5875dd941a28ab7d5a8b4691/html5/thumbnails/41.jpg)
LICENSES
▸ https://creativecommons.org/licenses/by/2.0/ ▸ David Goehring - It Looks Insoluble https://www.flickr.com/photos/carbonnyc/