Ceph Introduction @GPN15
date post
09-Aug-2015Category
Documents
view
47download
0
Embed Size (px)
Transcript of Ceph Introduction @GPN15
- 1. Ceph Distributed Storage Julian mino Klinck GPN15 - 05.06.2015
- 2. 2 Julian mino Ceph ! Karlsruhe [email protected] twitter.com/julianklinck" # $ Interessen: Netzwerke Hardware Cocktails Hacking Musik- und Lichttechnik
- 3. 3 Julian mino Klinck Ceph ! Karlsruhe [email protected] # $ Ceph Seit 2014 Storage Lsung fr die Company Cloud
- 4. 4 Inhalt % 1 2 3 4 Einfuehrung Ceph Basics Verteilung 5 6 Sicherheit Q & A Storage Allgemein Im Speziellen OSD, Monitor, MDS PGs, Crush, Angriffsvektoren Ceph
- 5. Einfhrung Storage Allgemein &
- 6. 6 Storage ' Ceph Die Datenhalde Benutzer Speicher
- 7. 7 Storage ' Ceph Mehrere Benutzer Benutzer Speicher Benutzer Benutzer Benutzer Benutzer Benutzer Benutzer Benutzer Benutzer Benutzer Benutzer Storage Controller
- 8. 8 Storage ' Ceph Mehrere Disks Benutzer Speicher Benutzer Benutzer Benutzer Benutzer Benutzer Benutzer Benutzer Benutzer Benutzer Benutzer Storage Controller Speicher Speicher Speicher Speicher Speicher Speicher
- 9. 9 Storage ' Ceph Darf es etwas mehr sein? Benutzer Speicher Benutzer Benutzer Benutzer Benutzer Benutzer Benutzer Benutzer Benutzer Benutzer Benutzer Speicher Speicher Speicher Speicher Speicher Speicher Storage Controller
- 10. 10 Storage ' Ceph Alles eine Skalierungsfrage Benutzer Speicher Benutzer Benutzer Benutzer Benutzer Benutzer Benutzer Benutzer Benutzer Benutzer Benutzer Speicher Speicher Speicher Speicher Speicher SpeicherController Controller Controller Controller Controller Controller Controller
- 11. 11 Storage ' Ceph Alles eine Skalierungsfrage Benutzer Speicher Benutzer Benutzer Benutzer Benutzer Benutzer Benutzer Benutzer Benutzer Benutzer Benutzer Speicher Speicher Speicher Speicher Speicher SpeicherController Controller Controller Controller Controller Controller Controller Propiertre Software Propiertre Hardware NFS HTTP RAW
- 12. 12 Ceph ' berblick LGPL 2.1 Community getrieben Skalierbar Algorithmus aus Forschungsarbeit Kein Single-Point-Of-Failure Software basiert Selbstkontrollierend Ceph
- 13. Basics( Systeme, OSD, MONITOR, MDS
- 14. 14 Systeme ' Bits und Bytes RADOS A reliable, autonomous, distributed object store comprised of self-healing, self- managing, intelligent storage nodes LIBRADOS A library allowing apps to directly access RADOS, with support for C, C++, Java, Python, Ruby, RBD A reliable and fully- distributed block device, with a Linux kernel client and a QEMU/KVM driver CEPH FS A POSIX-compliant distributed file system, with a Linux kernel client and support for FUSE RADOSGW A bucket-based REST gateway, compatible with S3 and Swift APP APP HOST/VM CLIENT Quelle: Ceph
- 15. 15 OSDs ' Bits und Bytes Eine Festplatte = Eine OSD Datenspeicher Replikation Recovery Backfilling Rebelancing Monitoring Minimum 2 Speichermedien DISKOSD DISKOSD Ceph
- 16. 16 OSDs ' Bits und Bytes DISK FS DISK DISK OSD DISK DISK OSD OSD OSD OSD FS FS FSFS btrfs xfs ext4 MMM Quelle: Ceph
- 17. 17 MONs ' Cluster Status Cluster Mitglieder und Status Consensus Verteile Entscheidungen Wenige notwendig Kein User Zugriff Ceph
- 18. Datenzugriff 18 LIBRADOS ) Zugriff fuer alle RADOS Applikationen C, C++, Python, PHP, Java, Erlang Direkter Zugriff auf OSDs Kein HTTP Overhead Ceph
- 19. 19 RadosGW ' Object Storage Quelle: Ceph
- 20. 20 ) REST proxy Backend Rados API fr Buckets Accounts Accounting S3 und Swift Kompatibel RadosGW Object Storage Ceph
- 21. 21 RBD ' Block Storage Quelle: Ceph
- 22. 22 RBD ' Block Storage Quelle: Ceph
- 23. 23 ) Festplatten Abbilder VMs losgelst von Hosts Abbilder werden verteilt gespeichert (striping) Snapshots Copy-on-write Untersttzung: Kernel 2.6.39+ Qemu/KVM OpenStack, CloudStack, Nebula, Proxmox Rados Block Device Rohe Bytes Ceph
- 24. 24 MDS ' Meta Data Server Quelle: Ceph
- 25. 25 ) Metadaten fr POSIX-Kompatibles Filesystem Verzeichnissstruktur Dateien Metadaten (Besitzer, Speicherzeit, Rechte..) Metadaten in RADOS Liefert keine Dateiinhalte Nur fr geteiltes Dateisystem (CephFS) MDS Meta Data Server Ceph
- 26. Verteilung( PGs, Crush, Mons
- 27. 27 CRUSH ' Wenn ihr wirklich richtig steht Quelle: Ceph
- 28. 28 CRUSH ' Wenn ihr wirklich richtig steht Quelle: Ceph
- 29. 29 ) Pseudo-Randomiserter Verteilungs Algo Schnell Deterministisch und Wiederholbar Statistisch gleichverteilt Stabile Zuweisungen Topologie-Aware Definierbare Replikation Gewichtung CRUSH Objekte sinnvoll verteilen Ceph
- 30. 30 Copy-on-Write ' Schaufeln wenn es bentigt wird Quelle: Ceph
- 31. 31 Copy-on-Write ' Schaufeln wenn es bentigt wird Quelle: Ceph
- 32. 32 Copy-on-Write ' Schaufeln wenn es bentigt wird Quelle: Ceph
- 33. 33 Copy-on-Write ' Schaufeln wenn es bentigt wird Quelle: Ceph
- 34. 34 Metadata ' Skalierbarkeit Quelle: Ceph
- 35. 35 Metadata ' Skalierbarkeit Quelle: Ceph
- 36. Sicherheit* Angriffsvektoren
- 37. 37 Angriffsvektoren * Client Cluster Sessions nicht verschlsselt Session Tokens Keyrings auf dem MDS Pool Separierung S3 / Swift API DOS API requests I/O Last Ceph
- 38. DANKE FR DIE AUFMERKSAMKEIT FRAGEN? +
- 39. ARCAMA VIEL SPASS AUF DER GPN15
