Ceph–SoftwareDefinedStoragefür dieCloud€¦ · Ceph–SoftwareDefinedStoragefür dieCloud...

Post on 26-Jul-2020

4 views 0 download

Transcript of Ceph–SoftwareDefinedStoragefür dieCloud€¦ · Ceph–SoftwareDefinedStoragefür dieCloud...

Ceph – Software Defined Storage fürdie CloudCeBIT 2016 15. März 2015

Michel RodeLinux/Unix Consultant & Trainer

B1 Systems GmbHrode@b1-systems.de

B1 Systems GmbH - Linux/Open Source Consulting, Training, Support & Development

Vorstellung B1 Systems

gegründet 2004primär Linux/Open Source-Themennational & international tätigüber 70 Mitarbeiterunabhängig von Soft- und Hardware-HerstellernLeistungsangebot:

Beratung & ConsultingSupportEntwicklungTrainingBetriebLösungen

dezentrale Strukturen

B1 Systems GmbH Ceph – Software Defined Storage für die Cloud 2 / 36

SchwerpunkteVirtualisierung (XEN, KVM & RHEV)Systemmanagement (Spacewalk, Red Hat Satellite, SUSEManager)Konfigurationsmanagement (Puppet & Chef)Monitoring (Nagios & Icinga)IaaS Cloud (OpenStack & SUSE Cloud & RDO)Hochverfügbarkeit (Pacemaker)Shared Storage (GPFS, OCFS2, DRBD & CEPH)Dateiaustausch (ownCloud)Paketierung (Open Build Service)Administratoren oder Entwickler zur Unterstützung des Teamsvor Ort

B1 Systems GmbH Ceph – Software Defined Storage für die Cloud 3 / 36

Storage Cluster

B1 Systems GmbH Ceph – Software Defined Storage für die Cloud 4 / 36

Was sind Storage Cluster?

hochverfügbare Systemeverteilte Standorteskalierbar (mehr oder weniger)Problem: Häufig Vendor-Lock-In80%+ basieren auf FC

B1 Systems GmbH Ceph – Software Defined Storage für die Cloud 5 / 36

Beispiele 1/2

Dell PowerVaultIBM SVCNetApp Metro ClusterNetApp Clustered Ontap. . .

B1 Systems GmbH Ceph – Software Defined Storage für die Cloud 6 / 36

Beispiele 2/2

AWS S3Rackspace FilesGoogle Cloud StorageMicrosoft Azure

B1 Systems GmbH Ceph – Software Defined Storage für die Cloud 7 / 36

Alternativen

DRBDCEPH. . .

B1 Systems GmbH Ceph – Software Defined Storage für die Cloud 8 / 36

Was ist Ceph?

B1 Systems GmbH Ceph – Software Defined Storage für die Cloud 9 / 36

Was ist Ceph?

Storage Cluster (Distributed Object Store)Open Source (LGPL)Object/Block/File Storage

B1 Systems GmbH Ceph – Software Defined Storage für die Cloud 10 / 36

Ziele bei der Entwicklung von Ceph

kein SPOF (Single Point of Failure)hohe Skalierbarkeitgute Parallelisierung

B1 Systems GmbH Ceph – Software Defined Storage für die Cloud 11 / 36

Block Storage

Block Storage:Files werdengesplittet → Blocksjeweils eigeneAdressekeine Metadata

B1 Systems GmbH Ceph – Software Defined Storage für die Cloud 12 / 36

Block Storage

RADOS Block Device/RBDIntegration in KVM

OpenStackSUSE OpenStack CloudProxmox

resizeable imagesread-only snapshotsrevert to snapshots

B1 Systems GmbH Ceph – Software Defined Storage für die Cloud 13 / 36

Object Storage

Data – Bilder bis Manuals bis VideosMetadata – Kontextinformationen für die DatenIndex/Identifier – natürlich unique!

B1 Systems GmbH Ceph – Software Defined Storage für die Cloud 14 / 36

Object vs. Block

Quelle: http://www.druva.com/wp-content/uploads/Screen-Shot-2014-08-18-at-11.02.02-AM-500x276.png

B1 Systems GmbH Ceph – Software Defined Storage für die Cloud 15 / 36

File Storage

„Stronger data safety for mission-critical applications“POSIX-konformautomatisches Verteilen – bessere Performance!CephFS

B1 Systems GmbH Ceph – Software Defined Storage für die Cloud 16 / 36

Gateway/RGW

RESTful APIInterface für

OpenStack SwiftAmazon S3

B1 Systems GmbH Ceph – Software Defined Storage für die Cloud 17 / 36

Aufbau von Ceph

B1 Systems GmbH Ceph – Software Defined Storage für die Cloud 18 / 36

Aufbau von Ceph

Object Storage Device – OSDMonitor – MONMetadata Server – MDS

B1 Systems GmbH Ceph – Software Defined Storage für die Cloud 19 / 36

Aufbau

B1 Systems GmbH Ceph – Software Defined Storage für die Cloud 20 / 36

Funktionsweise von Ceph

B1 Systems GmbH Ceph – Software Defined Storage für die Cloud 21 / 36

Funktionsweise von Ceph

automatisches Verteilen und Replizieren der DatenRAID-0CRUSH MapClient kommuniziert direkt mit allen Systemen im Cluster

B1 Systems GmbH Ceph – Software Defined Storage für die Cloud 22 / 36

Funktionsweise von Ceph

B1 Systems GmbH Ceph – Software Defined Storage für die Cloud 23 / 36

ceph-mon – Ceph Monitor Daemon

Map – aktive/inaktive Nodesmindestens 1hochverfügbar!mit Paxos zum Quorum (2/3, 3/5)

B1 Systems GmbH Ceph – Software Defined Storage für die Cloud 24 / 36

ceph-osd – Ceph Object Storage Daemon1/4

kann und darf ausfallenmindestens drei Knotenparalleler ZugriffCRUSH-Map

B1 Systems GmbH Ceph – Software Defined Storage für die Cloud 25 / 36

ceph-osd – Ceph Object Storage Daemon2/4

Object → File → Disk

TabelleID Binary Metadata1234 100101 name1 value14321 010010 name2 value2

Semantik liegt beim ClientID ist eindeutig

B1 Systems GmbH Ceph – Software Defined Storage für die Cloud 26 / 36

ceph-osd – Ceph Object Storage Daemon3/4

Dateisystem:

Test-Umgebungen:BTRFSZFS

Produktiv-Systeme:ext3 (kleine Umgebung)XFS (Enterprise-Umgebung)

B1 Systems GmbH Ceph – Software Defined Storage für die Cloud 27 / 36

ceph-osd – Ceph Object Storage Daemon4/4

Daten werden erst in Journal geschriebenTipp: 4 OSD pro SSD

B1 Systems GmbH Ceph – Software Defined Storage für die Cloud 28 / 36

ceph-mds – Ceph Metadata Server Daemon

speichert Inodes und Directorieserforderlich für CephFSkein separater Speicher

B1 Systems GmbH Ceph – Software Defined Storage für die Cloud 29 / 36

CRUSH Maps

Quelle: http://www.sebastien-han.fr/images/ceph-data-placement.jpg

CRUSH – ControlledReplication UnderScalable HashingDatei (oid) → Objekt(pgid) → PGs →CRUSH (pgid) →osd1,osd2Jeder mit Jedem!Platzierungsregeln

B1 Systems GmbH Ceph – Software Defined Storage für die Cloud 30 / 36

War das alles?

PoolsReplicatedErasure Coding

TieringFederationChefCalamariBackend for LIO (lrbd)

B1 Systems GmbH Ceph – Software Defined Storage für die Cloud 31 / 36

Calamari 1/2

B1 Systems GmbH Ceph – Software Defined Storage für die Cloud 32 / 36

Calamari 2/2

B1 Systems GmbH Ceph – Software Defined Storage für die Cloud 33 / 36

Openstack & Ceph 1/2

B1 Systems GmbH Ceph – Software Defined Storage für die Cloud 34 / 36

Openstack & Ceph 2/2

GlanceUpload, Download, Status, Snapshots, ...

CinderVolumes, Boot Volume, Resizing, ...

NovaLive-Migration, Ephemeral, ...

B1 Systems GmbH Ceph – Software Defined Storage für die Cloud 35 / 36

Vielen Dank für Ihre Aufmerksamkeit!

Bei weiteren Fragen wenden Sie sich bitte an info@b1-systems.deoder +49 (0)8457 - 931096.

Besuchen Sie uns auch hier auf der CeBIT,Halle 3, D36/410.

B1 Systems GmbH - Linux/Open Source Consulting, Training, Support & Development