Active/Active HA Clustering mit einem Cluster-Filesystem ... · Slide 22 Herausforderungen Samba...

35
Slide 1 Herzlich Willkommen Herzlich Willkommen zum Vortrag zum Vortrag Active/Active HA Clustering Active/Active HA Clustering mit einem Cluster-Filesystem mit einem Cluster-Filesystem am Beispiel von Samba am Beispiel von Samba Referent: Marc Grimme Referent: Marc Grimme Datum: 04.03.2006 / Chemnitzer Linux-Tage Datum: 04.03.2006 / Chemnitzer Linux-Tage [email protected] [email protected]

Transcript of Active/Active HA Clustering mit einem Cluster-Filesystem ... · Slide 22 Herausforderungen Samba...

Page 1: Active/Active HA Clustering mit einem Cluster-Filesystem ... · Slide 22 Herausforderungen Samba Active/Active Servertyp Domain/ADS Member PDC/ADS Server?? Usermapping Persistent

Slide 1

Herzlich WillkommenHerzlich Willkommen

zum Vortragzum Vortrag

Active/Active HA ClusteringActive/Active HA Clusteringmit einem Cluster-Filesystem mit einem Cluster-Filesystem am Beispiel von Sambaam Beispiel von Samba

Referent: Marc GrimmeReferent: Marc Grimme

Datum: 04.03.2006 / Chemnitzer Linux-TageDatum: 04.03.2006 / Chemnitzer Linux-Tage

[email protected]@atix.de

Page 2: Active/Active HA Clustering mit einem Cluster-Filesystem ... · Slide 22 Herausforderungen Samba Active/Active Servertyp Domain/ADS Member PDC/ADS Server?? Usermapping Persistent

Slide 2

Inhalt

Über ATIX

HA-Cluster Grundlagen

Cluster Filesystem Grundlagen

Samba und das Clusterfilesystem GFS

Ausblick

Page 3: Active/Active HA Clustering mit einem Cluster-Filesystem ... · Slide 22 Herausforderungen Samba Active/Active Servertyp Domain/ADS Member PDC/ADS Server?? Usermapping Persistent

Slide 3

ATIX Geschäftsfelder

BeratungLinux im Datacenter (Cluster-Lösungen, HA)

Speichernetzwerke

Verfügbarkeitsanalyse / Katastrophenvorsorge

ServicesCompetence Center

Proof of Concept

Projektbegleitung

Installation / Produktion

Workshops / Schulungen

Page 4: Active/Active HA Clustering mit einem Cluster-Filesystem ... · Slide 22 Herausforderungen Samba Active/Active Servertyp Domain/ADS Member PDC/ADS Server?? Usermapping Persistent

Slide 4

ATIX – ausgewählte ReferenzprojekteCom.oonics Enterprise IT-Plattform

Leipziger-MesseInfrastruktur für die Unix/Windows Benutzer- und Gruppendaten der Mitarbeiter der Leipizger MesseHochverfügbarkeitsplattform

IP-TechInfrastruktur für Internetservice Provider (TOP 5, Schweiz)

Business Continuance

Messe München InternationalInfrastruktur für die Webservices der Messe

Hochverfügbarkeitsplattform

Int. Pharma Konzern Consulting für Pharma-IT Speicherlandschaft

Konzept zur Katastrophenvorsorge

Page 5: Active/Active HA Clustering mit einem Cluster-Filesystem ... · Slide 22 Herausforderungen Samba Active/Active Servertyp Domain/ADS Member PDC/ADS Server?? Usermapping Persistent

Slide 5

Enterprise IT-Plattform

Page 6: Active/Active HA Clustering mit einem Cluster-Filesystem ... · Slide 22 Herausforderungen Samba Active/Active Servertyp Domain/ADS Member PDC/ADS Server?? Usermapping Persistent

Slide 6

Enterprise IT-PlattformModulare Linux IT-Plattform

com.oonics NAS-Seriecom.oonics NASBox, NASHead, NASHead HA, NASCluster

Maßgeschneiderte NAS-Lösung für NAS-Applikationen

com.oonics Infra-Seriecom.oonics InfraBox, InfraHead, InfraHead HA, InfraCluster

Multipurpose Server für verschiedenste Einsatzgebiete (z.B. Datenbanken, Web-Server)

Page 7: Active/Active HA Clustering mit einem Cluster-Filesystem ... · Slide 22 Herausforderungen Samba Active/Active Servertyp Domain/ADS Member PDC/ADS Server?? Usermapping Persistent

© nb-team 2003 neumark business team GmbH, Frauenbergstr. 13a, D - 85402 Kranzberg, FON 08166/ 675 660, www.nb-team.dewww.nb-team.de 7

7

Das Baukastensystem der Enterprise IT-Plattform

Server Server Server Server Server

Server Server Server

Server

Server Server

Server Server Server Server

Application-Virtualization

Storage Virtualization

High A

vailabilitySin

gels

yste

m

Man

agem

ent

MySQL

Apache

Mail

Oracle

Samba/NFS

Page 8: Active/Active HA Clustering mit einem Cluster-Filesystem ... · Slide 22 Herausforderungen Samba Active/Active Servertyp Domain/ADS Member PDC/ADS Server?? Usermapping Persistent

Slide 8

Case Study: NAS

Reduzierung der Kapitalbindung

Bessere Ausnutzung der Ressourcen

Investitionsschutz

Bei Bedarf Skalierbarkeit

Höhere Verfügbarkeit

Industrie Standard Hardware

File

Server

NAS NAS SAN

Active/Active NAS ClusterFile Server und proprietäre NAS

Appliance Server

Page 9: Active/Active HA Clustering mit einem Cluster-Filesystem ... · Slide 22 Herausforderungen Samba Active/Active Servertyp Domain/ADS Member PDC/ADS Server?? Usermapping Persistent

Slide 9

Inhalt

Über ATIX

HA-Cluster Grundlagen

Cluster Filesystem Grundlagen

Samba und das Clusterfilesystem GFS

Ausblick

Page 10: Active/Active HA Clustering mit einem Cluster-Filesystem ... · Slide 22 Herausforderungen Samba Active/Active Servertyp Domain/ADS Member PDC/ADS Server?? Usermapping Persistent

Slide 10

HA Cluster Active/Active

Konzept:

Auf jeden Knoten laufen unterschiedliche Dienste

Dadurch ist jeder Knoten aktiv und passiv zugleich

Im Fehlerfall gibt es aber Performanceeinbussen

An sonsten gilt das gleiche wie für Active/Passive Cluster

HeartbeatServer I

active/(passive)

Server II

(passive)/active

Page 11: Active/Active HA Clustering mit einem Cluster-Filesystem ... · Slide 22 Herausforderungen Samba Active/Active Servertyp Domain/ADS Member PDC/ADS Server?? Usermapping Persistent

Slide 11

HA Cluster N+1

Konzept:

Es werden um einen mehr Server verwendet als notwendig (N+1)

Das heisst der Cluster kann den Ausfall eines Knoten ohne

Performanceeinbussen hinnehmen

N+2, N+3 für grössere Ns auch möglich

Typischerweise unterstützen HA-Software maximal ca. 16 Server

Dieses Konzept kann auch für NLB Cluster hergenommen werden

Shared Storage

Heartbeat Netzwerk

Page 12: Active/Active HA Clustering mit einem Cluster-Filesystem ... · Slide 22 Herausforderungen Samba Active/Active Servertyp Domain/ADS Member PDC/ADS Server?? Usermapping Persistent

Slide 12

HA Cluster: Split Brain Problem

Frage: „Was passiert, wenn sich der Cluster sich teilt ?“

Heartbeat

Ich bin alleine ! Ich bin alleine !

Server A

Schreibt auf

Filesystem !

Server B

Schreibt auf

Filesystem !

Datenkorruption ?!?

Page 13: Active/Active HA Clustering mit einem Cluster-Filesystem ... · Slide 22 Herausforderungen Samba Active/Active Servertyp Domain/ADS Member PDC/ADS Server?? Usermapping Persistent

Slide 13

Stateless und Statefull Services

Problem des transparenten Failovers

Theoretisch muss der Dienst in genau dem gleichen Zustand auf dem 2. Knoten wieder laufen

Dienste, die stateless sind, speichern im Memory keine clientabhängigen Zustände ab

=> Transparenter Failover ist kein Problem

Dienste, die Zustände im Memory haben, müssen die Möglichkeit bieten diese persistent zu machen

Page 14: Active/Active HA Clustering mit einem Cluster-Filesystem ... · Slide 22 Herausforderungen Samba Active/Active Servertyp Domain/ADS Member PDC/ADS Server?? Usermapping Persistent

Slide 14

Stateless und Statefull Services

Statefull Services:

Perfektes Beispiel: DBMS

Lösung: Write-Logs, Redo-Logs etc.

Aber auch Dienste wie NFS/CIFS können statefull sein

Es ist in diesem Fall immer notwendig, dass solche Dienste auch von der HA-Software unterstützt werden

Meist geschieht das über spezielle Resource-Types

Werden statefull Services ohne entsprechenden Support gefailovert, kann es zu Datenverlust kommen

Page 15: Active/Active HA Clustering mit einem Cluster-Filesystem ... · Slide 22 Herausforderungen Samba Active/Active Servertyp Domain/ADS Member PDC/ADS Server?? Usermapping Persistent

Slide 15

Inhalt

Über ATIX

HA-Cluster Grundlagen

Cluster Filesystem Grundlagen

Samba und das Clusterfilesystem GFS

Ausblick

Page 16: Active/Active HA Clustering mit einem Cluster-Filesystem ... · Slide 22 Herausforderungen Samba Active/Active Servertyp Domain/ADS Member PDC/ADS Server?? Usermapping Persistent

Slide 16

Skalierbarkeit

Page 17: Active/Active HA Clustering mit einem Cluster-Filesystem ... · Slide 22 Herausforderungen Samba Active/Active Servertyp Domain/ADS Member PDC/ADS Server?? Usermapping Persistent

Seite 17

Skalierbarkeit Storage-Cluster

SAN + Linux + Data Sharing = Incremental Computing• Incrementally and independently add compute, I/O and storage capacity• Avoid architectural or application changes• Lower cost of deployment and management

Servers SAN Storage

Data

 Sha

ring 

Serv

ices

Data

 Sha

ring 

Serv

ices

Page 18: Active/Active HA Clustering mit einem Cluster-Filesystem ... · Slide 22 Herausforderungen Samba Active/Active Servertyp Domain/ADS Member PDC/ADS Server?? Usermapping Persistent

Seite 18

Shared Storage Cluster

Data SharingPeer to Peer KommunikationCluster FilesystemServer Cluster

Active/Active

Storage ClusterStorage PoolingVolume Manager

Hochleistungs SpeichernetzwerkManagement ??

Page 19: Active/Active HA Clustering mit einem Cluster-Filesystem ... · Slide 22 Herausforderungen Samba Active/Active Servertyp Domain/ADS Member PDC/ADS Server?? Usermapping Persistent

Slide 19

Diskless Shared Root ClusterData SharingShared Root Partition (/)Cluster Filesystem

DatenSystem

SSI auf FS Ebene

Management !!

SkalierbarkeitPerformanceStorage Cluster

Clusterknoten ohne lokale Disks 

Zentraler Disk­Speicherpool

I/O Pfade

Systempartition

Datenpartition

Legende: 

System: Cluster File SystemDaten: Cluster File System

Page 20: Active/Active HA Clustering mit einem Cluster-Filesystem ... · Slide 22 Herausforderungen Samba Active/Active Servertyp Domain/ADS Member PDC/ADS Server?? Usermapping Persistent

Slide 20

Global Filesystem (GFS)Entwicklung seit 1995

University of Minnesota - Sistina - Red Hat Version 6.1

Symetrisches Cluster DateisystemVollwertiges POSIX DateisystemDirect IO (Datenbanken)HA Locking Server (GULM) Distributed Lock Manager (DLM)Online vergrößerbar Context Dependent Path NamesCluster Volume ManagerWeiteres: ACLs, Quotas, Multipath

Page 21: Active/Active HA Clustering mit einem Cluster-Filesystem ... · Slide 22 Herausforderungen Samba Active/Active Servertyp Domain/ADS Member PDC/ADS Server?? Usermapping Persistent

Slide 21

Inhalt

Über ATIX

HA-Cluster Grundlagen

Cluster Filesystem Grundlagen

Samba und das Clusterfilesystem GFS

Ausblick

Page 22: Active/Active HA Clustering mit einem Cluster-Filesystem ... · Slide 22 Herausforderungen Samba Active/Active Servertyp Domain/ADS Member PDC/ADS Server?? Usermapping Persistent

Slide 22

Herausforderungen SambaActive/Active

Servertyp

Domain/ADS Member

PDC/ADS Server??

Usermapping

Persistent (LDAP, RID-mapping, ..)

Filesystem

ACLs

Paralleler Zugriff???

Share1->Server1 Share2->Server2

Page 23: Active/Active HA Clustering mit einem Cluster-Filesystem ... · Slide 22 Herausforderungen Samba Active/Active Servertyp Domain/ADS Member PDC/ADS Server?? Usermapping Persistent

Slide 23

Herausforderungen SambaActive/Active

TDB-Dateien

GFS vs. Non GFS

Single Sign-On für Windows und Unix/Linux

Windows User (PDS/ADS) -> Server Typ

Unix User (passwd, yp/nis, ldap) -> Server Typ

Virtueller Name und Server Name

Konfigurationsdateien pro Share vs. globale Konfigurationsdatei

Winbind Failover vs No Failover

Page 24: Active/Active HA Clustering mit einem Cluster-Filesystem ... · Slide 22 Herausforderungen Samba Active/Active Servertyp Domain/ADS Member PDC/ADS Server?? Usermapping Persistent

Slide 24

Browsing und Samba Servertyp

Browsing

Domain Master Browser

Local Master Browser

Der Parameter OS Level

Servertyp/Security: ADS

ADS: als ADS Domain Member

User: Server authentifiziert nur lokale Benutzer

Server: Erst wird versucht gegen einen anderen NT-Server zu autentifizieren dann lokale User

Domain: speziel für NT-Domain Members

Page 25: Active/Active HA Clustering mit einem Cluster-Filesystem ... · Slide 22 Herausforderungen Samba Active/Active Servertyp Domain/ADS Member PDC/ADS Server?? Usermapping Persistent

Slide 25

Usermapping

Was wird gemappt?

Windows User Ids (SIDs) auf Unix User-Ids (winbind)

Statische Tabellen

Via LDAP

Via RID-Mappings

Wichtig für HA-Cluster ist ein persistentes Mapping

Unix User auf Windowsuser IDs erfolgt dynamisch

Page 26: Active/Active HA Clustering mit einem Cluster-Filesystem ... · Slide 22 Herausforderungen Samba Active/Active Servertyp Domain/ADS Member PDC/ADS Server?? Usermapping Persistent

Slide 26

Samba und Cluster Filesysteme

Posix-ACLs bilden Windows Berechtigungen auf Unix Filesysteme ab

Windows Clients unterscheiden zwischen NT-ACLs und Windows 2000 ACLs (Parameter acl compatibility = auto|winnt|win2k)

Temporäre Samba Dateien (tdbs) müssen im Active/Active Cluster Hostabhängig gemacht werden (CDSL)

Teilweise können diese auch im RAMFS gespeichert werden (bessere Performance)

Page 27: Active/Active HA Clustering mit einem Cluster-Filesystem ... · Slide 22 Herausforderungen Samba Active/Active Servertyp Domain/ADS Member PDC/ADS Server?? Usermapping Persistent

Slide 27

Samba Active/Active

Was wird unter Samba Active/Active zu verstehen?

Unterschiedliche Server können nicht die gleichen Shares exportieren (selbst mit Hilfe eines Cluster Filesystemes)

Dafür müsste Samba diesen Mechanismus anbieten und die Clients diesen Unterstützen.

ABER: mit Hilfe eines CFS können Shares flexibel „im Betrieb“ verschoben werden

Trotzdem gelten im Bezug auf Zugriff und Locking die gleichen Regeln wie immer

Page 28: Active/Active HA Clustering mit einem Cluster-Filesystem ... · Slide 22 Herausforderungen Samba Active/Active Servertyp Domain/ADS Member PDC/ADS Server?? Usermapping Persistent

Slide 28

TDB-Dateien

TDB Dateien sind Samba-eigene Datenbank Dateien für

Locking Informationen (gültig nur während der Laufzeit)

User-/Groupmappings (Cache)

SIDs und sonstige Sicherheitsrelevante Infos

...

TDB Dateien sind Prozess abhängig und können via smb.conf in entsprechende Verzeichnisse gelegt werden (lock directory)

Page 29: Active/Active HA Clustering mit einem Cluster-Filesystem ... · Slide 22 Herausforderungen Samba Active/Active Servertyp Domain/ADS Member PDC/ADS Server?? Usermapping Persistent

Slide 29

Single Sign On

Gleiche Benutzer (Namen, Passwörter und Identitäten)

D.h. Linux muss Windowspasswörter vergleichen können (Kerberos)

PAM, Winbind

SIDs/RIDs müssen auf Unix UIDs/GIDs gemappt werden können

Das kann statisch erfolgen Administrator=>root

Das kann automatisch erfolgen Windows User marc=> Unix User marc

Page 30: Active/Active HA Clustering mit einem Cluster-Filesystem ... · Slide 22 Herausforderungen Samba Active/Active Servertyp Domain/ADS Member PDC/ADS Server?? Usermapping Persistent

Slide 30

Single Sign On

Für das Mapping bietet Samba sogenannte IDMap Backends an

Standard: TDB (nicht persistent)Neuerdings: net idmap dump <full_path_and_tdb_filename> > dumpfile.txt

Möglichkeit: LDAPSpezielles Schema mit Unix UserID und Windows SID

Möglichkeit: RID MappingWindows User ID besteht aus SID-Teil und RID-Teil

Der RID Teil wird reproduzierbar auf Unix UIDs gemappt

Page 31: Active/Active HA Clustering mit einem Cluster-Filesystem ... · Slide 22 Herausforderungen Samba Active/Active Servertyp Domain/ADS Member PDC/ADS Server?? Usermapping Persistent

Slide 31

Sonstige Samba Pidfalls

Servernamen und VIPs

Servername wird einer SID zugeordnet und in der Domain als Computer registriert

Aber der virtuelle Clustername bzw. die VIP muss und sollte nicht immer dem Servernamen entsprechen (netbios name)

Konfigurationsdateien

Es kann pro Samba Server-VIP Kombination eine Konfigurationsdatei geben (üblicher Ansatz)

Oder eine globale Konfigurationsdatei wird beim Failover angepasst (HUP Signal)

Page 32: Active/Active HA Clustering mit einem Cluster-Filesystem ... · Slide 22 Herausforderungen Samba Active/Active Servertyp Domain/ADS Member PDC/ADS Server?? Usermapping Persistent

Slide 32

Winbind Failover vs. no Failover

Entweder kann auf jedem Server eine eigene Instanz von Winbind laufen

Alle auf dem Server laufenden Samba Prozesse verbinden sich direkt darauf

Der übliche Ansatz

.. oder es wird ein Winbind Prozess an jede Samba-VIP gebunden

Page 33: Active/Active HA Clustering mit einem Cluster-Filesystem ... · Slide 22 Herausforderungen Samba Active/Active Servertyp Domain/ADS Member PDC/ADS Server?? Usermapping Persistent

Slide 33

Inhalt

Über ATIX

HA-Cluster Grundlagen

Cluster Filesystem Grundlagen

Samba und das Clusterfilesystem GFS

Ausblick

Page 34: Active/Active HA Clustering mit einem Cluster-Filesystem ... · Slide 22 Herausforderungen Samba Active/Active Servertyp Domain/ADS Member PDC/ADS Server?? Usermapping Persistent

Slide 34

Ausblick

Durch GFS und open-sharedroot lassen sich flexible Cluster bilden die im Betrieb veränderbar sind

CIFS und NFS sind genauso optimal Anwendungen wie Apache, Mail etc.

Koppelt man Samba mit HA-Software auf einem sharedroot Cluster entsteht eine ideale Plattform

Page 35: Active/Active HA Clustering mit einem Cluster-Filesystem ... · Slide 22 Herausforderungen Samba Active/Active Servertyp Domain/ADS Member PDC/ADS Server?? Usermapping Persistent

Slide 35

Vielen Dank für Ihre

Aufmerksamkeit!

Noch Fragen?

Atix GmbH

Einsteinstr. 10

85716 Unterschleißheim

www.atix.de

[email protected]