Storage 3.0 mit Windows Server 2012 (R2): Neue...
Transcript of Storage 3.0 mit Windows Server 2012 (R2): Neue...
Storage 3.0 mit Windows Server 2012 (R2): Neue Technologien -
Neue SzenarienCarsten Rachfahl, MVP Virtual Machine
Storage Verbesserungen in WS 2012
Cluster-Aware
Updating
SMB3
Virtual
Fibre ChannelHyper-V Replica
8,000 VMs
per Cluster
VM Prioritization
64-node clusters
Dedup
Scale-Out
File ServerStorage Spaces
Offload Data
Transfer
VM Storage
MigrationiSCSI Target ServerReFS VHDX
SMI-S Storage
Service
NTFS
Trim / UnmapNFS 4.1SM API
CSVFS online
CHKDSK
Windows Server 2012
SMB Multichannel
• Geschwindigkeit• Bandbreiten-Aggregation durch Nutzung mehrere
Kanäle
• Verteilung der Prozessor-Belastung auf mehrere Cores (RSS Support)
• Failover• Implementiert Ende-zu-Ende Ausfall Erkennung
• Benutzung von NIC-Teaming möglich
• Automatische Konfiguration• SMB erkennt und nutzt mehrere Pfade (auch
dynamisch)
• Für einzelne NICs abschaltbar
Multiple 1GbE NICsSingle 10GbE
RSS-capable NIC
SMB Server
SMB Client
SMB Server
SMB Client
Switch
10GbE
NIC
10GbE
NIC
10GbE
Switch
1GbE
NIC
1GbE
NIC
1GbE
Switch
1GbE
NIC
1GbE
NIC
1GbE
RSS
RSS
SMB Direct (SMB über RDMA)• Schnelle Netzwerkkommunikation aus
dem HPC Computing
• Benutzt RDMA um Daten zwischenHosts zu übertragen
• hoher Durchsatz
• geringer Latenz
• geringe Prozessor-Belastung
• alle Möglichkeiten von SMBMultichannel
• Implementierungen• Infiniband – bis 56GBit auf Infiniband Switchen
• RoCE - 10GBit Ethernet Switche mit DCB Support
• iWARP - 10GBit Ethernet Switche
• Preis?
File Server
SMB Direct
Client
Application
NIC
RDMA
NIC
TCP/
IP
SMB Direct
Ethernet and/or
InfiniBand
TCP/
IP
Unchanged API
SMB ServerSMB Client
MemoryMemory
NDKPINDKPI
RDMA
NIC NIC
RDMA1
2
3
4
*) Based on Hewlett Packard list prices on 5/15-2012
SMB 3.0 Performance• SMB Multichannel und SMB Direkt kombiniert ergibt
fantastische Datenübertragungsraten
• Beispiel aus Jose Barretos TechEd Talk:• Client und Server mit je drei 40GBit Infiniband Karten
• SMB Server mit multiplen Fusion I/O Karten (=> 10 Stück)
• Ergebnis• Kontinuierliche Datenübertragung von
• 120 GBit/s == 15GByte/s
Quelle: http://SMB3.info
Multiple RDMA NICs
SMB Server
SMB Client
Switch
40Gb IB
NIC
40Gb IB
NIC
40Gb IB
Switch
40Gb IB
NIC
40Gb IB
NIC
40Gb IB
Switch
40Gb IB
NIC
40Gb IB
NIC
40Gb IB
Fusion IOFusion IO
Fusion IOFusion IO
Fusion IO
Fusion IOFusion IO
Fusion IOFusion IOFusion IO
SMB Direct Performance Enhancements
Scale-out File Server
SMB Direct
Hyper-V
VHDEfficiency
Erhöhung der Effizienz und der Dichte für Hosting
Workloads mit kleinen I/O Pattern wie z.B. OLTP
Datenbanken in VM
Optimiert für 40GBit Ethernet and 56GBit InfiniBand
Performance
50% Durchsatz Verbesserung für kleine I/O
Workloads mit SMB over RDMA
Verbesserung der 8KB I/Os von ~300K IOPS auf
~450K IOPS pro Interface (auf gleicher Hardware)
SMB Transparentes Failover• Failover ist transparent für die Anwendungen
• Zero downtime für die Anwendung
• kurzzeitiger I/O-Delay während das Failovers
• Unterstützt geplante und ungeplante Failovers• Hardware/Software Wartung
• Hardware/Software Ausfälle
• Load Balancing / Client Redirection
• Resilient für Datei- und Verzeichnisoperationen
• Funktioniert mit beiden Typen des Dateiserversim Cluster:• Scale-Out File Server
• “Classic” File Server
• Anforderungen:• Windows Server 2012 Failover Cluster
• SMB Client mit SMB 3.0
• Dateifreigaben sind mit „Continuously Availability“ Eigenschaft konfiguriert
Datei Server Cluster
Node A Node B
\\fs1\share \\fs1\share
Hyper-V Host
Speicherpools• Neue Möglichkeit der Festplatten-
Abstraktion• Speicherpools
• mehrere physischen Datenträgern werden zusammengefasst
• Hinzufügen oder Entfernen ist möglich
• Virtuelle Datenträger• werden in Speicherpools kreiert
• Simple, 2 Wege Mirror und 3 Wege Mirror,oder Parity und doppelte Parity
• Feste oder Dünne Bereitstellung
• Volumes• werden in Virtuellen
Datenträgern kreiert
Infrastructure-as-a-Service Storage Vision
•Modell erlaubt es die Kosten und den Implementationsaufwand drastisch zu Reduzieren
• Trennung von Compute und Storage• Mehr Rechenleistung => weiteren Hyper-V Nodes
• Mehr Storage Kapazität => weiteres JBODs / Platten
• Mehr Durchsatz => weiteren Scale-Out Cluster Node
• Industrie Standard Komponenten: Server, Netzwerk und Storage• günstige Netwerkkomponenten (SMB 3.0)
• günstige Shared JBODs und SAS Platten / SSDs
• Eine durchgängige Managementplatform
Scale-Out File Server ClustersStorage Spaces Virtualization and Resiliency
Hyper-V Clusters
SMB
Shared JBOD
Storage
Schnelles Wiederherstellen des Space
• Mirror Spaces Rebuild• Paraller Rebuild Prozess
• Höherer Durchsatz• Optimierte Plattenausnutzung
• Ausnutzung von Reserve Kapazität
• Bei R2 kein HotSpare Platte mehr notwendig
Rebuild Metric Measurement
Data Rebuilt 2,400 GB
Time Taken 49 min
Rebuild Throughput > 800 MB/s
Storage Spaces – Storage Tiering
• Optimierte Daten Platzierung• Pool besteht aus SSDs und HDDs
• Verschieden Tiers werden pro Virtual Disk angelegt
• Hot Data (SSDs), Cold Data (HDDs)
• Sub-File-Level Daten Optimierung
• Ergänz bar mit dem Write-Back Cache
• Administratoren können Vorgang beeinflussen• Festpinnen von Dateien im Tier möglich
• Beispiel: VDI Pooled VM’s VHDX im SSD Pool pinnen
Cold DataHot Data
Storage Spaces - Write-Back Cache
•Random Platten Zugriff• Vorrangiges Zugriffs Verhalten in
Virtualisierten Umgebungen
• SSDs liefern höhere IOPS für Random Access
• SSD absorbieren Schreibspitzen
•Verbesserte Performance für Real-World Workloads• SSDs absorbieren Random Writes bei hohen
IOPS
• Natlose Integration und bekanntes Management
Cold DataHot Data
SMB
Optimiertes Rebalancing des Scale-out File Server
• Scale-Out File Server Clients werden zum“besten” Node für den Zugriff umgeleitet
• das vermeidet Redirected-I/O im Scale-Out Fileserver
• SMB Verbindungen werden pro Share hergestellt
• Maßgebend ist der Besitzer des CSVs
• Cluster balanciert auch die CSV Besitzer
• Automatisches Verhalten, kein Administrator eingreifen erforderlich
File Server 2File Server 1
Storage Spaces
\\SOFS\Share2
Share1 Share2 Share1 Share2
\\SOFS\Share1
CiB (Cluster in a BOX)
• Zwei Knoten Scale-out File Server als Fertiglösung aus einer Hand• Windows Storage Server 2012 Standard
• Redundant aufgebaut
• Auf Basis von Storage Spaces oder SAS RAID Kontroller
• Kompaktes Design (2 bis 4 HE)
• durch externe Platten-Shelfs erweiterbar
• Beispiele:• HP Store Easy 5000
• WiWynn SV330
• Quanta CB220
• Dell VRTX
Server Enclosure
x4 SAS
through
midplanex4 SAS
through
midplane
Additional JBODs …
1/10G Ethernet cluster connect
B
port
sA
port
s
x8 PCIe
Server BServer A
x8 PCIe
x4 SAS
External JBOD
x8 PCIe
x4 SAS
x8 PCIe
10G E or
Infiniband
10G E or
Infiniband
B ports
A ports
SAS
Expander
SAS
Expander23…10
NetworkNetwork
23…10SAS
Expander
Storage
Controller
CPU
SAS
Expander
Storage
Controller
CPU
Beispiel Scale-Out File Servers
• Drei 60 Platten JBODs• Pro JBOD:
• 25x 4TB Near-Line SAS Platten
• 5x 800GB SAS SSDs
• Insgesamt 4x VDisk um I/O zu verteilen
• Zwei Fileserver als Scale-Out File Server• 2 E6-26xx Prozessoren, 384 GB RAM, 2x 120 GB
SSDs,
• 2x 4fach LSI SAS HBA, 2x 40GB Mellanox SMB Direct Ethernet Karte
Neuerungen im iSCSI Target Server
VHDX Support
• Provisionieren von großen LUNs (bis zu 64TB)
• Online vergrößern und verkleinern LUNs
• Bereitstellen von dynamisch erweiterbaren LUNs
SMI-S Support
• Voll mit SMI-S managbarer iSCSI Target Server
• Ermöglicht das volle Ende-zu-Ende
Management mit System Center VMM 2012 R2
• Standards-based Management
iSCSI Target Server
SCVMM
NFSv4.1 Server
Implementation
Identity Mapping
Improvements
Manageability
Enhancements
Infrastructure
Improvements
NFS in Windows Server 2012 R2
Performance &
Interoperability
Availability
Improvements
NFSv4.1 implementation #2 in 10 best features of Windows Server 2012
Quotes
Source http://www.theregister.co.uk/2012/05/01/microsoft_nfs/
Source (http://www.theregister.co.uk/2013/01/10/10_best_server12)
NFS Failover & general implementation
Universal Storage• Windows Server 2012 ist mit SMB 3.0, iSCSI und NFS jetzt ein
Universal Storage System
SMB
• SMB 3.0
• Klassischer und
Scale-out Datei
Server
• Standard Hardware
iSCSI
• Blockstorage
• Universelles
Storage Protokoll
• z.B. für Hyper-V
2008 R2
NFS
• UNIX/Linux/Mac +
VMWare Support
• modernste
Implementierung
Storage Verbesserungen in WS 2012
Cluster-Aware
Updating
SMB 3.0
Virtual
Fibre Channel
Hyper-V Replica
8,000 VMs
per Cluster
VM Prioritization
64-node clusters
Dedup
Scale-Out
File ServerStorage Spaces
Offload Data Transfer
VM Storage
MigrationiSCSI Target ServerReFS VHDX
SMI-S Storage
Service
NTFS
Trim / UnmapNFS 4.1SM API
CSVFS online
CHKDSK
Windows Server 2012
Infrastructure-as-a-Service Storage Vision
Scale-Out File Server ClustersStorage Spaces Virtualization and Resiliency
Hyper-V Clusters
SMB
ManagementSystem Center 2012 R2
VirtualisierungWindows Server 2012 R2 Hyper-V
Storage SubsystemScale-Out Fileserver
JBODs mit SAS Festplatten
SMB 3.0
Shared JBOD
Storage
Shared JBOD
Storage
Shared JBOD
Storage
Infrastructure-as-a-Service Storage Vision• Modell erlaubt die Kosten und den Implementationsaufwand
drastisch zu reduzieren
• Trennung von Compute und Storage• Mehr Rechenleistung => weiteren Hyper-V Nodes
• Mehr Storage Kapazität => weiteres JBODs / Platten
• Mehr Durchsatz => weiteren Scale-Out Cluster Node
• Industrie Standard Komponenten: Server, Netzwerk und Storage• günstigem Netwerkkomponenten (SMB 3.0)
• Günstige Shared JBODs und SAS Platten / SSDs
• Eine durchgängige Managementplatform
Scale-Out File Server ClustersStorage Spaces Virtualization and Resiliency
Hyper-V Clusters
SMB
Shared JBOD
Storage
SMB Multichannel• Geschwindigkeit
• Bandbreiten-Aggregation durch Nutzung mehrere Kanäle
• Verteilung der Prozessor-Belastung auf mehrere Cores (RSS Support)
• Failover
• Implementiert Ende-zu-Ende Ausfall Erkennung
• Benutzung von NIC-Teaming möglich
• Automatische Konfiguration
• SMB erkennt und nutzt mehrere Pfade (auch dynamisch)
• Für einzelne NICs abschaltbar
Multiple 1GbE NICsSingle 10GbE
RSS-capable NIC
SMB Server
SMB Client
SMB Server
SMB Client
Switch
10GbE
NIC
10GbE
NIC
10GbE
Switch
1GbE
NIC
1GbE
NIC
1GbE
Switch
1GbE
NIC
1GbE
NIC
1GbE
RSS
RSS
SMB Direct (SMB über RDMA)• Schnelle Netzwerkkommunikation aus
dem HPC Computing
• Benutzt RDMA um Daten zwischen Hosts zu übertragen
• hoher Durchsatz
• geringer Latenz
• geringe Prozessor-Belastung
• alle Möglichkeiten von SMB Multichannel
• Implementierungen• Infiniband – bis 56GBit auf Infiniband Switchen
• RoCE - 10GBit Ethernet Switche mit DCB Support
• iWARP - 10GBit Ethernet Switche
• Preis?
File Server
SMB Direct
Client
Application
NIC
RDMA
NIC
TCP/
IP
SMB Direct
Ethernet and/or
InfiniBand
TCP/
IP
Unchanged API
SMB ServerSMB Client
MemoryMemory
NDKPINDKPI
RDMA
NIC NIC
RDMA1
2
3
4
*) Based on Hewlett Packard list prices on 5/15-2012
SMB 3.0 Performance• SMB Multichannel und SMB Direkt
kombiniert ergibt fantastische Datenübertragungsraten
• Beispiel aus Jose Barretos TechEd Talk:• Client und Server mit je drei 40GBit Infiniband
Karten• SMB Server mit multiplen Fusion I/O Karten (=> 10
Stück)
• Ergebnis• Kontinuierliche Datenübertragung von
Quelle: http://SMB3.info
Multiple RDMA NICs
SMB Server
SMB Client
Switch
40Gb IB
NIC
40Gb IB
NIC
40Gb IB
Switch
40Gb IB
NIC
40Gb IB
NIC
40Gb IB
Switch
40Gb IB
NIC
40Gb IB
NIC
40Gb IB
Fusion IOFusion IO
Fusion IOFusion IO
Fusion IO
Fusion IOFusion IO
Fusion IOFusion IOFusion IO
SMB Transparentes Failover• Failover ist transparent für die Anwendungen
• Zero downtime für die Anwendung
• kurzzeitiger I/O-Delay während das Failovers
• Unterstützt geplante und ungeplante Failovers• Hardware/Software Wartung
• Hardware/Software Ausfälle
• Load Balancing / Client Redirection
• Resilient für Datei- und Verzeichnisoperationen
• Funktioniert mit beiden Typen des Dateiserversim Cluster:
• Scale-Out File Server
• “Classic” File Server
• Anforderungen:• Windows Server 2012 Failover Cluster
• SMB Client mit SMB 3.0
• Dateifreigaben sind mit „Continuously Availability“ Eigenschaft konfiguriert
Datei Server Cluster
Fehler tritt auf – Verbindung und Handles gehen
verloren, Anwendungs-I/O hängt verübergehend
Normaler Betrieb
Verbindung und Handles werden “auto-recovered”,
Anwendungs-I/O wird fehlerfrei vortgesetzt
Node A Node B
\\fs1\share \\fs1\share
Hyper-V Host
Speicherpools• Neue Möglichkeit der Festplatten-
Abstraktion• Speicherpools
• mehrere physischen Datenträgern werden zusammengefasst
• Hinzufügen oder Entfernen ist möglich
• Virtuelle Datenträger• werden in Speicherpools kreiert
• Simple, 2 Wege Mirror und 3 Wege Mirror,oder Parity und doppelte Parity
• Feste oder Dünne Bereitstellung
• Volumes• werden in Virtuellen
Datenträgern kreiert
Storage Spaces – Storage Tiering•Optimierte Pool besteht aus SSDs und HDDs• Verschieden Tiers werden pro Virtual Disk angelegt
• Hot Data (SSDs), Cold Data (HDDs)
• Sub-File-Level Daten Optimierung
• Ergänz bar mit dem Write-Back Cache
•Administratoren können Vorgang beeinflussen• Festpinnen von Dateien im Tier möglich
• Beispiel VDI: Golden Image VHDX im SSD Pool pinnen
Cold DataHot Data
Storage Spaces - Write-Back Cache
•Random Platten Zugriff• Vorrangiges Zugriffs Verhalten in
Virtualisierten Umgebungen
• SSDs liefern höhere IOPS für Random Access
• SSD absorbieren Schreibspitzen
•Verbesserte Performance für Real-World Workloads• SSDs absorbieren Random Writes bei hohen
IOPS
• Natlose Integration und bekanntes Management
Cold DataHot Data
SMB
Optimiertes Rebalancing des Scale-out File Server
• Scale-Out File Server Clients werden zum“besten” Node für den Zugriff umgeleitet
• das Vermeidet Redirected-I/O im Scale-Out Fileserver
• SMB Verbindungen werden pro Share hergestellt
• Maßgebend ist der Besitzer des CSVs
• Cluster balanciert auch die CSV Besitzer
• Automatisches Verhalten, kein Administrator eingreifen erforderlich
File Server 2File Server 1
Storage Spaces
\\SOFS\Share2
Share1 Share2 Share1 Share2
\\SOFS\Share1