Post on 13-Jan-2017
§ Gegründet 1992 – 24 Jahre Innovation § Supermicros ältester & größter globaler Partner – seit über 20 Jahren § Lösungshersteller mit Fokus auf Technologie (First-to-Market Strategie) § London HQ, Niederlassungen in London City, München, Mumbai,
Bangalore, New York. Weitere Expansion geplant. § Experten im Lösungs- und HPC-System-Design unter Verwendung von
Premium-Komponenten von Supermicro und führenden Komponenten-Partnern
§ Supermicros Fastest Growing Partner 2012/2013
Über uns
§ Warum eigentlich NVMe? Begriffsklärung, Spezifikation, Voraussetzungen
§ Einsatz- und Anwendungsmöglichkeiten von NVMe Wo wird NVMe schon heute genutzt? Was bringt die Zukunft? Wo macht NVMe keinen Sinn? Wie teuer ist NVMe?
§ NVMe-Lösungen aus dem Boston Portfolio Komplett-Systeme, Mainboards, NVMe-Module
Agenda
§ SAS/SATA bremst Flash-Module aus Command Queue, IOPS, Latenz
§ Protokoll mit geringer Latenz und hohem Durchsatz >> PCIe
§ Adaption PCIe 3.0 für Massenspeicher/Flash >> NVMe x2/x4 Lanes, 8 Gbit/s je Lane
§ NVMe — Non Volatile Memory express Industriekonsortium, http://www.nvmexpress.org Cisco, Dell, EMC, Intel, Micron, Microsemi, Microsoft, NetApp, Oracle, Samsung, Seagate, Western Digital u. a.
Motivation – Warum eigentlich NVMe?
§ x4 PCIe-Lane PCIe 3.0: 8 GT/s = 984.6 MB/s je Lane
§ Zugriffszeit im Bereich µs
§ große Command Queues 64k Queues à 64k Commands
§ Inbound Signaling (MSI-X), nur 13 Kommandos
§ RDMA mit NVM Express over Fabrics (Ethernet, Infiniband, Fiberchannel)
Spezifikation — Was kann NVMe? Festplatte, SATA-3 10k Rpm, 2.5“ § ca. 9ms-12ms Zugriffszeit § ca. 120 MB/s sequential read § SATA-3 in Praxis max. ca. 1.5 GBit/s § 1 Command Queue, 32 Commands
§ Steckplatz auf Mainboard oder PCIe-Adapter
§ BIOS-Support
§ Support im Betriebssystem alle aktuellen, gängigen Betriebssysteme unterstützen NVMe, einschließlich Linux, FreeBSD, Solaris
Voraussetzung— Was braucht NVMe?
§ seriell ist weniger Aufwand 1bit seriell vs. 64bit parallel
§ Synchronisation der Signale einfacher
§ kein Signalübersprechen zwischen PINs muss aufwendig kompensiert werden, sh. Differential SCSI
§ Prinzipiell längere Kabel möglich Modem/Telefon vs. Parallel SCSI-3
Exkurs — Warum nichts paralleles?
§ NVM in DIMM-Format
§ Massenspeicher im Memory Subsystem,
§ schneller, aber immer intern only, nicht HotSwap
Verwechslungsgefahr >> NVDIMM
NVMe NVDIMM
§ Low Latency § Filesystem Cache
§ Metadaten von (verteilten) Filesystemen
§ Datenbanken
§ Anwendungen mit Kriterium „geringe Antwortzeiten“ (interaktiver Betrieb)
Einsatzbereiche für NVMe (1/2)
§ High Throughput § Scratch Filesystem (HPC)
§ Messdatenerfassung
§ Fileserver hohe Last + (sehr viele) kleine Files
Einsatzbereiche für NVMe (2/2)
§ GPU-Anbindung per NVMe schnelles Data Movement von/zu GPU >> HPC
§ NVMe over Fabric externe Storage-Shelfs, shared NVMe Storage
§ RDMA-Anwendungen Multinode-DB, Distributed Computing, Big Data
Einsatzbereiche für NVMe (future)
§ Archivsysteme
§ Streaming Data viel sequential read von großen Files
§ Große Files mit wenig I/O
§ Vorsicht bei All Flash Arrays § RAID5/6 ungeeignet für Flash
übermäßiges Write-I/O auf Module § entsprechende Geräte am Markt verfügbar, z. B. Boston Igloo Plus
http://www.boston-itsolutions.de/all-flash-arrays-accelstor-macht-vieles-richtig
NVMe um jeden Preis? — Nein!
§ U.2 (früher SFF-8639) > SAS/SATA, aber andere PINs belegt („Hybrid Bay“) > Achtung: gibt auch SSD mit SATA-Anschluss 6 Gbit/s SATA — billig, aber langsam!
§ M.2 (selten auch NGFF) > max. x4 PCIe Lanes, 32 GBit/s > 22mm breit, 42/60/80/110mm lang (M.2 2280) > Codierung in Kontaktleiste > mindestens 60 Steckzyklen
§ PCIe-Karte bzw. PCIe-Adapter für M.2
Wie kommt NVMe ins System?
Dm
itry
Nos
ache
v CC
BY-
SA 4
.0
§ Geschwindigkeit (Durchsatz und Latenz) > verschiedene Serien je Hersteller > beeinflusst durch Controller-Baustein und Controller-Firmware (IP des Herstellers) > Organisation der Flash-Chips auf dem Modul
§ DWPD — Drive Writes per Day > Flash: begrenzte Anzahl Schreib-/Löschzyklen > (sehr) viel mehr Flash-Chips als Nutzkapazität, typ. 1-5 DWPD > DWPD immer für spezifizierten Garantiezeitraum, z. B. 3 oder 5 Jahre > 500 GB SSD, 3 DWPD, 5 Jahre Garantie = 5 Jahre lang jeden Tag 1.5 TB schreiben > auch MTBF noch gebräuchlich (z. B. 1.5 Mio. Stunden)
§ SLC, eMLC, MLC, TLC Aufbau der Speicherzellen, Zuverlässigkeit, Geschwindigkeit
Qualitätskriterien — Consumer vs. Enterprise
§ aktuelles Beispiel, 9/2016 § NVMe SSD, 2 TB, 3.5 GB/s sequential read, <100µs Zugriffszeit, ca. U$ 1.300 § HDD 15.000 Rpm, 2.5“, SAS, ca. 10ms Zugriffszeit, ca. U$ 120
ca. 140 MB/s @ sequential read per Spindel (Erfahrungswert) § ca. 25 HDD für gleichen Throughput (ohne Redundanz/RAID) § 1 SSD = 6 W, 9g, 2 TB
1 HDD = 6 W, 227 g >> 25 HDD = 150 W, 5.6 kg, 7.5+ TB
§ DB-Admins: viele kleine Spindeln, Disks < 300GB?
Sind NVMe SSDs nicht furchtbar teuer?
§ NVMe SSD im M.2 Format 128 GB, 256 GB, 512 GB, 1024 GB M.2 2280 und M.2 22110
§ Zahlreiche Server-Systeme mit M.2 Mini-1U, 1U, Mini-Tower, 3U MicroCloud
§ Zahlreiche Motherboards mit M.2 Flex ATX, Mini-ATX, SkyLake Workstations u. a.
§ NVMe-Steckkarten für PCIe
§ PCIe Add-on Card für M.2-Module
NVMe-Produkte bei Boston/Supermicro
Kontakt
+49 89 9090199-3 www.boston-itsolutions.de sales@boston-it.de
BostonITsolutions @BostonDE Boston-server-&-storage-solutions-gmbh