Boston Webinar NVMe: Was ist das und wer braucht das?

Wolfgang Stief Senior Consultant

§  Gegründet 1992 – 24 Jahre Innovation §  Supermicros ältester & größter globaler Partner – seit über 20 Jahren §  Lösungshersteller mit Fokus auf Technologie (First-to-Market Strategie) §  London HQ, Niederlassungen in London City, München, Mumbai,

Bangalore, New York. Weitere Expansion geplant. §  Experten im Lösungs- und HPC-System-Design unter Verwendung von

Premium-Komponenten von Supermicro und führenden Komponenten-Partnern

§  Supermicros Fastest Growing Partner 2012/2013

Über uns

§  Warum eigentlich NVMe? Begriffsklärung, Spezifikation, Voraussetzungen

§  Einsatz- und Anwendungsmöglichkeiten von NVMe Wo wird NVMe schon heute genutzt? Was bringt die Zukunft? Wo macht NVMe keinen Sinn? Wie teuer ist NVMe?

§  NVMe-Lösungen aus dem Boston Portfolio Komplett-Systeme, Mainboards, NVMe-Module

Agenda

§  SAS/SATA bremst Flash-Module aus Command Queue, IOPS, Latenz

§  Protokoll mit geringer Latenz und hohem Durchsatz >> PCIe

§  Adaption PCIe 3.0 für Massenspeicher/Flash >> NVMe x2/x4 Lanes, 8 Gbit/s je Lane

§  NVMe — Non Volatile Memory express Industriekonsortium, http://www.nvmexpress.org Cisco, Dell, EMC, Intel, Micron, Microsemi, Microsoft, NetApp, Oracle, Samsung, Seagate, Western Digital u. a.

Motivation – Warum eigentlich NVMe?

§  x4 PCIe-Lane PCIe 3.0: 8 GT/s = 984.6 MB/s je Lane

§  Zugriffszeit im Bereich µs

§  große Command Queues 64k Queues à 64k Commands

§  Inbound Signaling (MSI-X), nur 13 Kommandos

§  RDMA mit NVM Express over Fabrics (Ethernet, Infiniband, Fiberchannel)

Spezifikation — Was kann NVMe? Festplatte, SATA-3 10k Rpm, 2.5“ §  ca. 9ms-12ms Zugriffszeit §  ca. 120 MB/s sequential read §  SATA-3 in Praxis max. ca. 1.5 GBit/s §  1 Command Queue, 32 Commands

§  Steckplatz auf Mainboard oder PCIe-Adapter

§  BIOS-Support

§  Support im Betriebssystem alle aktuellen, gängigen Betriebssysteme unterstützen NVMe, einschließlich Linux, FreeBSD, Solaris

Voraussetzung— Was braucht NVMe?

§  seriell ist weniger Aufwand 1bit seriell vs. 64bit parallel

§  Synchronisation der Signale einfacher

§  kein Signalübersprechen zwischen PINs muss aufwendig kompensiert werden, sh. Differential SCSI

§  Prinzipiell längere Kabel möglich Modem/Telefon vs. Parallel SCSI-3

Exkurs — Warum nichts paralleles?

§  NVM in DIMM-Format

§  Massenspeicher im Memory Subsystem,

§  schneller, aber immer intern only, nicht HotSwap

Verwechslungsgefahr >> NVDIMM

NVMe NVDIMM

§  Low Latency §  Filesystem Cache

§  Metadaten von (verteilten) Filesystemen

§  Datenbanken

§  Anwendungen mit Kriterium „geringe Antwortzeiten“ (interaktiver Betrieb)

Einsatzbereiche für NVMe (1/2)

§  High Throughput §  Scratch Filesystem (HPC)

§  Messdatenerfassung

§  Fileserver hohe Last + (sehr viele) kleine Files

Einsatzbereiche für NVMe (2/2)

§  GPU-Anbindung per NVMe schnelles Data Movement von/zu GPU >> HPC

§  NVMe over Fabric externe Storage-Shelfs, shared NVMe Storage

§  RDMA-Anwendungen Multinode-DB, Distributed Computing, Big Data

Einsatzbereiche für NVMe (future)

Der Markt für NVMe

http

://g2

min

c.co

m

§  Archivsysteme

§  Streaming Data viel sequential read von großen Files

§  Große Files mit wenig I/O

§  Vorsicht bei All Flash Arrays §  RAID5/6 ungeeignet für Flash

übermäßiges Write-I/O auf Module §  entsprechende Geräte am Markt verfügbar, z. B. Boston Igloo Plus

http://www.boston-itsolutions.de/all-flash-arrays-accelstor-macht-vieles-richtig

NVMe um jeden Preis? — Nein!

§  U.2 (früher SFF-8639) > SAS/SATA, aber andere PINs belegt („Hybrid Bay“) > Achtung: gibt auch SSD mit SATA-Anschluss 6 Gbit/s SATA — billig, aber langsam!

§  M.2 (selten auch NGFF) > max. x4 PCIe Lanes, 32 GBit/s > 22mm breit, 42/60/80/110mm lang (M.2 2280) > Codierung in Kontaktleiste > mindestens 60 Steckzyklen

§  PCIe-Karte bzw. PCIe-Adapter für M.2

Wie kommt NVMe ins System?

Dm

itry

Nos

ache

v CC

BY-

SA 4

.0

§  Geschwindigkeit (Durchsatz und Latenz) > verschiedene Serien je Hersteller > beeinflusst durch Controller-Baustein und Controller-Firmware (IP des Herstellers) > Organisation der Flash-Chips auf dem Modul

§  DWPD — Drive Writes per Day > Flash: begrenzte Anzahl Schreib-/Löschzyklen > (sehr) viel mehr Flash-Chips als Nutzkapazität, typ. 1-5 DWPD > DWPD immer für spezifizierten Garantiezeitraum, z. B. 3 oder 5 Jahre > 500 GB SSD, 3 DWPD, 5 Jahre Garantie = 5 Jahre lang jeden Tag 1.5 TB schreiben > auch MTBF noch gebräuchlich (z. B. 1.5 Mio. Stunden)

§  SLC, eMLC, MLC, TLC Aufbau der Speicherzellen, Zuverlässigkeit, Geschwindigkeit

Qualitätskriterien — Consumer vs. Enterprise

§  aktuelles Beispiel, 9/2016 §  NVMe SSD, 2 TB, 3.5 GB/s sequential read, <100µs Zugriffszeit, ca. U$ 1.300 §  HDD 15.000 Rpm, 2.5“, SAS, ca. 10ms Zugriffszeit, ca. U$ 120

ca. 140 MB/s @ sequential read per Spindel (Erfahrungswert) §  ca. 25 HDD für gleichen Throughput (ohne Redundanz/RAID) §  1 SSD = 6 W, 9g, 2 TB

1 HDD = 6 W, 227 g >> 25 HDD = 150 W, 5.6 kg, 7.5+ TB

§  DB-Admins: viele kleine Spindeln, Disks < 300GB?

Sind NVMe SSDs nicht furchtbar teuer?

§  NVMe SSD im M.2 Format 128 GB, 256 GB, 512 GB, 1024 GB M.2 2280 und M.2 22110

§  Zahlreiche Server-Systeme mit M.2 Mini-1U, 1U, Mini-Tower, 3U MicroCloud

§  Zahlreiche Motherboards mit M.2 Flex ATX, Mini-ATX, SkyLake Workstations u. a.

§  NVMe-Steckkarten für PCIe

§  PCIe Add-on Card für M.2-Module

NVMe-Produkte bei Boston/Supermicro

Kontakt

+49 89 9090199-3 www.boston-itsolutions.de sales@boston-it.de

BostonITsolutions @BostonDE Boston-server-&-storage-solutions-gmbh

§  CC BY-SA 4.0 http://creativecommons.org/licenses/by-sa/4.0

Lizenz-Foo