MySQL Cluster: HA als StorageEngine - · PDF fileWhat About Hochverfugbarkeit mit MySQL Topic...

MySQL Cluster: HA als StorageEngine

Erkan Yanar

linsenraum.de

25. April 2012

Erkan Yanar (linsenraum.de) MySQL Cluster: HA als StorageEngine 25. April 2012 1 / 34

What About

Hochverfugbarkeit mit MySQL

Wir wollen Hochverfugbarkeit

Service

Und wie erreichen?

Datenredundanz/Verfugbarkeit Replication

Losungsmoglichkeiten:

HA auf Basis von Replikation

Replikation

Datenredundanz

Slave read only(Scaleout)

Daten redundant?

Replikation

Datenredundanz

Daten redundant?

Replikation

Datenredundanz

Daten redundant?

Replikation

Datenredundanz

Daten redundant?

Sicherheit semisync vs. Performance async

Failover

Datenredundanz/Verfugbarkeit Blocklevel

Blocklevel

2 Nodes Limit

Nur ein Rechner

Failover

Recoverydowntime

Keine Skalierung

Datenredundanz/Verfugbarkeit Blocklevel

Blocklevel

2 Nodes Limit

Nur ein Rechner

Failover

Recoverydowntime

Keine Skalierung

Datenredundanz/Verfugbarkeit StorageEngines

Modulares MySQL

Storage Engine

Authentication

INFORMATION SCHEMA

General

Replication

Modulares MySQL

Storage Engine

Authentication

INFORMATION SCHEMA

General

Replication

Local Storage Engine

CREATE TABLE tablename (...) ENGINE=...

Storage Engines

Local Storage

INNODB/XtraDB

MYISAM

OQGraph

Weite Welt

Network Storage

FedratedX

SpiderSE

NDB (Network Database)

CREATE TABLE tbl a(col a int,col b int,PRIMARY KEY(col a))ENGINE = FEDERATEDCONNECTION’mysql://ich:auch@10.10.10.24/db/tbl a’;

Network Storage

FedratedX

SpiderSE

CREATE TABLE tbl a( col a int, col b int, PRIMARY KEY(col a))ENGINE = SPIDERCONNECTION ’ table tbl a, user ich, password auch ’PARTITION BY RANGE( col a ) (PARTITION p1 VALUES LESS THAN (1000) COMMENT ’host 192.168.178.25’,PARTITION p2 VALUES LESS THAN (2000) COMMENT ’host 192.168.178.26’,PARTITION p3 VALUES LESS THAN (MAXVALUE) COMMENT ’host 192.168.178.27’ );

Network Storage

FedratedX

SpiderSE

CREATE TABLE imha ( . . . ) ENGINE=NDB;

MySQL Cluster

Network Storage

Speicher Engine

Shared Nothing

HA: 99,999%

READ COMMITTED

Row Locking

Two Phase Commit

Keine FK

Key/Value Applikation!

ALTER TABLE . . . ENGINE=NDB

Hash-Partitionierung/Sharding

Durchsatz, Parallelitat

Scaleout

MySQL Cluster Komponenten

Komponenten

ndb(mt)d

MySQL/API

Komponenten

ndb(mt)d

MySQL/API

Datenknoten

Partitionierung/Redundanz

2-Phase-Commit

Failover

max. 48 Nodes

Komponenten

ndb(mt)d

MySQL/API

Managementdeamon/knoten:

Konfiguration

Logging

Arbitrator

Managementinterface

Komponenten

ndb(mt)d

MySQL/API

Kommunikation via ndb-api

ENGINE=NDB

MySQL Cluster NoOfReplicas

Implementing HA

ndb(mt)d

NoOfReplicas

Primary lead

Failover

MySQL Cluster 2PC

Impelenting HA: 2PC

Datenkonsitenz a la 2PC

TransactionCoordinator

Prepare

Commit

Latenz

MySQL Cluster 2PC

Impelenting HA: 2PC

100.000 Inserts:

InnoDB 0m7.911s

NDB 1m47.806s

MySQL Cluster Changing Data

INSERT/UPDATE

Changing Data

Parallel Inserts

Parallel Updates

Multi Data-Nodes

Multi Api-Nodes!

MySQL Cluster SELECTs

SELECT

NDB SELECTs

Key Lookups

Nested Loop Join

Push-Down-Join (SPJ)

Parallel Scans

a SELECT id2 FROM a WHERE id=@a; 100.000 x uniform

b SELECT COUNT(*) FROM a JOIN b using (id);

c SELECT COUNT(*) FROM a JOIN b using (id) where a.id=100; 100.000x

d SELECT COUNT(id2) FROM a JOIN b using (id2) where a.id=1000;

Query InnoDB 5.5.20 ndb 7.1.0 ndb 7.2.5

a 8.526s 29.290s 29.290s

b 0.130s 16.290s 0.750sc 8.131s 40.285s 44.043sd 34.844s 560.717s 559.317s

a 8.526s 29.290s 29.290sb 0.130s 16.290s SPJ 0.750s

c 8.131s 40.285s 44.043sd 34.844s 560.717s 559.317s

a 8.526s 29.290s 29.290sb 0.130s 16.290s 0.750sc 8.131s 40.285s 44.043s

d 34.844s 560.717s 559.317s

a 8.526s 29.290s 29.290sb 0.130s 16.290s 0.750sc 8.131s 40.285s 44.043sd 34.844s 560.717s 559.317s

MySQL Cluster Making the whole Cluster HA

Begrenztes HA

HA der MySQLd?

Loadbalancer

Connectoren

Pacemaker

NDB best used for:

UseCases

Viele kleine Trans.

Key/Value Lookups

Hoher Durchsatz

Gaming

Memory

Memory Only NDB

Speicheraufteilung

IndexMemory

DataMemory

Hard Limit

UNIQUE/PK Indices

Indices und Data

Pages stick to table

Kein Auslagern

Memory

Memory Only NDB

Speicheraufteilung

IndexMemory

DataMemory

Hard Limit

UNIQUE/PK Indices

Indices und Data

Kein Auslagern

Memory

Memory Only NDB

Speicheraufteilung

IndexMemory

DataMemory

Hard Limit

UNIQUE/PK Indices

Indices und Data

Kein Auslagern

Memory Fixed Arrays

Frohliches Konfigurieren

IndexMemory PK, UNIQUE

DataMemory Data, (Ordered) Indices,

StringMemory Out of string memory, ...Permanent error: Schema error

MaxNoOfOrderedIndexes Maximale Zahl der Ordered Indices

MaxNoOfAttributes Max. Tabellen, Indices, Columns etc.

MaxNoOfUniqueHashIndexes Max. Unique Indices die nicht PK sind.

MaxNoOfConcurrentOperations Operation Records in TC1KB

ndb config -f: -q Id,MaxNoOfConcurrentOperations

Memory Memory hitting Disk

Und was ist mit Disk?

Disk IO!

MySQL Cluster schreibt inDiskCheckpointSpeed DataMemory (alsLCP) mit TimeBetweenLocalCheckpointsAbstand auf die Disk.

Das Redo Log (NoOfFragmentLoges *

FragmentLogFileSize) muss groß genug

sein, um die Anderungen wahrend 2x LCP

zu speichern.

Konfiguration

MySQL Cluster: Konfiguration

config.ini

Verwaltet vom mgmd

Definiert Mitglieder

Konfiguriert Teilnehmer

Konfiguration

StartUp

host1# ndb_mgmd [--initial] --config-file=/tmp/config.ini

host2# ndbd [--initial] --ndb-connectstring=host1

host3# ndbd [--initial] --ndb-connectstring=host1

host4# mysqld --ndb-connectstring=host1

Konfiguration

config.ini

[NDB_MGMD]

HostName = 10.10.10.23

NodeID = 1

[NDBD DEFAULT]

NoOfReplicas = 2

DataDir = /data/cluster

IndexMemory = 20M

DataMemory = 100M

[NDBD]

NodeID = 21

HostName = 10.10.10.21

[NDBD]

NodeID = 22

HostName = 10.10.10.22

[mysqld]

NodeID = 60

HostName = 10.10.10.20

[mysqld]

NodeID = 61

HostName = 10.10.10.24

Konfiguration

config.ini

[NDB_MGMD]

HostName = 10.10.10.23

NodeID = 1

[NDBD DEFAULT]

NoOfReplicas = 2

DataDir = /data/cluster

IndexMemory = 20M

DataMemory = 100M

NoOfFragmentLogFiles = 32 # 32 * (16M*4)

TimeBetweenLocalCheckpoints = 20 # 20=4MB,21=8MB,22=16MB

TimeBetweenGlobalCheckpoints = 2000

#ndbmtd: MaxNoOfExecutionThreads

# cores value

# 2 2 -> 1LQH

# 4 4 -> 2LQH

# 8 8 -> 4LQH

# Partitionen= 8*LQH

# Partition = 46.137.488 Rows

[NDBD]

NodeID = 21

HostName = 10.10.10.21

[NDBD]

NodeID = 22

HostName = 10.10.10.22

[mysqld]

NodeID = 60

HostName = 10.10.10.20

[mysqld]

NodeID = 61

HostName = 10.10.10.24

Konfiguration

Prozesskonfig in my.cnf

[mysqld]

ndbcluster

ndb-cluster-connection-pool = 1

[mysql_cluster]

ndb-connectstring = 10.10.10.23

[ndb_mgmd]

configdir = /data/cluster

Maintenance Rolling Restart

Rolling Restarts/Upgrades

Cluster muss oft restartet werden :(

Service soll HA sein.

auch bei Upgrades!

Solution: Rolling Rolling Rolling . . .

Rolling Restart halt die Datennodes hochverfugbar.

Rolling Restarts/Upgrades

Cluster muss oft restartet werden :(

Service soll HA sein.

auch bei Upgrades!

Solution: Rolling Rolling Rolling . . .

Rolling Restart halt die Datennodes hochverfugbar.

Online Operations

ROLLING RESTART

ADD INDEX

DROP INDEX

ADD COLUMN

BACKUP

ADD/CREATENODEGROUP

REORGANIZEPARTITION

SW-UPGRADE

Ignored

TableSpace

(WAN) Replication

memcached-api

mod ndb

Maintenance

Wofur kann man die Losung gut gebrauchen?

Maintenance

Ende Gelande

Morgen Galera Cluster: (fast) alles besser!

Erkan Yanarerkan.yanar@linsenraum.de. . .linsenraum.de/erkuleswww.xing.com/profile/Erkan Yanar

MySQL Cluster: HA als StorageEngine - · PDF fileWhat About Hochverfugbarkeit mit MySQL Topic...

Documents

Transcript of MySQL Cluster: HA als StorageEngine - · PDF fileWhat About Hochverfugbarkeit mit MySQL Topic...

Synchrone multi-Master Replikation für MySQL - doag.org file 1 / 23 Synchrone multi-Master Replikation für MySQL DOAG SIG-MySQL 2013, München Oli Sennhauser Senior MySQL Consultant,

DOAG: NoSQL with MySQL

MySQL Replikation · 2013. 3. 17. · 1 / 26 MySQL Replikation DOAG Konferenz 2012, Nürnberg Oli Sennhauser Senior MySQL Consultant, FromDual GmbH oli.sennhauser@fromdual.com

MySQL Beispiele aus der Praxis - Wie setzen Kunden MySQL ein?

MySQL Performance Tuning für Entwickler - FromDual · 1 / 29 MySQL Performance Tuning für Entwickler Linux-Tage 2015, Chemnitz Oli Sennhauser Senior MySQL Consultant, FromDual GmbH

MySQL 5.1 Referenzhandbuch - geo.infokom-gt.de€¦ · MySQL 5.1 Referenzhandbuch Dies ist eine Übersetzung des MySQL-Referenzhandbuchs, das sich aufdev.mysql.com befindet. Das ursprüngliche

AnleitungzurInstallationundKonﬁgurationdes MySQL …members.gaponline.de/strobelmax/MySQL/mysql09/u_i9_01.pdf · 2009/2010 InstallationundKonﬁgurationdesMySQL-Datenbanksystems

MySQL für Oracle DBAs - MySQL, Galera Cluster and MariaDB ... · MySQL für Oracle DBAs Einsatz von MySQL Installation, ... mysql5.7.1linuxx86_64.tar.gz ... Kostenpflichtiges Modul?

MySQL 5.7 JSON und GIS - fromdual.com€¦ · MySQL 5.7 JSON und GIS FrOSCon 2016 Cédric Bruderer MySQL Support Engineer, FromDual GmbH cedric.bruderer@fromdual.com. 2 / 21 Über

MySQL Hochverfügbarkeitslösungen

MySQL Konfiguration - die wichtigsten Parameter · 2013. 3. 17. · 1 MySQL Konfiguration - die wichtigsten Parameter DOAG SIG MySQL – Performance 13. März 2012, Wiesbaden Oli

1. Installation und - pearson.ch · (mysql, mysqladmin, mysqldump, MySQL Administrator, MySQL Query Browser, MySQL Workbench) » Zeichensatzfragen (Latin1 oder Unicode) 1.1 Versionen

FROSCON 2011: MySQL Replication

MySQL Server Variable Tuning

Datenbank, MySQL und PHP

MySql Code Review

MySQL Security

MySQL Enterprise - October, 2010 · October, 2010. MySQL Kunden MySQL ... Revenue and Productivity ... Debugging InnoDB Locks using the new InnoDB Plugin’s Information Schema Tables

NoSQL with MySQL

MySQL Einführung und Überblick. Datenbanken / Begrifflichkeiten DBMS Geschichte von MySQL MySQL - Architektur Eigenschaften / Vorteile / Konkurrenten.