Aktuelle SE Praktiken für das NoSQL –Einsatzbeispiele (2) Nginx Redis oder MySQL Anwendung Nginx...

23.06.2010

Aktuelle SE Praktiken für das

WWW

‚SQL vs. „NoSQL“„

W. Mark Kubacki

W. Mark Kubacki: „SQL vs. NoSQL“ 223.06.2010

Gliederung

• Zusammenfassung

• Entstehungsgeschichte ‚SQL vs. „NoSQL“„

• Systemarchitekturen und Wachstumsmuster

• SQL

• „NoSQL“

– Überblick und Einsatzbeispiele

– Verteilte Datenbanken

• SE Praktiken

Zusammenfassung

• ‚SQL vs. „NoSQL“„ ist eine Bewegung

– Unzufriedener

– Ignoranten?

• Kritik an SQL und an relationalen DBMS

• „die“ Datenbank gibt es nicht

• aber mehr Auswahl

• spezielle Einsatzgebiete

• DB für eine Datenstruktur wählen,

nicht umgekehrt.


Entstehungsgeschichte

• „NoSQL“ ist nicht neu, SQL ist es

• 90„er: „SQL vs. Objektorientierte“

• dedizierte Datenbanken Schlüssel/Wert

Speicher

• 1979: „dbm“, „sdbm“, BerkeleyDB

• neu:

– hauptspeicherbasierte DBs

– verteilte DBs


Entstehungsgeschichte

• Webanwendungen

• große Datenmengen

• „heiße“ Daten

• ‚response time„

• (günstige) Skalierbarkeit

• einfache Einbindung

• Cloud Computing

• Grenzen von MySQL, PostgreSQL und Co.

• Rackspace 2009: Was machen wir?


Systemarchitekturen

• Skalierbarkeit – Skalabilität

• Horizontale

• Vertikale


Systemarchitekturen - 1:1

Anwendungsserver

Datenbank


Frontend

Backend

Systemarchitekturen – n:1

Datenbank


Systemarchitekturen – n:m(1)

Master

3 Spiegel

(nur Lesen)


Systemarchitekturen - Verbesserungsideen

• Daten aufteilen

– „Partitionieren“

– „Sharding“

• Verteilte Datenbank nutzen

• Backend von Frontend entkoppeln

– Lastkurve glätten


Partitionierung


ID Name Alter Abteilung

6 Zeta 30 B

5 Epsilon 29 B

4 Delta 28 A

3 Gamma 27 B

2 Beta 26 A

1 Alpha 25 A

Server A Server B

ID muss ergänzt werden

ID Name Alter Abteilung

1 Alpha 25 A

2 Beta 26 A

3 Gamma 27 B

4 Delta 28 A

5 Epsilon 29 B

6 Zeta 30 B

Vertikale ~

Horizontale ~

Datenaufteilung

• Horizontale Partitionierung Sharding

• SQL so nicht mehr möglich

• Datenverwaltung in Anwendung

• Weiteres Wachstum?

• Mehr DB-Server?

• Schemaänderungen?

• Konfigurationen?


Systemarchitekturen

• Warum nicht gleich eine bessere Lösung?


SQL

• Relationale Datenbanken

• SQL

– Verwaltung

– Abfrage

– Transformation

• Programme in PL/SQL

– etwa PostgreSQL: andere Sprachen


SQL

• „SQL ist…

– kompliziert“

– eine zusätzliche Sprache“

• „Wir brauchen keine Transaktionen.“

• „Funktioniert jetzt nicht mehr.“

• „JOIN, JOIN, LEFT JOIN – was mit wem?“

• „Sowieso nicht einheitlich, Sprache X schon.“


RDBMS – sind langsam?

• Datenorganisation

– festes Schema

– Speicherung in Zeilen (?)

• Row- ./. Column(ar)- ./. Correlation-Stores


Person Name Abteilung

101 Beta A

100 Alpha A

Person Name Abteilung

101 Beta A

100 Alpha A

OID

2

1

OID

2

1

OID

2

1

RDBMS – sind unflexibel?

• Schemaänderungen bei Columnar schnell

• DBMS = DB + Management System

• Storage kann getauscht werden

• SQL bleibt

• RDBMS bedeutet nicht zwingen auch SQL!

– MonetDB: SQL, MAL, MIL, Xpath…


Eigene Erfahrungen

• Amazon Xlarge, MySQL:

– 8.000 – 12.000 Zeilen/s

– 50ms mindestens pro Leseoperation

• mit Schlüssel/Wert Speicher (Tokyo Cabinet):

– „SQL in die Anwendung schieben“

– 200.000 Zeilen/s

– <<1ms pro Leseoperation

– Komprimierung möglich


NoSQL


NoSQL

• Datenstruktur?

– O(1), O(log N), O(N²)?

• Verteilt?

• Schema-Äquivalenz?

• Foreign Keys, Trigger?

• Abfragesprache?

• Schnittstellen zur primären Sprache?


NoSQL

• Demo: Datenstrukturen


NoSQL - Datentransformation

ID Name Alter

4 Delta 28

3 Gamma 27

2 Beta 26

1 Alpha 25

Mitarbeiter

Mitarbeiter_1 Name

Mitarbeiter_4 Name Delta

Mitarbeiter_3 Name Gamma

Mitarbeiter_2 Name Beta

Alpha

Mitarbeiter_1:Name

Mitarbeiter_4:Name Delta

Mitarbeiter_3:Name Gamma

Mitarbeiter_2:Name Beta

Alpha


NoSQL – Einsatzbeispiele (1)

Nginx

Kommentar-Handler

Queue

Kommentar-Prozessor(en)

Redis oder MySQL

A1

A2

A3

A4

Q1Q2

Q3

GET

A – Kommentare werden mit einem konstanten Text beantwortet.

Q – Sie werden in die Queue geschrieben, aus der sich die Prozessoren bedienen.

Q3 – Im Erfolgsfall wird die Seite ergänzt, gerendert und in die DB geschrieben.

GET – Nginx bedient sich bei Lesezugriffen direkt aus der Datenbank.



Static Cache / Memcachedb / Redis / Terracota Ehcache

gewöhnliches Backend



Nginx

Redis

oder

MySQL

Anwendung

Nginx

Redis

oder

MySQL

Anwendung

12

3

5

6.

12

3

4,9

45

8

10

Schritte 5-10 nur wenn 3

keine Seite. Schritt 10

liegt außerhalb des

kritischen Pfades.

1 – Anfrage

2 – Anfrage weitergereicht

3 – Anwendung an DB

4 – Rohdaten

5 – gerenderte Seite

6 – Antwort auf Anfrage

1 – Anfrage

2 – Nginx liest Redis

3 – gerenderte Seite direkt aus Redis


5 – Anfrage weitergereicht

6-7 – (nicht abgebildet) Anwendung kommuniziert mit Datenbank

8 – gerenderte Seite


10 – gerenderte Seite wird in Redis gespeichert



• Datenstrukturen:

– Queue

– Schlüssel/Wert – Hashliste

• Effizienz:

– Zugriff in O(1) statt O(log N)

– Kapazität Frontends ≤ KVS


NoSQL – Verteilte Datenbanken

Es gibt auch verteilte RDBMS mit SQL!

– eigentliche Verteilung

– Föderation

• Man zahlt pro CPU oder Rechner.



Brewer‟s Cap Theorem:

“Consistency, Availability, Tolerance to network

Partitions. Theorem: You can have at most

two of these properties for any shared-data

system.”



Consistency

Partition

Tolerance

Availability


Nicht: System – Sondern: Algorithmus!


0-0

0-1

1-0

1-1


SE Praktiken

• Objekt-Relational Mapper

• Model strikt von anderem trennen

– strikt!

• Mehr als eine DB/DBMS?

• Wo liegt die Hauptlast?

– Kritischer Pfad!


SE Praktiken

• Requirements Engineering:

– Was erfordern die Geschäftsprozesse des

Kunden?

– „Eventual Consistent Business?“


SE Praktiken


SQL vs. „NoSQL“

• Webanwendungen

– Last, Interaktivität

• SQL

– langsam?, kann viel, RDBMS

• „NoSQL“

– Datenstrukturen, Optimierungen

– mehr Aufwand in der „Anwendung“

– leichter einfache Operationen umzusetzen

• Programmierer

– Ausbildung, Fähigkeiten


Aktuelle SE Praktiken für das NoSQL –Einsatzbeispiele (2) Nginx Redis oder MySQL Anwendung Nginx...

Documents

Transcript of Aktuelle SE Praktiken für das NoSQL –Einsatzbeispiele (2) Nginx Redis oder MySQL Anwendung Nginx...