sones NoSQL GraphDatenbank für Bilderportale

18
Die NoSQL GraphDatenbank Einsatz und Mehrwerte in Bilderportalen

Transcript of sones NoSQL GraphDatenbank für Bilderportale

Page 1: sones NoSQL GraphDatenbank für Bilderportale

Die NoSQL GraphDatenbank

Einsatz und Mehrwerte in Bilderportalen

Page 2: sones NoSQL GraphDatenbank für Bilderportale

Historie

2005 2006 2007 2008 2009 2010

Umfirmierung in sones GmbH

Finanzierung über Seed Capital

GbR. Gründung

Entstehung der Idee zur

Datenbank-Technologie

T-Venture investiert

GraphDB 1.0 Release

GraphDB goesOpenSource OSE 1.1

Page 3: sones NoSQL GraphDatenbank für Bilderportale

Haben Schemata die durch Sie

vordefiniert werden müssen, um

Verbindungen zwischen Daten

untereinander repräsentieren zu

können

Sind nicht geeignet, um neue

Relationen zwischen Ihren alten und

neuen Daten zu finden

Die Datenbankwelt gestern und heute

Die Herkömmlichen: Relationale Modelle (MySQL)

Relationale DBMS eignen sich nur gut, Daten zu analysieren, deren Schemata vorher

von Ihnen definiert wurde

Sie können nicht für Strukturen benutzt werden, die vorher nicht definierbar

sind (Wie bei unstrukturierten Daten, Volltexten, eMails, Sozialen Netzwerken, Fotos,

Videos, etc.)

Page 4: sones NoSQL GraphDatenbank für Bilderportale

Mit einer GraphDatenbank ist eine direkte Navigation der neuen und zu

speichernden Daten (Bilder, Videos) zu inhaltliche benachbarten und verwandten

Datensätzen möglich, ohne damit zusätzliche Transaktionskosten zu erzeugen

Neue Zusammenhänge und Verbindungen zwischen Bildern, Videos, Musikdateien und

Content können entdeckt und abgebildet und lassen sich kostengünstig verändern

Die Datenbankwelt von morgen

Die Innovativen:

ColdplayBand

Palo AltoCity

JanePerson

IBMCompany

DavePerson

BobPerson

DesignTeamGroup

StanfordAlumnae

Group

IBM.comWeb Site

123.JPGPhoto

Dave.comWeblog

SuePerson

JoePerson

Dave.comRSS Feed

Lives in

Publisher of

Friend of

Depiction of

Depiction of

Member of

Married to

Member of

Member of

Member of

Fan of

Lives in

Subscriber to

Source of

Author of

Member of

Employee of

Fan of

Dadurch entstehen neue

Anwendungsfelder und

Möglichkeiten Mehrwerte

aus vorhandenen Daten zu

generieren

Page 5: sones NoSQL GraphDatenbank für Bilderportale

Allgemeine Mehrwerte von GraphDatenbanken

Graphenbasierte Konzepte überwinden Grenzen herkömmlicher DB-Modelle: Analytische Fähigkeiten:

• Analyse von “schlanken” Graphen statt aufwendiger “Joins “ von teilweise riesigen

Tabellenkonstrukten

• Real-time Analytics mit teilweise dramatischen Kosteneinsparungen

• Effiziente Umsetzung und Anwendung von Graph-Algorithmen (z.B. Dijkstra)

Dynamische Daten-Struktur:

• Dynamisches Ändern / Modifizieren / Updaten des existierenden Datenbank-Modells während der

Laufzeit

• Perfekt für Web 2.0-Anwendungen

Distributed storage / “Unlimited” scalability:

• Neuentwickeltes Dateisystem (patentiert) ermöglicht direktes hochperformantes Speichern der

Objekte und des n-dimensionalen Graphen auf verteilten Systemen

• Distributed Web-Database

Suche / Empfehlungen:

• Zusammengehöriger Inhalt liegt z.B. in räumlicher Nähe in einem Graphen (Kanten)

• Erstellung von Empfehlungen mit Hilfe mathematische Algorithmen in Echtzeit

• Einfache, unkomplizierte Suche und Empfehlungen von ähnlichem Inhalt

Page 6: sones NoSQL GraphDatenbank für Bilderportale

USP´s für Bilderdatenbanken und Mediaportale

Reduziert

IntelligentEinfach

Flexibel

Page 7: sones NoSQL GraphDatenbank für Bilderportale

Einfach

USP´s für Bilderdatenbanken und Mediaportale

MySQL Query

SELECT w.word AS wort, k.sig AS sig FROM co_s k,

words w WHERE k.w1_id=(SELECT w_id FROM

words w WHERE word = “Laptop”) AND

k.w2_id=w.w_id ORDER BY k.sig DESC LIMIT 10;

GQL Query

FROM Word SELECT Cooccurrences.TOP(10)

WHERE Content = ‘Laptop’;

Leicht erlernbare Anfragesprache GQL

Beliebige Skalierbarkeit – Unsere Lösung

wächst ohne Probleme mit Ihren

Anforderungen

Index

No. Subject …. …. …. …. …. …. …. …. …. ….

Indexbasierte Speicherung, erleichtert den Speicher- und Suchvorgang

SUCHE

sones

RelationaleDatenbank

Menge unstrukturierter Daten

An-frage-zeit

Page 8: sones NoSQL GraphDatenbank für Bilderportale

USP´s für Bilderdatenbanken und Mediaportale

Analyse und Gewichtung von Relevanzen

Auswerten und Erkennen von multidimensionalen Zusammenhängen

universal analytics

Intelligent

Legende:

Relevant Weniger Relevant

01

Page 9: sones NoSQL GraphDatenbank für Bilderportale

USP´s für Bilderdatenbanken und Mediaportale

Neue UseCasesSocial CRM

Skalierung auf Knopfdruck

Personalized Recommendation

Targeting Flexibel

Universal Data Access

Öffentliche Profildaten

Können aus Facebook mit Unternehmens-daten verknüpft werden. Informations-dichte steigt

Bilderdaten

TypeDimensonsWidthHeightResolutionBit depth

CompressionCameraPhotographerPrice…

Metadaten

Entwicklung eigener Lösungen durch ein

flexibles Datenschemata

Konsistenz Ihrer Daten trotz

Modellierung im laufenden Betrieb

Universeller Zugriff, egal wo Ihre Daten

liegen

Verknüpfung mit Ihren Unternehmensdaten

Konsolidierung und Verküpfung mit anderen Informationen

RESTWebDAV

SOAP

Automatische Generierung von Metadaten aus Bildern, Videos, Musik und Dokumenten

Page 10: sones NoSQL GraphDatenbank für Bilderportale

USP´s für Bilderdatenbanken und Mediaportale

Weniger Server

Kostenreduktion durch Hardwareeinsparungen

Reduziert

€$JPEG …

PN

G

FLV

AVI

Bild- oder Videodateien

müssen nur noch an einer Stelle im System abgelegt

werden

Komplexe Anfragen, in beliebiger Tiefe an die GraphDB, erfordern durch

ihre Graphenstruktur weniger Rechnerleistung

Page 11: sones NoSQL GraphDatenbank für Bilderportale

Was unterscheidet uns von anderen? - Technisch

Kombination

Persistenz: Speicherung auf ein nichtflüchtiges Speicher-medium

Flexible Daten-

modellierung im laufenden

Betrieb unserer Datenbank

Page 12: sones NoSQL GraphDatenbank für Bilderportale

Suchergebnisse und Userexperience verbessern sich stark da auch komplexe Suchanfragen, besonders in

kombinierter Form, von der sones GraphDB nach Nutzerverhalten und inhaltlicher Bedeutung bearbeitet werden

können!

Beispielsuchanfrage eines Kunden Ihres Portals:

Das können wir für Sie tun

Bilder 300dpi, Angela Merkel, Ankara, Hände reichen Suche Starten

Die Bearbeitung dieser Anfrage ist mit herkömmlichen Datenbanken kaum oder nur unter großem technischen

und zeitlichen Aufwand möglich, da die Leistung relationaler Datenbanken mit Zunahme des

Vernetzungsgrades und Komplexität der Anfrage stark abnimmt. Sie können so zwar nach den einzelnen

Schlagwörtern suchen, können sie aber kaum in Beziehung zueinander setzen und ein Bild über den

Staatsbesuch der Kanzlerin in der Türkei finden, auf dem Sie die Hände des Staatspräsidenten

Abdullah Gül schüttelt.

Die sones GraphDB kann diese Art der Anfragen in Echtzeit verarbeiten und wirklich relevante Bilder

ausgeben. Der User benötigt so wesentlich weniger Klicks zum Finden relevanter Bilder oder Videos auf Ihrer

Plattform.

Zudem sind Echtzeit-Auswertungen der Nutzerbewegung auf Ihrer Seite (Klickpfad-Tracking in Echtzeit ) und

Bearbeiten der Suchergebnisse nach regionalen und saisonalen Unterschieden möglich (Bsp.: Weihnachten,

Ostern, Sommer, aus Berlin, aus New York, können regionale und saisonale Indikatoren für unterschiedliche

Ergebniserwartungen der Nutzer sein)!

Page 13: sones NoSQL GraphDatenbank für Bilderportale

Referenzkunden Bilderdatenbank

Matthias Stöcklin, Technischer Leiter des Bilderportals Polylooks über den

Einsatz der GraphDB

“Es wird ein Redaktionstool geben, das Fotografen "Relevante Schlagworte" ("Relevant Tags") und "Verwandte Schlagworte" ("Related Tags") vorschlägt, die ihn in der Pflege der Keywords zu jedem seiner Bilder unterstützen

Damit erhöht sich die Qualität der Suchergebnisse und somit die Zahl der Verkäufe", so Matthias Stöcklin, der als Technischer Leiter polylooks.de aufbaute

Stöcklin weiter: "Dank der Technologie von sones wird der Prozess der Verschlagwortung und das Speichern von Inhalten immens vereinfacht“

Bilder und Dateien werden kategorisiert und verschlagwortet, in inhaltlicher Verbindung zueinander, gespeichert

Keywords werden gewichtet, hierdurch konnte eine Verbesserung der Suchergebnisse für Nutzer der Plattform erzielt werden

Zudem sind Echtzeit - Recommendations möglich, die auf aktuelle Ereignisse reagieren können

Steigerung der Performance durch die Graphenstruktur

Konkrete Nutzung der GraphDB 1.1

Page 14: sones NoSQL GraphDatenbank für Bilderportale

Bietet alle Endnutzer-Features

Release 06/2010github.com/sones

Einschränkung: nur GraphFS „in-memory“

Ideal für Tests

GNU AGPLv3 (GNU Affero General Public License)

Open Source Edition

Hosting ihrer Daten

Microsoft Azure Platform

Amazon EC2

ScaleUp

Cloud Edition

Small Edition10GB Daten / bis 4 CPU-Kerne

Medium Editionbis 500 GB Daten / bis 16 CPU Kerne

Large Editionohne Größen-begrenzung auf einem Server

Weitere Informationen unter:www.sones.com/produkte

Business Editions

sones GraphDB in der Cloud

Page 15: sones NoSQL GraphDatenbank für Bilderportale

Herausforderungen beim Umgang mit Daten und Content in

Unternehmen

• 90% der Online-Daten sind un- oder semistrukturiert

• In verschiedenen/ unvereinbaren Silos (Datenbanken) gespeichert

• Verändern sich dynamisch während der gesamten Laufzeit durch User

• Das Web 2.0 hat diese Entwicklung noch verschlimmert

sones kann diesem immensen Anstieg und die ständige Änderung des

Contents bewältigen, ihn durchsuchen, analysieren und relevante

Verbindungen innerhalb der Daten aufspüren

Nur eine alternative Speicherform wie die sones GraphDB wird heute und in

Zukunft mit dieser zu erwartenden Datenflut umgehen können

Was haben wir von unseren Kunden gelernt?

Page 16: sones NoSQL GraphDatenbank für Bilderportale

Stimmen aus dem Netz

sones wird die zentrale Dateispeicherung im LiSoG Stack!

Tom Uhl Serial EntrepreneurCEO TopalisInitiator LiSoGAuthor

sones ist die Zukunft der vernetzten Datenspeicherung!Wir freuen uns, wenn wir sones in der Azure Cloud vertreiben können!

Frank Fischer Manager Technical Evangelism Mircosoft

„Das ist neu, das ist innovativ und kann die Welt verändern“, prognostiziert Thomas Uhl, stellvertretender Vorsitzender des Vorstandes, der LiSoG. „Die Datenbank löst die Probleme der komplexen, vernetzten Datenhaltung, egal ob im Maschinenbau oder der Neurotechnologie. Sie schafft Transparenz. Wer die nächste Stufe der Entwicklung erreichen will, braucht die nächste Generation der Datenhaltung.“

Page 17: sones NoSQL GraphDatenbank für Bilderportale

Erfahren Sie mehr über uns

Website:

www.sones.com/homeBlog:

developers.sones.comGitHub:

github.com/sones/sonesFacebook:

www.facebook.com/sones.companytwitter:

twitter.com/sones

twitter.com/sones_devLinkedIn:

www.linkedin.com/companies/sones-gmbhXing:

www.xing.com/companies/sonesgmbhCrunchbase:

www.crunchbase.com/company/sonesSlideshare:

www.slideshare.net/sones

Page 18: sones NoSQL GraphDatenbank für Bilderportale

Standort - Erfurt

sones GmbHEugen-Richter-Straße 4499085 ErfurtGermanyMail: [email protected].: +49

(0)361/ 3026 250Fax: +49 (0)361/

2445 008