Enterprise Suchen in Webapplikationen

wdc_conference #wdc12 www.web-developer-conference.dewww.web-developer-conference.de

Enterprise Suchen in WebapplikationenChristopher Supnig

wdc_conference #wdc12 www.web-developer-conference.de

Willkommen

Imagine a web without search engines


Was ist eine Enterprisesuche

Was ist eine EnterprisesuchelStrukturierte und unstrukturierte DatenlEinsatz im UnternehmenlIntegration in ein Intranet


Suche im Intranet


Unterschiede zur konventionellen WebSuche

Mehrere unternehmensinterne Datenquellen



Zugriffsschutz



Unternehmenswortschatz

Entwicklungsstraße…



Datenklassifizierung und Dokumententypen



Bewertungssystem


Suchlösungen

lGoogle Search AppliancelMicrosoft FAST SearchlApache Lucene / Solr


Suchlösungen


Schlüsselfaktoren bei der Planung

lSuchkonzept

l Was wird durchsuchtl Wer verwendet die Suchel Wo wird gesuchtl Wie soll gesucht werden



lSuche ist nicht nur Suche

l Semantische Anreicherungl Anzeige von verwandten Themen



lEingesetztes Framework

l Kostenl Featuresl Erweiterbarkeit



lAufbereitung der Suchergebnisse

l Informationl Funktionl Design



lLucene is schemaless – Let‘s design a schema!

l Mehrsprachigl Wortstammerkennungl N-Grams für Autocompletionl Metadatenl Abrisstextl Boostingl Berechtigunsinformationen



lWortstammerkennung

l Sprachabhängig

l Welcome => welcoml Welcomming => welcoml Welcomed => welcom



lN-Grams

l „Good morning“ => „Goo“, „ood“, „od „, „d m“, „ mo“,…

l Autocompletionl Alternative zu Wildcards


Unter der Haube

lDer Lucene Index besteht aus

l Directoryl Documentsl Fields (Stored/Indexed)


Unter der Haube

lErstellen eines Lucene Index

l Crawlerl Custom Indexer


Unter der Haube

l Umwandlung in Textl PDF => Textl HTML => Textl DOCX => Textl …

l Analyzerl Filterl Tokenizer


Unter der Haube

Lucene arbeitet mit Transaktionen.

Gleichzeitiges Suchen und Indizieren

Near-Real-Time Suchen


Unter der Haube

lQuery Syntaxl Terms and Fields content:apachel Boolean Operators (AND, +, OR, NOT, -)l Grouping (apache OR lucene) AND websitel Wildcards * / ?l Fuzzy lusene~l Proximity „a phrase“~10l Ranges [1 TO 100] {a to z}l Boosting I like lucene^4

http://lucene.apache.org/core/3_6_1/queryparsersyntax.html

http://lucene.apache.org/core/3_6_1/queryparsersyntax.html


Unter der Haube

Wie sind wir es gewohnt mit einer Datenbank zu entwickeln?


Unter der Haube

Den Index betrachtenl Luke http://code.google.com/p/luke/

http://code.google.com/p/luke/


Unter der Haube

Scoring in Lucene

ltf = term frequency in documentlidf = number of documents that contain the termlgetBoost(t in q) = boost of term in querylgetBoost(t.field in d) = boost of field in documentllengthNorm = norm value for a field => number of terms in fieldlcoord = score factor on fraction of query terms contained in documentlqueryNorms = norm value to make scores of different queries comparable


Unter der Haube

Wäre es nicht cool ein so starkes Framework zu verwenden?

Java LuceneLucene.NETLucene PHP Port by ZendSolr via REST


Praktisches Beispiel

Solr mit PHP ansprechen

http://lucene.apache.org/solr/downloads.htmlhttps://github.com/csupnig/Solr-PHP-Example


Web Developer Conference 2012

jQuery Europe Conference 201322. und 23. February 2013 in Vienna

Todd ParkerjQuery mobile

Christian HeilmannMozilla

Mike TaylorOpera

Richard WorthjQuery UI

Sebastian KurfürstTYPO3

Theodore BiadalaDrupal

Doug NeinerjQuery core

Addy OsmaniYahoo

http://jquery-e

u-2013.eventbrite.co

m

code: WEBDEV12

die ersten 10 tic

kets -15%

wdc_conference #wdc12 www.web-developer-conference.dewww.web-developer-conference.de

Noch Fragen?Vielen Dank!Christopher [email protected]://github.com/csupnig/Solr-PHP-Example

http://www.supnig.com/

Enterprise Suchen in Webapplikationen

Documents

Transcript of Enterprise Suchen in Webapplikationen