Recherche im Umbruch - Der Einfluss von Suchmaschinen auf die qualifizierte Informationsvermittlung und die Grenzen ihrer Qualitätsbewertung Prof. Dr. Dirk Lewandowski dirk.lewandowski@haw-hamburg.de

Wo stehen Suchmaschinen heute?

Wie suchen die typischen (Suchmaschinen-)Nutzer?

Wie bewerten Suchmaschinen die Relevanz von Dokumenten?

Wo liegen die Grenzen der Suchmaschinen?

Fazit

Gliederung

Wo stehen Suchmaschinen heute?

Wie suchen die typischen (Suchmaschinen-)Nutzer?

Wie bewerten Suchmaschinen die Relevanz von Dokumenten?

Wo liegen die Grenzen der Suchmaschinen?

Fazit

Gliederung

3 |

Web search: „Always different, always the same“

http://web.archive.org/web/19961023234631/http://altavista.digital.com/

AltaVista 1996

4 |

Wo stehen Suchmaschinen heute?

•  Große Web-Datenbanken sind vorhanden •  Google, Yahoo, Bing, Ask, Cuil •  Betrieb dieser Datenbanken ist technisch möglich.

•  Navigationsanfragen können zuverlässig beantwortet werden.

•  Informationsorientierte Anfragen können meist zufriedenstellend beantwortet werden. •  Großer Unterschied zwischen den Anfragen. •  Keine Suchmaschine kann alle Anfragen am besten beantworten.

•  Integration zusätzlicher Quellen •  Spezialisierte Web-Datenbanken: News, Blogs, Video, usw. •  Shortcuts: Wetter, Reise, Patente, usw. •  Zukunft: Faktenextraktion

•  Einbindung kostenpflichtiger Dokumente

5 |

Trefferseite heute

•  x Verweis auf Real-Time-Datenbank

Ergebnis aus strukturierter Datenbank

Ergebnisse aus eigenem Datenbestand

Web-Ergebnisse

Zugang zu Fakteninformationen aus Datenbanken: Wolfram Alpha

•  Informationen aus unterschiedlichen Quellen •  „Statische“ Datenbanken •  Real-Time-Informationen

•  Gegenüberstellungen und Berechnungen

6 |

7 |

Nachrichten

•  Ergebnisse aus der Nachrichtensuche (eigener Index) werden in die normale Web-Suche eingebunden.

•  Über die spezialisierte Nachrichtensuche ist teils eine Recherche in kostenpflichtigen Inhalten möglich.

– Google News Archive (Web-Inhalte, kostenpflichtige Archive, Digitalisate) – Yahoo Subscriptions (Indexierung von kostenpflichtigen Archiven)

8 | Dirk Lewandowski: Trends bei Suchmaschinen

Bücher

Wo stehen Suchmaschinen heute?

Wie suchen die typischen (Suchmaschinen-)Nutzer?

Wie bewerten Suchmaschinen die Relevanz von Dokumenten?

Wo liegen die Grenzen der Suchmaschinen?

Fazit

Gliederung

„Die meisten Nutzer sind nicht willens, bei der Formulierung ihres Suchziels allzu viel kognitive und zeitliche Energie aufzuwenden.“

•  Suchanfragen – Durchschnittliche Länge: 1,7 Wörter – Ca. 50% Einwort-Anfragen – kaum Verwendung von Operatoren und erweiterter Suche

•  Ergebnisseiten – 80% der Nutzer gehen nicht über die erste Ergebnisseite hinaus. – Nutzer betrachten bevorzugt die ersten Ergebnisse (“über dem Knick”). – Pro Session werden bis etwa fünf Dokumente angesehen. – Sessions dauern i.d.R. weniger als 15 Minuten.

•  Nutzer sind meist mit ihren Suchergebnissen zufrieden.

•  Nutzer erwarten, dass alle Systeme so leicht zu bedienen sind wie Google.

(Machill et al. 2003)

11 |

„Most people are looking for quick wins.“

•  Beispiele aus der wissenschaftlichen Suche •  Nutzer kommen über Suchmaschinen, schauen herum und nehmen das mit, was

sie brauchen können. •  Es wird eine Vielzahl von Quellen benutzt. •  Die Hälfte der Nutzer betrachtet nur 1-3 Seiten. •  40% der Nutzer kommen innerhalb von sechs Monaten nicht mehr auf die Website

zurück. •  Nutzer sehen sich Artikel online nur ein paar Minuten lang an, vor allem kurze

Artikel werden gelesen. •  Nutzer sammeln zwar Artikel (als Ausdrucke oder Downloads), lesen sie dann aber

nicht.

Was wäre, wenn Ihre Nutzer auch so suchen?

(Nicholas 2008)

(Nicholas 2008)

Wo stehen Suchmaschinen heute?

Wie suchen die typischen (Suchmaschinen-)Nutzer?

Wie bewerten Suchmaschinen die Relevanz von Dokumenten?

Wo liegen die Grenzen der Suchmaschinen?

Fazit

Gliederung

13 |

Ist der Treffer relevant (ja/nein)?

0,00

0,10

0,20

0,30

0,40

0,50

0,60

0,70

0,80

0,90

1,00

Number of results

Precis

ion

Google

Yahoo

MSN

Ask

Seekport

Google 0,75 0,71 0,71 0,67 0,64 0,62 0,59 0,58 0,55 0,55 0,54 0,53 0,52 0,52 0,51 0,50 0,49 0,49 0,48 0,48

Yahoo 0,73 0,69 0,69 0,68 0,61 0,62 0,61 0,60 0,60 0,60 0,59 0,58 0,57 0,56 0,55 0,54 0,53 0,53 0,53 0,52

MSN 0,58 0,50 0,51 0,53 0,52 0,49 0,49 0,48 0,47 0,45 0,44 0,43 0,42 0,40 0,39 0,39 0,38 0,38 0,37 0,37

Ask 0,65 0,60 0,59 0,56 0,53 0,53 0,52 0,52 0,50 0,50 0,49 0,48 0,47 0,47 0,46 0,46 0,45 0,45 0,44 0,44

Seekport 0,58 0,53 0,51 0,52 0,51 0,50 0,48 0,45 0,44 0,43 0,44 0,44 0,43 0,42 0,41 0,40 0,39 0,38 0,37 0,37

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

14 |

Wie relevant ist der Treffer (0-4)?

Vergleich der Precision nach Listenplatz (Top20; Skala)

0,00

0,50

1,00

1,50

2,00

2,50

3,00

Trefferplatz

Du

rch

sch

nit

tlic

he P

recis

ion

Google

Yahoo

MSN

Ask

Seekport

Google 2,54 2,19 2,14 2,04 1,93 1,86 1,77 1,72 1,63 1,59 1,59 1,53 1,49 1,45 1,42 1,38 1,35 1,35 1,32 1,32

Yahoo 2,33 2,21 2,11 2,00 1,82 1,81 1,75 1,69 1,68 1,67 1,64 1,62 1,58 1,54 1,53 1,50 1,47 1,46 1,45 1,42

MSN 1,80 1,53 1,53 1,55 1,51 1,42 1,38 1,34 1,31 1,24 1,22 1,17 1,15 1,11 1,09 1,06 1,05 1,03 1,01 0,99

Ask 1,73 1,53 1,45 1,35 1,27 1,31 1,33 1,34 1,30 1,28 1,26 1,23 1,18 1,18 1,17 1,16 1,16 1,16 1,13 1,12

Seekport 1,65 1,48 1,41 1,44 1,40 1,36 1,32 1,24 1,20 1,17 1,18 1,16 1,13 1,11 1,07 1,04 1,01 1,00 0,98 0,97

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

15 |

Rankingfaktoren

•  Textspezifische Faktoren –  „Wie gut passen Anfrage und Dokument zusammen?“ – Worthäufigkeiten, Position der Suchbegriffe im Dokument, ...

•  Popularität –  „Wie wahrscheinlich ist es, dass der Nutzer bei seiner Web-Navigation auf dieses

Dokument treffen würde?“ – Linkpopularität, Klickpopularität.

•  Aktualität –  „Sollen für diese Anfrage aktuelle Dokumente ausgegeben werden?“ – Datumsangaben, Linkstruktur, ...

•  Lokalität –  „Welche Dokumente passen zur ‚Umgebung‘ des Nutzers?“ – Länderinterfaces

Im Detail: Lewandowski 2005, Kap. 6

16 | Dirk Lewandowski

Qualität der Inhalte im Web vs. der Treffer in Suchmaschinen

•  Suchmaschinen bewerten mehr als nur den Dokumententext

•  Ergebnisse werden an die Anfrage angepasst – Allgemeine Anfragen werden mit allgemeinen Dokumenten beantwortet,

spezifische Anfragen mit spezifischen. – Durchmischung der Trefferliste. – Für viele Anfragen gibt es Seiten, die in den Ergebnissen auftauchen “müssen”.

•  Qualitätsbestimmung nur aufgrund formaler Merkmale – Ungeklärte Frage der Verlässlichkeit der Dokumente. – Keine Quellenkontrolle. – Relevanzuntersuchungen messen nur die empfundene Qualität der Ergebnisse.

Wo stehen Suchmaschinen heute?

Wie suchen die typischen (Suchmaschinen-)Nutzer?

Wie bewerten Suchmaschinen die Relevanz von Dokumenten?

Wo liegen die Grenzen der Suchmaschinen?

Fazit

Gliederung

18 |

Katholisch? Evangelisch? Ja, was denn nun?

19 |

Grenzen der Suchmaschinen

•  Suchmaschinen werden immer „Gemischtwarenläden“ bleiben. •  Orientierung am Bedarf der Masse, auch wenn durch Personalisierung gemildert.

•  Die Recherche in Suchmaschinen wird auch in Zukunft ungenau und zeitraubend bleiben.

•  Oft sind nicht relevante Dokumente gefragt, sondern vollständige und verlässliche Ergebnissets.

•  Auch wenn das Quellenspektrum in den letzten Jahren wesentlich erweitert wurde, fehlen in den Suchmaschinen wesentliche Quellen.

•  Das Zusammenführen „beider Welten“ ist noch nicht gelungen. •  Nicht auf der Seite der Suchmaschinen. •  Nicht auf der Seite der Anbieter von Fachinformationen.

Wo stehen Suchmaschinen heute?

Wie suchen die typischen (Suchmaschinen-)Nutzer?

Wie bewerten Suchmaschinen die Relevanz von Dokumenten?

Wo liegen die Grenzen der Suchmaschinen?

Fazit

Gliederung

21 |

#1

Suchmaschinen entwickeln sich (unter der Oberfläche) beständig weiter. Das Problem der Suche ist noch lange nicht gelöst.

22 |

#2

Das Quellenspektrum der Suchmaschinen verändert sich, ist aber bei weitem nicht vollständig.

23 |

#3

Endnutzer suchen auf einfachste Weise, wollen aber trotzdem schnell zu relevanten Ergebnissen gelangen.

24 |

#4

Die Relevanzbewertung durch Suchmaschinen ist komplex. Es geht bei der Relevanzbewertung hauptsächlich um Qualität.

25 |

#5

Suchmaschinen sind zwar eine wichtige Recherchequelle, aber bei weitem nicht die einzige.

26 |

#6

Ungelöst – Das Nutzerdilemma: „‘Our information is healthier and tastes better too’ the librarians shout. But nobody listens. We‘re too busy Googling.“ (Peter Morville)

Vielen Dank für Ihre Aufmerksamkeit.

www.bui.haw-hamburg.de/lewandowski.html

Aktuelles Buch: Handbuch Internet-Suchmaschinen (Akademische Verlagsgesellschaft Aka, 2009)

E-Mail: dirk.lewandowski@haw-hamburg.de