Navigieren in komplexen Informationsportalen

Eine vergleichende Evaluation alternativer Website-Menüs

S. Heinz & M. Stempfhuber & B. Zapilko

Übersicht

• vascoda und die Fachportale• Ziel: Einheitliche

Informationsarchitektur für Fachportale

• Produktkatalog als Gestaltungsmittel

• Evaluation des Produktkataloges• Fazit und Ausblick

vascoda und die Fachportale

• Wissenschaftsportal vascoda(http://www.vascoda.de)

• Rund 40 Fachportale sind beteiligt• Unterschiedliche Gestaltung & Struktur

der Fachportale und vascoda• Projekt „Einheitliche Gestaltung der

Fachportale und des vascoda-Portals“(zusammen mit ZBW Kiel; DFG-gefördert)

• Projektziel: strukturelle, ergonomische und ästhetische Angleichung der Fachportale und mit vascoda

Ausgangslage in Fachportalen

• Großes Produktspektrum in den Fachportalen

• Konzeptuelle Integration der Produkte schwierig

• Produkte müssen in der Navigation verankert sein

=> Informationsarchitektur

Ausgangslage in Fachportalen

Integrationsbasis: Schalenmodell + Heterogenitätsbehandlung

Informationsarten:•Literaturnachweise (ca. 2,5 Mio.)•Forschungsprojektnachweise (ca. 80.000)•Institutionen (ca. 8.500)•Veranstaltungen (z.Z. 260)•Zeitschriftenprofile•Netzwerke•Sammlungen / Verzeichnisse•Volltexte (lokal und verlinkt)•Elektronische Publikationen (Thematische Dokumentationen, Open Access-Zeitschriften, etc.)

Anbieter:•CSA•DZA•DZI•GESIS-IZ•FES•USB Köln•WZB

Schale 3

Google Scholar,MS Academic Search,

Scirus, …

…Schale 2

Homepages vonSOFO-Instituten,

Harvesting(Literatur), …

Theoretische Grundlage: Schalenmodell

Schale 1

Datenbanken,OA Repository

(Selbstmeldung),Harvesting(Metadaten),

Rezensionen, Wikipedia, …

Kern

SOLIS, FORIS, SoLit, CSA, …

Informationsarchitektur 1/2

SOWIPORT-Partner

intellektuell (CK) Heterogenität statistisch, …

sozialwissenschaftlich Inhalte wissenschaftlichsystematisch Erschließung nicht systematisch

Informationsarchitektur

Informationsarchitektur

Datenbanken Publikationen

Dokumentationseinheit Servicepublikation

Informationsarchitektur

Datenbanken Publikationen

Produktkatalog

Produktkatalog für Fachportale

• Grundlage: Bestandsaufnahme zur strukturellen Gestaltung der Fachportale

• Kriterien zur Modell- und Gruppenbildung der Informationsangebote in den Fachportalen:- Primäre Interaktion- Informationsbedürfnis- Zielgruppe- Kommunikationsart- Qualitätskontrolle- Informationsart- Aktivitäten vs. Ergebnisse- Struktur

Produktkatalog für Fachportale

• Gruppierung

• Einheitliche Beschreibung• Browsing anhand von Klassifikationen

Datenbanken Publikationen Kommunikation Service

Primäre Interaktion Suchen Blättern Feedback / Austausch Anfragen

Informations-bedürfnis thematisch formal thematisch oder

formalthematisch oder

formal

Zielgruppe(n) alle alle alle alle

Kommunikationsart formell wiss. formell wiss. informell wiss. informell wiss.

Qualitätskontrolle ja ja nein ja

Informationsart Metadaten und Volltexte

Inhaltsverzeich-nisse und Texte Thema, Zeit, [Ort] Anfrage/

Angebot

Aktivitäten vs. Ergebnisse

Aktivitäten und Ergebnisse Ergebnisse # #

Struktur Strukturdes Faches # # #

Produktkatalog für Fachportale

_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _

Website-Navigation

Home Hilfe Impressum

Produktkatalog

Produktart

Datenbanken Publikationen Kommunikation Service

Thematisch Geografisch

User Interface

Informationsarchitektur

Produktkatalog: Aufbau

Einzelbeschreibung der ProdukteAnbieter

Produktart Gruppierung der Produkte

Produktart AnbieterProduktart +

AnbieterAnbieter + Produktart

+DB

UB

… …… …

Dynamische Sichten auf Produkte

Evaluation des Produktkataloges

• Evaluierung des Produktkataloges am Beispiel der GESIS-Website

• Vergleichende Evaluation: ursprüngliche Menüführung vs. Menü mit integriertem Produktkatalog (Prototyp) = statisches Menü vs. dynamisches Menü

Evaluation des Produktkataloges

Evaluation des Produktkataloges

Evaluation des Produktkataloges

• Fragestellung: Können die Informationsangebote mithilfe des Produktkataloges einfacher gefunden werden – trotz Lernaufwand?

• Stichprobengröße: 24 Testpersonen aus dem sozialwissenschaftlichen Bereich

• Szenariobasiertes Testdesign:- 8 Aufgaben, je 4 pro Menüvariante- „Wo suchen Sie …?- unterschiedliche Struktur der Aufgaben

Evaluation des Produktkataloges

• Struktur der Testaufgaben:1. Produktname + Hinweis auf die ProduktartBeispiel zu 1.:Sie sind auf der Suche nach Umfragedaten aus dem ALLBUS (der Allgemeinen Bevölkerungsumfrage der Sozialwissenschaften). Wo suchen Sie?

Evaluation des Produktkataloges

• Struktur der Testaufgaben:1. Produktname + Hinweis auf die Produktart2. Hinweise auf die ProduktartBeispiel zu 2.:Sie haben eine Umfrage durchgeführt und benötigen nun fachlichen Rat bei der statistischen Analyse der erhobenen Daten. Wo suchen Sie?

Evaluation des Produktkataloges

• Struktur der Testaufgaben:1. Produktname + Hinweis auf die Produktart2. Hinweise auf die Produktart3. Produktname, Name des Anbieters + Hinweise auf die Produktart

Beispiel zu 3.:Sie wollen in einem Projekt standardisierte Interviews durchführen und wurden von einer Bekannten darauf hingewiesen, dass das ZUMA zu diesem Thema einen Leitfaden in seiner „How-to Reihe“ veröffentlicht hat. Wo suchen Sie?

Evaluation des Produktkataloges

Testaufgaben• Aufzeichnung des Bildschirms inkl.

Mausaktivitäten sowie der Kommentare der Testpersonen

• Anwendung der Think-aloud-Methode• Bewertungsmatrix nach jedem

Aufgabenblock

Fragebogen• Subjektive Beurteilung der beiden

Menüvarianten

Evaluation des Produktkataloges

Auswertung der Testaufgaben• Methode nach Iain Barker• Erweiterung des Card Sorting• Definition von Musterlösungen für

jede Aufgabe und jede Menüvariante

• Dokumentation der Versuche zur Lösung der Aufgaben

• Abbildung der Ergebnisse auf die beiden Menüvarianten

Evaluation des Produktkataloges

Lösung der Testaufgaben durch Testperson 13Testaufgaben Lösung(en) Variante B TP 13

Aufgabe 1 1.1.2.1,1.2.1.1,2.1.1,3.4.1, 3.5.1

2.1.1

Aufgabe 2 1.4.2.5,2.13.3,3.3.17

3.13.3.17

Aufgabe 3 1.5.1.3,2.13.10,3.5.24

3.33.4.4

1.5.1.3Aufgabe 4 1.6.1.12,

2.18.3,3.5.32

3.5.32

Lösung(en) Variante A

Aufgabe 5 2.9 2.12.9

Aufgabe 6 1.2 21.2

Aufgabe 7 2.3 bzw. 2.3.1 264

1.14Aufgabe 8 7.2 1

7.2

Evaluation des Produktkataloges

Richtige Lösung beim 1. Versuch

Richtige Lösung beim 1. oder 2.

Versuch [kumuliert]

Richtige Lösung beim 1., 2. oder 3. Versuch

(oder mehr) [kumuliert]FalscheLösung

Aufgabe 1 83% 100% 100% 0%

Aufgabe 2 92% 100% 100% 0%

Aufgabe 3 75% 100% 100% 0%

Aufgabe 4 25% 50% 50% 50%

Aufgabe 5 58% 75% 83% 17%

Aufgabe 6 33% 42% 100% 0%

Aufgabe 7 67% 75% 83% 17%

Aufgabe 8 67% 92% 100% 0%

Durchschnitt: 63% 79% 90% 10%

Lösungsversuche mit dem statischen Menü

Evaluation des Produktkataloges

Richtige Lösungbeim 1. Versuch

Richtige Lösungbeim 1. oder 2.

Versuch [kumuliert]

Richtige Lösung beim 1., 2. oder 3. Versuch (oder

mehr) [kumuliert]FalscheLösung

Aufgabe 1 100% 100% 100% 0%

Aufgabe 2 67% 100% 100% 0%

Aufgabe 3 92% 92% 100% 0%

Aufgabe 4 58% 67% 83% 17%

Aufgabe 5 58% 75% 100% 0%

Aufgabe 6 50% 83% 92% 8%

Aufgabe 7 67% 100% 100% 0%

Aufgabe 8 83% 92% 92% 8%

Durchschnitt: 72% 89% 96% 4%

Lösungsversuche mit dem dynamischen Menü

Evaluation des Produktkataloges

63%

79%

90%

10%

72%

89%

96%

4%

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Richtige Lösung beim1. Versuch

Richtige Lösung beim1. oder 2. Versuch

[kumuliert]

Richtige Lösung beim1., 2. oder 3. Versuch

(oder mehr)[kumuliert]

falsche Lösung

Lösu

ngsv

ersu

che

Variante A (Original GESIS)

Variante B (mit integriertemProduktkatalog)

Evaluation des Produktkataloges

Variante A (Original-GESIS-Menü)6

25%

Variante B

1875%

Welche Variante hat Ihnen besser gefallen?

(mit integriertem Produktkatalog)

Evaluation des Produktkataloges

Variante A (Original-GESIS-Menü)7

29%

Variante B (mit integriertem Produktkatalog)

16 67%

kein Unterschied1

4%

Mit welcher Variante konnten Sie die Aufgaben leichter lösen?

Evaluation des Produktkataloges

nein6

25%

ja17

71%

keine Meinung1

4%

Würden Sie die Einführung der neuen Navigation auf der GESIS-Website begrüßen?

Fazit und Ausblick

• Übertragung des Informationsarchitektur-Begriffs auf wissenschaftliche Fachportale

• Positive Evaluierung des Konzepts „Produktkatalog“ durch Benutzertest

• Umsetzung in SOWIPORT und GESIS-Website

• Weitere Benutzertests und Umfragen

Vielen Dank für Ihre Aufmerksamkeit!

Kontakt:Benjamin Zapilkobenjamin.zapilko@gesis.orgMaximilian Stempfhubermaximilian.stempfhuber@gesis.org

Literatur• Barker, Iain (2007): Measuring the Success of a Classification System. In: Boxes and Arrows (Weblog).

URL: http://www.boxesandarrows.com/view/measuring-the (24.04.2007)• Candela, Leonardo; Castelli, Donatella; Pagano, Pasquale; Thanos, Constantino; Ioannidis, Yannis;

Koutrika, Georgia; Ross, Seamus; Schek, Hans-Jörg; Schuldt, Heiko (2007):Setting the Foundations of Digital Libraries: The DELOS Manifesto. In: D-Lib Magazine 13, Nr. 3-4. URL: http://www.dlib.org/dlib/march07/castelli/03castelli.html

• Gonçalves, Marcos André; Fox, Edward A.; Watson, Layne T.; Kipp, Neill A. (2004):Streams, Structures, Spaces, Scenarios, Societies (5S): A Formal Model for Digital Li-braries. In: ACM Transactions on Information Systems (TOIS) 22, Nr. 2, S. 270-312

• Hegner, Marcus (2003): Methoden zur Evaluation von Software. Bonn: IZ Sozialwissenschaften. (IZ-Arbeitsbericht; Nr. 29) URL: http://www.gesis.org/Publikationen/Berichte/IZ_Arbeitsberichte/index.html#ab29

• Heinz, Sabine; Pianos, Tamara (2007): vascoda - ein Netzwerk von Fachportalen. S. 123-147. In: Stempfhuber, Maximilian (Hrsg.): Lokal - Global: Vernetzung wissenschaftlicher Infrastrukturen - 12. Kongress der IuK-Initiative der Wissenschaftlichen Fachgesellschaften in Deutschland. Bonn: GESIS - IZ Sozialwissenschaften.URL: http://www.gesis.org/Forschung/Informationstechnologie/Dateien/IuK2006_Heinz_Pianos.pdf

• Heinz, Sabine; Stempfhuber, Maximilian (2007): Eine Informationsarchitektur für wissenschaftliche Fachportale in vascoda. S. 485-508. In: Oßwald, Achim; Stempfhuber, Maximilian; Wolff, Christian (Hrsg.): Open Innovation: Neue Perspektiven im Kontext von Information und Wissen. Konstanz: UVK. (Schriften zur Informationswissenschaft; Bd. 46)URL: http://www.gesis.org/Forschung/Informationstechnologie/Dateien/IuK2007_Heinz_Stempfhuber_Preprint.pdf

• Krause, Jürgen (1996): Informationserschließung und –bereitstellung zwischen Deregulation, Kommerzialisierung und weltweiter Vernetzung („Schalenmodell“). Bonn: IZ Sozialwissenschaften. (IZ-Arbeitsbericht; Nr. 6) URL: http://www.gesis.org/Publikationen/Berichte/IZ_Arbeitsberichte/index.html#ab6

• Mayr, Philipp (2006): Informationsangebote für das Wissenschaftsportal vascoda - eine Bestandsaufnahme. Bonn: IZ Sozialwissenschaften. (IZ-Arbeitsbericht; Nr. 37) URL: http://www.gesis.org/Publikationen/Berichte/IZ_Arbeitsberichte/pdf/ab_37.pdf

• Morville, Peter; Rosenfeld, Louis (2006): Information Architecture for the World Wide Web: DesigningLarge-Scale Web Sites. 3. Aufl. Beijing [u.a.]: O'Reilly.

• Pianos, Tamara; Trauzold, Silke (2006): Ergebnisse der Befragung unter den Fachportalen. [internes Papier, im vascoda-Intranet für Vereinsmitglieder zugänglich]

• Zapilko, Benjamin (2006): Entwícklung eines eigenständigen Produktkataloges aus dem bestehenden GESIS-Webangebot. Diplomarbeit an der Universität Koblenz-Landau.