InnovativeEvaluierung hierarchischerCard-Sorting Experimente · 1.1Motivation...

Fakultät für Elektrotechnik, Informatik und MathematikInstitut für InformatikFachgebiet Mensch-Computer-Interaktion und SoftwaretechnologieFürstenallee 1133102 Paderborn

Innovative Evaluierunghierarchischer Card-Sorting

Experimente

Bachelor-Arbeitim Rahmen des Studiengangs Informatik

zur Erlangung des GradesBachelor of Science

vonKenan Zimic

Pohlweg 7233098 Paderborn

vorgelegt beiProf. Dr. Gerd Szwillus

undProf. Dr. Stefan Böttcher

Paderborn, 16. Januar 2017

ErklärungIch versichere, dass ich die Arbeit ohne fremde Hilfe und ohne Benutzung andererals der angegebenen Quellen angefertigt habe und dass die Arbeit in gleicher oderähnlicher Form noch keiner anderen Prüfungsbehörde vorgelegen hat und von die-ser als Teil einer Prüfungsleistung angenommen worden ist. Alle Ausführungen, diewörtlich oder sinngemäß übernommen worden sind, sind als solche gekennzeichnet.

Ort, Datum Unterschrift

ii

Inhalt1 Einleitung 1

1.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21.2 Zielsetzung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31.3 Aufbau der Arbeit . . . . . . . . . . . . . . . . . . . . . . . . . . 3

2 Usability Grundlagen 42.1 Usability-Definition . . . . . . . . . . . . . . . . . . . . . . . . . . 42.2 Usability-Kriterien . . . . . . . . . . . . . . . . . . . . . . . . . . 52.3 Methoden zum Testen der Usability . . . . . . . . . . . . . . . . . 6

2.3.1 Expertenzentrierte Methoden . . . . . . . . . . . . . . . . 72.3.2 Nutzerzentrierte Methoden . . . . . . . . . . . . . . . . . . 8

3 Card Sorting 93.1 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93.2 Durchführung der Card-Sorting Experimente . . . . . . . . . . . . 103.3 Auswertung der klassischen Card-Sorting Experimente . . . . . . 123.4 Vor- und Nachteile der Card-Sorting Experimente . . . . . . . . . 12

4 Hierarchisches Card-Sorting 144.1 Grundlagen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144.2 Durchführung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154.3 Durchführung mit WeCaSo . . . . . . . . . . . . . . . . . . . . . . 16

4.3.1 Das WeCaSo Experiment . . . . . . . . . . . . . . . . . . . 174.4 Probleme mit der Sortieranwendung WeCaSo . . . . . . . . . . . . 18

5 Auswertung 225.1 Auswertungsmethoden . . . . . . . . . . . . . . . . . . . . . . . . 22

5.1.1 Section Label Analysis . . . . . . . . . . . . . . . . . . . . 225.1.2 Cluster Analyse . . . . . . . . . . . . . . . . . . . . . . . . 255.1.3 DBSCAN . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

5.2 Motivation für die Entwicklung einer neuen Methode . . . . . . . 285.3 Kernidee der neuen Auswertungsmethode . . . . . . . . . . . . . . 295.4 Faktor-Analyse . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

5.4.1 AnalyseCSV . . . . . . . . . . . . . . . . . . . . . . . . . . 325.4.2 FillMatrix . . . . . . . . . . . . . . . . . . . . . . . . . . . 325.4.3 BuildResultTrees . . . . . . . . . . . . . . . . . . . . . . . 345.4.4 Ausnahmebehandlung CompareComposition . . . . . . . . 36

iii

Inhalt

5.4.5 Eine weitere Auswertungsmethode für die hierarchischen Card-Sorting Experimente . . . . . . . . . . . . . . . . . . . . . 38

6 Entwurf und Aufbau des Werkzeugs 406.1 Beschreibung des Werkzeugs . . . . . . . . . . . . . . . . . . . . . 40

6.1.1 Systemumgebung und Design . . . . . . . . . . . . . . . . 406.1.2 Benutzerschnittstelle . . . . . . . . . . . . . . . . . . . . . 40

6.2 Programmablauf . . . . . . . . . . . . . . . . . . . . . . . . . . . 416.3 Fehlerbehandlung . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

7 Zusammenfassung und Ausblick 447.1 Zusammenfassung der Ergebnisse . . . . . . . . . . . . . . . . . . 447.2 Ausblick . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47

Anhang 48

AnhangA Klassendiagramm 48

B Inhalt der CD 51B.1 Voraussetzungen zum Ausführen der Applikation . . . . . . . . . 51

Literatur 52

iv

Abbildungsverzeichnis3.1 Ein Teil der Navigationsstruktur von Amazon . . . . . . . . . . . 10

4.1 Kategorie Kamera & Foto auf Amazon.de . . . . . . . . . . . . . . 154.2 Verschiedene Optionen in WeCaSo . . . . . . . . . . . . . . . . . 174.3 Aufbau des Card Sorting Experimentes in WeCaSo . . . . . . . . 184.4 Aus WeCaSo exportierte CSV Datei . . . . . . . . . . . . . . . . . 194.5 Sortierinformationen in der WeCaSo-Datenbank . . . . . . . . . . 194.6 Struktur nach dem Auflösen der Klammerung . . . . . . . . . . . 204.7 Überarbeitete CSV Datei . . . . . . . . . . . . . . . . . . . . . . . 21

5.1 Auswertung mittels SLA . . . . . . . . . . . . . . . . . . . . . . . 235.2 Ausschnitt einer Heatmap . . . . . . . . . . . . . . . . . . . . . . 245.3 Symmetrische Distanzmatrix . . . . . . . . . . . . . . . . . . . . . 265.4 Auswertung mittels DBSCAN . . . . . . . . . . . . . . . . . . . . 275.5 Symmetrische Distanzmatrix . . . . . . . . . . . . . . . . . . . . . 285.6 Extremfall für die Faktorvergabe . . . . . . . . . . . . . . . . . . 295.7 Faktormatrix für die Sortierung aus der Abbildung 5.6 . . . . . . 305.8 Verschiedene Zuordnungen der Karte 5 . . . . . . . . . . . . . . . 315.9 Beispielsortierungen von drei Testpersonen mit fünf Karten . . . . 315.10 Faktormatrix für das Beispiel aus der Abbildung 5.9 . . . . . . . . 335.11 Faktorsummen für die Sortierungen aus der Abbildung 5.9 . . . . 335.12 Berechnete Teilbäume . . . . . . . . . . . . . . . . . . . . . . . . 375.13 Zwei gleichwertige Ergebnisse . . . . . . . . . . . . . . . . . . . . 38

6.1 Programmoberfläche . . . . . . . . . . . . . . . . . . . . . . . . . 416.2 „Datei öffnen“-Dialog . . . . . . . . . . . . . . . . . . . . . . . . . 426.3 Aufzeigen mehrerer alternativen Kategorien für eine Karte . . . . 426.4 Fehlermeldung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

7.1 Die Informationsstrukturen im Vergleich . . . . . . . . . . . . . . 457.2 Zuordnung der Spalten in Casolysis 2.0 . . . . . . . . . . . . . . . 47

A.1 Klassendiagramm 1/2 . . . . . . . . . . . . . . . . . . . . . . . . . 49A.2 Klassendiagramm 2/2 . . . . . . . . . . . . . . . . . . . . . . . . . 50

v

Tabellenverzeichnis5.1 Ein Auszug aus der Sortierung durch die Person A . . . . . . . . . 245.2 Ein Auszug aus der Sortierung durch die Person B . . . . . . . . . 24

vi

1 EinleitungEines der wichtigsten Merkmale einer Webseite oder einer Software ist die guteBedienbarkeit. Genau dieses Merkmal entscheidet oft über deren Erfolg oder Miss-erfolg. Die Navigationsstruktur einer Webseite, genau wie die Menüstruktur einerSoftware, die die wichtigste Schnittstelle zwischen dem Benutzer und der Anwen-dung sind, sollen intuitiv aufgebaut sein. Der Benutzer soll sich auf der Webseiteleicht zurecht finden, aber auch der gewünschte Menüpunkt soll im Menü einerSoftware schnell und einfach gefunden werden. Das ist leider nicht immer der Fall.Die kognitiven Fähigkeiten der Entwickler, die oft gar nicht zu der Gruppe dertypischen Endbenutzer gehören, sind meistens sehr ausgeprägt. Sie haben mehrErfahrung im Umgang mit der Software, wobei ihnen größtenteils die fachlicheSicht des Endanwenders fehlt. Die Navigationsstruktur ist aus diesen Gründenaus der Sicht des Endverbrauchers oft zu kompliziert, oder fachlich nicht ganzlogisch gestaltet.Um das zu vermeiden, sollen die tatsächlichen späteren Benutzer frühestmöglichin den Entwicklungsprozess integriert werden. Der dafür am besten geeignete Zeit-punkt im Laufe einer Softwareentwicklung ist der Anfang der Konzeptionsphase.Zu diesem Zeitpunkt sind die Navigationspunkte weitestgehend bekannt, aber dieeigentliche Navigationsstruktur ist noch nicht erstellt worden. Versucht man dieEndbenutzer zu einem späteren Zeitpunkt in den Prozess zu integrieren, ist das,aufgrund von zum Teil sehr umfangreichen Veränderungen die dann gemacht wer-den müssen, oft mit sehr hohen Kosten verbunden.Die Card-Sorting Experimente, auf die im Kapitel 3 näher eingegangen wird, sindeine schnell realisierbare und dadurch eine preiswerte Methode, um die potenziel-len Endbenutzer in den Entwicklungsprozess einzubinden. In diesen Experimentenhaben die Testteilnehmer die Aufgabe, Begriffe aus der potentiellen Informationss-truktur, die auf Papierkarten notiert sind, zu Gruppen zusammenzufassen. Dieklassische Variante dieser Experimente ist ein Card-Sorting, in dem die Gruppennicht verschachtelt sind. Diese Variante liefert den Entwicklern die Kenntnis dar-über, wo die Benutzer jeweilige Informationen erwarten und welche Begriffe in derNavigationsstruktur zusammengehören und deshalb zu einer Gruppe zusammen-gefasst werden können. Mit diesen neu gewonnenen Kenntnissen kann die künftigeInformationsstruktur intuitiver aufgebaut werden. Benutzt man die hierarchischeVariante dieser Experimente, kann die Informationsstruktur durch die Benutzungvon Hierarchien auch übersichtlicher gestaltet werden.Im Folgenden möchte ich grob die Durchführung der Card-Sorting Experimenteskizzieren. Für solch ein klassisches Card-Sorting Experiment sind die Karten vondem Testleiter, der in der Regel einer der Entwickler ist, vorbereitet und erstellt.

1

1.1 Motivation

Die Testpersonen sind gebeten worden, die Karten, auf den jeweils ein Navigati-onspunkt aus der späteren Navigationsstruktur notiert ist, in sinnvolle Kategorienzu gruppieren. Nachdem die Testpersonen die Karten sortiert und das Experi-ment beendet haben, hat der Testleiter die Aufgabe, die jeweiligen Card-Sortingsauszuwerten. Anhand der Resultate dieser Auswertung soll er eine sinnvolle undgeeignete Navigationsstruktur herauslesen und einen Prototyp, also einen erstenEntwurf der Navigationsstruktur, erstellen.

Solche klassischen Card-Sorting Experimente haben allerdings einen entscheiden-den Nachteil - die Karten sind bei solchen Experimenten in der Regel nur in diejeweiligen Gruppen arrangiert worden. Die Möglichkeit Gruppen zu verschachtelnist dabei nicht gegeben. Aus diesem Grund liefern solche Experimente eine flacheund breite Struktur. Folglich ist es auch nicht sinnvoll, aus solchen klassischenCard-Sorting Experimenten einen geeigneten Prototyp der Informationsstrukturfür Webseiten mit einer Vielzahl an verschiedenen Produkt- und Zubehörkatego-rien, die wegen der besseren Übersicht verschachtelt werden sollten, herzuleiten.Das ist bei gegebener Komplexität solcher Webseiten heutzutage aber zwingenderforderlich.Allerdings ist es mit einer anderen Variante, den hierarchischen Card-Sorting Ex-perimenten tatsächlich möglich Kategorien zu verschachteln und damit die gege-bene komplexe Informationsstruktur durch die Verwendung von Hierarchien über-sichtlicher zu gestalten. Dazu ein Zitat von Henrik Arnds[Arn06, S.135f]:

„Die Strukturierung von Informationen mittels Hierarchien ist sehr ef-fektiv. Jeder einzelnen Sektion sind nur die Eigenschaften zugewiesen,die sie von der ihr übergeordneten Kategorie unterscheidet. Alle ande-ren Eigenschaften ergeben sich aus der Position innerhalb der Struk-tur.“

1.1 MotivationEines der größten Probleme mit den hierarchischen Card-Sorting Experimentenist deren Evaluation. Die Hierarchieinformationen fließen bei den meisten Eva-luationsmethoden, die für die Auswertung klassischer Card-Sorting Experimenteentwickelt sind, entweder gar nicht, oder nur sehr kodiert in die Auswertung ein.Der Grund dafür ist, dass diese Methoden entwickelt sind, um letztendlich eineVorstellung davon zu liefern, welche Begriffe unter einem Menüpunkt zusammengruppiert werden sollten, jedoch nicht, wie die Verschachtelung der Gruppen aus-gewertet werden soll.Genau hier setzt diese Arbeit an. Eine neue Auswertungsmethode für die hierar-chischen Card-Sorting Experimente soll erörtert werden. Insbesondere sollen dieInformationen über die verschachtelte Kategorien mit Hilfe dieser Methode in dieAuswertung einfließen.

2

1.2 Zielsetzung

Als Grundlage für das Testen einer neuen Auswertungsmethode wurde ein Expe-riment, in dem Begriffe aus der Informationsstruktur der Webseite der UniversitätBremen sortiert werden sollen, erstellt. Hierfür hätte man auch die Menüstruktureiner nahezu beliebigen Software nehmen können, da die gleiche Anforderungensowohl für die Gestaltung der Informationsstruktur einer Webseite als auch dieNavigationsstruktur einer Software gelten. Im Abschnitt 4.3.1 wird näher auf dasExperiment eingegangen.

1.2 ZielsetzungDas hierarchische Card-Sorting, das im Kapitel 4 genauer erklärt wird, erlaubtes, wie bereits erwähnt, die Kategorien in der Informationsstruktur zu verschach-teln, um die komplexe Navigationsstruktur logischer zu gestalten, während diegute Übersicht erhalten bleibt. Allerdings ist die Auswertung hierarchischer Card-Sorting Experimente um einiges aufwendiger als die Auswertung der klassischenVariante dieser Experimente. Es setzt ein geeignetes Werkzeug voraus, um dieseExperimente nach einer computergestützten Durchführung auswerten zu können.Des Weiteren muss festgelegt werden, in welcher Form die Ergebnisse der Experi-mentanalyse später präsentiert werden sollen.Im Rahmen dieser Arbeit soll eine innovative Evaluationsmethode für hierarchi-schen Card-Sorting Experimente erörtert und anschließend eine Anwendung imple-mentiert werden, die diese Methode für die Evaluation hierarchischer Card-SortingExperimente anwendet. Als Resultat soll ein Prototyp der Navigationsstruktur er-stellt werden.Ich habe mich für den Namen „HiSort“ für die Anwendung entschieden. Der Namegeht aus den Begriffen Hierarchische Card Sorting Evaluierung hervor.

1.3 Aufbau der ArbeitDiese Bachelorarbeit dokumentiert die Konzeption und die Implementierung einerAnwendung zur Auswertung von hierarchischen Card-Sorting Experimenten. Zu-nächst werden im folgenden Kapitel 2 die Grundlagen und wissenswertes über dieUsability dargelegt. Die Card-Sorting Experimente, samt ihrer Durchführung, sindim Kapitel 3 detailliert erläutert. Im darauf folgenden Kapitel 4 wird auf die Ei-genschaften und die Besonderheiten des hierarchischen Card-Sorting näher einge-gangen. Danach werden im Kapitel 5 verschiedene Analysemethoden beschrieben.Hier wird auch die im Rahmen dieser Arbeit entwickelte Faktor-Analyse-Methodegenau beschrieben. Im Anschluss wird im Kapitel 6 auf den Entwurf und Bedie-nung der entwickelten Anwendung näher eingegangen. Zum Schluss werden imKapitel 7 die Ergebnisse dieser Arbeit zusammengefasst.

3

2 Usability GrundlagenCard-Sorting Experimente sind, wie bereits in der Einleitung erwähnt, eine schnellrealisierbare Methode, um die potenzielle spätere Benutzer in den Entwicklungs-prozess eines Produktes zu integrieren. Diese Methode hilft dabei, die Usability desProduktes zu verbessern. Doch was bedeutet Usability überhaupt, wie kann mansie testen und wie hängen Card-Sorting Experimente und Usability zusammen?In diesem Kapitel werden diese Fragen beantwortet.

2.1 Usability-DefinitionUm die vorherigen Fragestellungen zu beantworten, ist es wichtig, den Begriff Usa-bility zu erklären. Usability lässt sich ins Deutsche am besten mit Verwendbarkeit,Benutzerfreundlichkeit oder Gebrauchstauglichkeit übersetzen. Es gibt mehrereDefinitionen für die Usability. Die bekannteste stammt von Jakob Nielsen [NM94,S.25ff]:

Usability is the measure of the quality of the user experience wheninteracting with something – whether a web site, a traditional softwareapplication, or any other device the user can operate in some way oranother.

In der ISO-Norm 9241, Teil 11 [Dir, S.10] ist Usability wie folgt definiert:

Usability lässt sich mit Benutzerfreundlichkeit übersetzen. Faktoren,die dazu beitragen sind einfache Erlernbarkeit (intuitive Verständlichkeit),Aufgabeangemessenheit, Berücksichtigung von Vorwissen oder Stereo-typien des Verhaltens (Erwartungskonformität) sowie Fehlerrobust-heit.

Eine weitere Definition nach der ISO/IEC-Norm 25010 [ISO] lautet:

Usability is a degree to which a product or system can be used byspecified users to achieve specified goals with effectiveness, efficiencyand satisfaction in a specified context of use.

Durch diese Definitionen ist klar, dass es bei der Verbesserung von Usability vorallem darum geht, die Interessen und die Anforderungen der Benutzer zu verstehenund auf diese einzugehen. Eine gut organisierte Webseite, so wie eine Software mitübersichtlicher Menüstruktur, unterstützen den Nutzer bei den Versuchen seineZiele in kürzester Zeit und ohne großen Aufwand zu erreichen.

4

2.2 Usability-Kriterien

2.2 Usability-KriterienWenn man die Usability eines Produktes bestimmen möchte, untersucht man dieBenutzerfreundlichkeit oder die alltägliche Gebrauchstauglichkeit des Produktes.Die fünf Kriterien, mit denen man diese bestimmen kann, stammen von JakobNielsen[Nie93]. Diese sind:

Satisfaction: „The system should be pleasant to use, so that usersare subjectively satisfied when using it; they like it.“

Learnability: „The system should be easy to learn so that the usercan rapidly start getting some work done with the system“

Efficiency: „The system should be efficient to use, so that once theuser has learned the system, a high level of productivity is possible“

Memorability: „The system should be easier to remember, so thatthe casual user is able to return to the system after some period of nothaving used it, without having to learn everything all over again.“

Errors: „The system should have a low error rate, so that users makefew errors during the use of the system, and so that if they do makeerrors they can easily recover from them. Further, catastrophic errorsmust not occur.“

Diese Kriterien können abhängig vom Schwerpunkt der Analyse unterschiedlichgewichtet werden. Es ist allerdings wichtig, dass der Kontext ausreichend detail-liert beschrieben ist, so dass alle Rahmenbedingungen, die die Usability beein-flussen, festgelegt sind. So ist zum Beispiel das Kriterium Fehlertoleranz in einerAnwendung, die beispielsweise in der Medizin benutzt wird, höher priorisiert alsZufriedenheit. Das ist bei einem Produkt, dass lediglich für Spaß und Freizeit ent-wickelt ist, eher umgekehrt der Fall.Die fünf eben genannten Kriterien lassen sich am Beispiel einer beliebigen Softwareganz gut erklären:

Zufriedenheit: Eine Software, die ein einfaches und übersichtliches Layout bereit-stellt, in dem sich die Benutzer gut zurecht finden und dadurch die gesuchtenFunktionen schnell und einfach finden, verleitet die Benutzer die Softwaregerne zu benutzen.

Erlernbarkeit: Der Umgang mit der Software soll leicht erlernbar sein. Es solltefür den Benutzer möglich sein, ohne großen Aufwand auf sein Anfänger-wissen aufzubauen. Das einhalten diverser Konventionen ermöglicht es zumBeispiel schon bekannte Short-Cuts1 weiter zu benutzen. Wenn nötig, sollder Benutzer die Hilfe immer schnell finden können.

1Tastaturkurzbefehle

5

2.3 Methoden zum Testen der Usability

Effizienz: Die Zeit, die der Benutzer aufbringen muss um eine Aufgabe mit Hilfeder Software zu lösen, ist ein Faktor mit den man die Effizienz einer Softwaremessen kann. Eine effiziente Software erfordert wenig Aufwand seitens desBenutzers um ein bestimmtes Ziel zu erreichen. Die Effizienz kann auch an-hand der Anzahl von Klicks, die man benötigt um eine bestimmte Operationdurchzuführen, bestimmt werden.

Einprägsamkeit: Die verwendeten Symbole, Bezeichnungen und Short-Cuts soll-ten den gegebenen Richtlinien entsprechen und leicht verständlich sein.

Fehlertoleranz: Der Benutzer soll sein Ziel trotz fehlerhafter Eingabe erreichenkönnen. Die Fehlerbehebung sollte dabei leicht durchführbar sein. Dem Be-nutzer sollten Lösungsvorschläge und Hinweise auf die Lösung des Problemsangeboten werden. Des Weiteren sollten die fehlerhaften Eingaben abgefan-gen werden und mit einem geeigneten Hinweis zur richtigen Eingabe auffor-dern.

2.3 Methoden zum Testen der UsabilityEin Anwendung2 ist üblicherweise von Spezialisten, unter Berücksichtigung vonUsabilitykriterien, entworfen. Die Softwareentwickler, beziehungsweise die Web-designer, die am Entwurfsprozess teilnehmen, sind meistens Koryphäen auf ihremGebiet. Dementsprechend könnte man meinen, dass sie immer eine leicht zu be-dienende Software oder eine übersichtliche und, aus der Sicht des Benutzers, lo-gisch aufgebaute Webseite entwerfen. Die Benutzer verhalten sich jedoch oft ganzanders, als von den Entwicklern geplant. Die gesuchten Informationen werden da-durch häufig an einer anderen Stelle, als es von den Entwickler vorgesehen ist,vermutet.Die Benutzer sollen schließlich schnell mit der Anwendung vertraut werden. Wenndas nicht der Fall ist und der Benutzer viel zu lange braucht um die gewünschteInformation zu finden, wird er die Webseite erfahrungsgemäß in den meisten Fäl-len enttäuscht verlassen und im Extremfall nicht wieder besuchen. Die schlechteUsability führt außerdem oft dazu, dass die Benutzer die Bedienung der Softwareals zu umständlich empfinden und sich deshalb nach Alternativen umsehen.Um Probleme dieser Art zu vermeiden, ist es empfehlenswert Usability-Testsdurchzuführen. Die im Abschnitt 2.2 aufgeführten Usability Kriterien, könnenmit diesen Tests untersucht und gemessen werden.Es stehen verschiedene Methoden, mit denen man die Usability testen kann, zurVerfügung. Diese Methoden lassen sich in zwei Typen, die expertenzentrierten unddie nutzerzentrierten Methoden unterteilen.

2Software oder Webseite

6


2.3.1 Expertenzentrierte MethodenBei den expertenzentrierten Methoden, wie der Name schon vermuten lässt, wer-den die Tests von den Usability Experten durchgeführt. Die Experten müssen da-bei versuchen sich in die Rolle des Endbenutzers hinein zu versetzen. Sie könnendie komplette Funktionalität des Produktes testen und die potentiellen Schwach-stellen erkennen. Solch ein Test mit Benutzern durchzuführen wäre sehr mühsamund langwierig. Daraus ergibt sich auch der entscheidende Vorteil dieser Methode- die expertenzentrierten Usability Tests sind grundsätzlich schneller durchführbarund dadurch auch kostengünstiger als die nutzerzentrierte Varianten. Der zentraleNachteil dieser Methoden ist allerdings auch naheliegend - es testen die Experten.Diese haben eine bessere Kenntnis von dem Produkt und oft auch einen höherenWissensstand als die späteren Benutzer. Durch dieses Mehrwissen, sind die Ex-perten allerdings meistens nicht in der Lage, sich komplett in die Endbenutzerhineinzuversetzen. Eine gewisse Routine im Umgang mit dem Produkt und dieTatsache, dass die Entwickler unbewusst bestimmte Fähigkeiten bei den Endbe-nutzer voraussetzen, führen zu falschen Annahmen über das Benutzerverhalten.Die bekanntesten expertenzentrierten Methoden um die Usability zu testen sinddie Heuristische Evaluation und der Cognitive Walkthrough. Bei der heuristischenEvaluation, einem Verfahren dass von Jakob Nielsen und Rolf Molich[NM90] ent-wickelt ist, bewerten die Experten das System nach den zehn von Nielsen[Nie95a]definierten Heuristiken3. Dabei untersuchen drei bis fünf Experten unabhängig voneinander das Produkt. Deren Ergebnisse werden anschließend zusammengefasst.Jedes entdeckte Problem wird mit einem Schweregrad bewertet. Es wird beson-ders darauf geachtet, wie häufig ein Problem auftritt und wie schwerwiegend esdie Nutzung des Produkts beeinträchtigt. Anhand dieses Fundus wird eine Prio-ritätenliste für die Problembehebung erstellt. Außerdem wird zu jedem Problemein Lösungsvorschlag angeboten.

Bei der Cognitive Walkthrough Methode[WRLP90] steht die einfache Erlernbar-keit eines Produktes im Vordergrund. Es ist eine analytische Testmethode, bei derman untersucht, ob die durch die Experten simulierten Nutzer, konkrete Aufgabenintuitiv richtig mit dem System erledigen. Als Ergebnis dieser Methode erstellendie Experten ein Usability Report, in dem die kognitiven Schwierigkeiten katego-risiert und priorisiert sind. Anschließend werden daraus Verbesserungsvorschlägeerarbeitet und angeboten. Auch diese Methode hat ihre Vor- und Nachteile. Ei-ner der größten Vorteile ist, dass die Usability hierbei anhand echter Aufgabengetestet wird. Da die Experten die Benutzer simulieren, ist der Aufwand dement-sprechend kleiner als bei den Tests mit den echten Nutzern. Allerdings verbirgtsich dahinter auch einer der größten Nachteile dieser Methode - es werden trotz-dem die Experten statt der echten Nutzer eingesetzt.

3allgemein anerkannte Prinzipien

7


Da die kognitiven Fähigkeiten eines Experten meistens über den eines durch-schnittlichen Endbenutzers liegen, kann mit der expertenzentrierten Methode dasVerhalten eines Nutzers nur begrenzt simuliert werden. Im Gegensatz dazu kön-nen die Benutzer das Produkt bei weitem nicht so gründlich wie die Expertenuntersuchen, was viele tiefer liegende Schwachstellen oft unentdeckt lässt. Dahersollten diese zwei Methoden kombiniert werden, um bestmögliche Resultate beiden Tests zu erzielen.

2.3.2 Nutzerzentrierte MethodenIm Unterschied zu den expertenzentrierten Methoden sind bei diesem Testmetho-dentyp die tatsächlichen späteren Benutzer in den Entwicklungsprozess integriert.Hierbei werden realistische Aufgabenszenarien durch die künftigen Nutzer un-ter den geschulten Augen von Experten bearbeitet. Der Test wird üblicherweisemit einer speziellen Software protokolliert. Dabei werden Ton, Video und Maus-bewegungen aufgezeichnet. Das setzt meistens ein entsprechend ausgestattetesUsability-Labor voraus. Die Benutzer können auch aufgefordert werden, währenddes Tests laut zu denken4. Die Qualität der Ergebnisse solch eines Tests hängenallerdings sehr stark davon ab, wie bereit die Testpersonen sind, ihr Denken wäh-rend des Tests in Worte zu fassen. Bei dieser Art von Test offenbaren sich schnelldie Schwächen der Benutzerschnittstelle. Es wird deutlich, an welcher Stelle Ver-ständnisprobleme entstehen und wo die Benutzer Schwierigkeiten im Umgang mitdem Produkt haben. Nach dem Abschluss des Tests werden in einem UsabilityReport die Schwachstellen kategorisiert. Die Entwickler bekommen dadurch einegute Übersicht über gravierende Schwächen und können dementsprechend die In-formationsstruktur optimieren.Eine weitere nutzerzentrierte Methode ist der sogenannte User Experience Test.Dieser Test bewertet die gesamte Erfahrung, die ein Nutzer mit einem Produktmacht. Zusätzlich zu der Bedienbarkeit, sind hierbei auch emotionale Erlebnissewie etwa Freude oder Frustration dokumentiert und anschließend analysiert.Das Card-Sorting, auf das ich in dem folgenden Kapitel 3 genauer eingehe, zähltebenfalls zur Gruppe der nutzerzentrierten Testmethoden.

4Think-Aloud Technik

8

3 Card SortingCard-Sorting ist eine der nutzerzentrierten Usability-Testmethoden, die angewen-det wird, um mit Hilfe von Personen aus der späteren Zielgruppe, Navigationss-trukturen mit einer hohen Nutzerakzeptanz zu entwerfen, oder bereits erstellteNavigationsstrukturen zu optimieren. Im folgenden Abschnitt wird eine genaueDefinition des Card-Sortings gegeben. Anschließend wird näher auf die Durchfüh-rung und Auswertung dieser Experimente eingegangen. Die verschiedenen Aus-wertungsmethoden werden später im Kapitel 5 genauer untersucht und erklärt.

3.1 DefinitionCard Sorting ist ein Verfahren, das beim Entwurf einer gebrauchstauglichen Na-vigationsstruktur einer Webseite zum Einsatz kommt. Es kann sowohl für denEntwurf der Navigationsstruktur einer Webseite, als auch für den Entwurf der In-formationsstruktur einer Software benutzt werden, wobei im Folgenden der Fokusauf den Webseiten liegt. Das Verfahren lässt sich analog auf sonstige Menüstruk-turen übertragen.Dieses Verfahren ist schnell durchführbar. Es ist außerdem eine der kostengüns-tigeren nutzerzentrierten Methoden. Es hat zum Ziel, einen benutzerfreundlichenund leicht verständlichen Aufbau der Navigationsstruktur zu erarbeiten, dass vonmöglichst vielen Benutzern verstanden, für gut befunden und akzeptiert ist. Letzt-endlich sollen die Nutzer ein Endprodukt1 bekommen, bei dem die gesuchten In-formationen logisch sortiert und leicht zu finden sind, denn das trägt in einemgroßen Maß dazu bei, dass die Benutzer die Webseite nicht vorzeitig verlassen,weil das Finden der Informationen zu umständlich ist oder etwa zu viel Zeit inAnspruch nimmt.Die Endbenutzer sollen deshalb frühestmöglich, mit Hilfe von Card-Sorting inden Entwicklungsprozess einbezogen werden. Wie im Kapitel 1 erwähnt, ist dergeeignete Zeitpunkt dafür am Anfang der Konzeptionsphase. Da sind die meis-ten Navigationspunkte bekannt, aber es steht noch nicht fest wie diese Navigati-onspunkte gruppiert werden sollen, oder aber es sind noch keine aussagekräftigeNamen für die Gruppen festgelegt worden. Mit Hilfe von Card-Sorting bekommtman schnell gute Lösungsansätze für diese Probleme. Die Entwickler bekommenmit Hilfe dieser Methode eine Einsicht in die Denkprozesse der Nutzer und dieKenntnis darüber, wo die Nutzer bestimmte Informationen vermuten, beziehungs-weise in welcher Kategorie diese gesucht werden. Es muss allerdings klar sein, dass

1eine Software oder Webseite

9

3.2 Durchführung der Card-Sorting Experimente

mit Card-Sorting keine bindende Strukturen erstellt werden. Vielmehr liefert dieseMethode Einblicke in die Gedankengänge des Benutzers und damit Anhaltspunktefür das Erstellen einer möglichst intuitiven Menüstruktur.Ein Beispiel für solch eine intuitive Navigationsstruktur, in der die Kategorieneinen gute Überblick über die Produktgruppen geben, findet man auf der Websei-te von Amazon2, die man in der Abbildung 3.1 sehen kann:

Abbildung 3.1: Ein Teil der Navigationsstruktur von Amazon

3.2 Durchführung der Card-Sorting ExperimenteFür die Card-Sorting Experimente erstellt der Testleiter Karten, auf denen jeweilsein Begriff, der einen Navigationspunkt in der späteren Navigationsstruktur dar-stellt, genannt ist. Zusätzlich kann eine kurze Beschreibung des Begriffs auf derKarte notiert werden. Die Experimentteilnehmer bekommen die Karten ausge-händigt und sollen diese dann selbständig sinnvoll gruppieren und in Kategorieneinordnen. Dabei gibt es nach Maurer und Warfel[MW04] zwei grundlegende An-sätze:

2www.amazon.de

10

3.2 Durchführung der Card-Sorting Experimente

• Offenes Card-Sorting (generativer Ansatz): Die Testpersonen erhalten Kar-ten auf denen die Navigationspunkte in der späteren Navigationsstrukturvermerkt sind. Die Gruppen für die Navigationspunkte sind nicht festgelegt.Die Testpersonen sind gebeten worden, die Karten in Gruppen, die sie fürangemessen halten, zu sortieren. Anschließend sollen die Testpersonen dieGruppen benennen. Hierbei kommt das mentale Modell der Testpersonenzum Vorschein.

• Geschlossenes Card-Sorting (evaluierender Ansatz): Die Testpersonen erhal-ten zusätzlich zu den Karten, auf denen die Navigationspunkte in der spä-teren Navigationsstruktur vermerkt sind, einen ersten Satz Gruppenkarten.Sie werden gebeten, Karten in diese vordefinierten Gruppen zu sortieren. Beidiesem Ansatz stellt sich raus, ob die Begriffe den vorgegebenen Gruppenzugeordnet werden können. Geschlossenes Card-Sorting ist auch nützlich,wenn zum Beispiel neue Inhalte zu einer vorhandenen Struktur hinzugefügtwerden sollen.

Ursprünglich sind die Navigationspunkte als Begriffe auf Karteikarten geschrie-ben und auf einem Tisch ausgebreitet. Die Karten werden vor jedem Durchgangdurchgemischt, damit eine mögliche Verzerrung der Ergebnisse, die durch die amAnfang gleiche Reihenfolge der Karten auftreten kann, vermieden wird. Um Papierund die Zeit zu sparen und um die Durchführung des Experiments zu vereinfa-chen, sind verschiedene Programme und Webanwendungen für das Card-Sortingentwickelt worden. Die Vorteile solcher Anwendungen liegen auf der Hand:

• Die Testpersonen und der Testleiter müssen nicht am gleichen Ort sein.

• Die Testpersonen können das Experiment zu jeder Zeit bis zum festgelegtenEndtermin durchführen.

• Die Ergebnisse können direkt ausgewertet werden, auch ohne diese vorhermühsam erfassen zu müssen.

• Die Sortierungen können gespeichert werden.

Die Nachteile sind:

• Die Testpersonen haben keine Möglichkeit Antworten auf ihre Verständnis-fragen sofort zu bekommen, oder ihr mentales Modell bei Bedarf genauerauszulegen.

• Das Verhalten der Testpersonen kann während der Durchführung des Expe-riments nicht beobachtet werden.

11

3.3 Auswertung der klassischen Card-Sorting Experimente

3.3 Auswertung der klassischen Card-SortingExperimente

Um eine geeignete Navigationsstruktur zu entwerfen, was das Ziel der Card-SortingExperimente ist, müssen die Daten der Teilnehmer analysiert und ausgewertet wer-den. Damit die Analyse nach einer computergestützten Durchführung der Experi-mente vereinfacht wird, sind verschiedene Algorithmen, auf die näher im Kapitel 5eingegangen wird, entwickelt worden. Verschiedene Anwendungen analysieren mitHilfe dieser Algorithmen die Card-Sorting Datensätze und extrahieren anhandbestimmter Kriterien geeignete Navigationsstrukturen. Die Ergebnisse können beiBedarf nachträglich manuell verbessert und optimiert werden. Das ist zum Bei-spiel dann der Fall, wenn eine der Begriffskarten nicht eindeutig einer Kategoriezugeordnet werden kann. Der Versuchsleiter ordnet am Ende der Analyse dieseKarte nach eigenem Ermessen einer Kategorie zu.Die Auswertung von klassischen Card-Sorting Experimenten beruht oft auf der so-genannten Kartendistanz und der daraus resultierenden Distanzmatrix. Die Kar-tendistanz, die gewissermaßen den Verschiedenheitsgrad zweier Begriffe darstellt,kann mit dem Jaccard-Koeffizienten ausgedrückt werden. Man nimmt dabei einbeliebiges Kartenpaar und schaut wie oft diese zwei Karten in die gleiche Katego-rie in dem Card-Sorting Experiment einsortiert sind. Das sind die gemeinsamenVorkommen dieser zwei Karten.Der Jaccard-Koeffizient ist das Verhältnis der Anzahl von gemeinsamen Vorkom-men und der Anzahl aller Vorkommen dieser zwei Karten.Die Kartendistanz kann also für die Analyse klassischer Card-Sorting Experimen-te, die eine flache Struktur ohne Hierarchie3 liefern, mit dem Jaccard-Koeffizientenleicht berechnet und angegeben werden. Die im Rahmen dieser Arbeit entwickel-te Methode bietet eine Lösung für die Auswertung hierarchischer Card-SortingExperimente, die nicht ohne Weiteres nur mit Hilfe von Kartendistanz evaluiertwerden können.

3.4 Vor- und Nachteile der Card-SortingExperimente

Wie viele andere, hat auch die Card-Sorting Methode ihre Vor- und Nachteile. DieVorteile dieser Methode sind:

• Card-Sorting bietet eine gute Basis, um für die Benutzer eine gute undzufriedenstellende Informationsstruktur zu erzeugen.

• Es ist eine schnelle Methode, die sowohl für den Versuchsleiter als auch fürdie Testpersonen relativ leicht zu bewerkstelligen ist.

3eine Kategorie enthält keine Unterkategorien

12

3.4 Vor- und Nachteile der Card-Sorting Experimente

• Card-Sorting kann relativ schnell und dadurch auch kostengünstig durchge-führt werden.

• Es ist eine leicht verständliche Methode, die kein langes Einarbeiten benö-tigt.

• Card-Sorting ist seit mehr als 10 Jahren etabliert und ein fester Bestandteildes Entwurfsprozesses.

• Die späteren Endbenutzer werden in die Entwicklung mit einbezogen undkönnen ihre Denkprozesse in die Anwendung einfließen lassen.

Die Nachteile sind:

• Die Ergebnisse einzelner Sortierungen können sehr stark voneinander abwei-chen.

• Falls sich die Ergebnisse sehr stark unterscheiden, kann die Auswertung sehrviel Zeit in Anspruch nehmen.

• Hält man die Benutzer-Aufgaben nicht zugute, so können Navigationsstruk-turen entstehen, die wenig Zuspruch bekommen werden.

13

4 Hierarchisches Card-Sorting

4.1 GrundlagenIm vorherigen Kapitel sind die Durchführung und Auswertung klassischer Card-Sorting Experimente erklärt worden. Bei den hierarchischen Card-Sorting Expe-rimenten, wie der Name bereits vermuten lässt, handelt es sich um eine Variantevon Card-Sorting Experimenten in der es möglich ist Kategorien zu verschachteln,um die geforderte komplexere Informationsstruktur hierarchisch zu gestalten. Dasbedeutet, dass die jeweiligen Kategorien nicht nur Begriffe, sondern auch weite-re Kategorien enthalten können. In diesem Kapitel wird auf die Grundlagen derhierarchischen Card-Sorting Experimente und deren Durchführung in der Weban-wendung WeCaSo, die für diese Arbeit als Sortierwerkzeug benutzt wird, einge-gangen. Am Ende dieses Kapitels werden die Probleme, die sich bei der Arbeitmit WeCaSo und mit der aus WeCaSo exportierten CSV Datei ergeben haben,aufgeführt. Anschließend werden die Lösungen für diese Probleme vorgestellt.

Hierarchien sind der zentrale Unterschied zwischen den klassischen und der hier-archischen Variante von Card-Sorting Experimenten. Beispiele für hierarchischgeordnete Informations- und Navigationsstrukturen findet man en masse auf ver-schiedensten Webseiten. Eines der bekanntesten Beispiele ist die Webseite vonAmazon1. In der Abbildung 4.1 kann man einen Teil dieser Navigationsstruktursehen.

1www.amazon.de

14

4.2 Durchführung

Abbildung 4.1: Kategorie Kamera & Foto auf Amazon.de

Die Oberkategorie Alle Kategorien enthält zum Beispiel die Kategorie Elektro-nik & Computer. Diese Kategorie enthält unter anderem die Kategorie Kamera& Foto, die wiederum weitere Kategorien beinhaltet, wie Kompaktkameras, Spie-gelreflexkameras und so weiter. Eine Hierarchietiefe von fünf und mehr ist keineSeltenheit bei solchen Webseiten, die eine große Palette an verschiedenen Produk-ten und deren Zubehör anbietet.Das hierarchische Card-Sorting ermöglicht es den Testpersonen, solche tief ver-schachtelten Informationsstrukturen auszuarbeiten. Dadurch ist dieses Verfah-ren sehr gut geeignet um Navigationsstrukturen für Webseiten wie zum Bei-spiel Amazon oder eBay zu erstellen. Des Weiteren bietet sich das Verfahren an,um Menüstrukturen für verschiedene Programme, wie etwa Webbrowser oder dieOffice-Programme2 hierarchisch zu gestalten.

4.2 DurchführungDie hierarchischen Card-Sorting Experimente werden im Grunde genommen wiedie klassische Variante durchgeführt. Die Testpersonen bekommen die vorberei-teten Begriffskarten ausgehändigt und sollen diese gruppieren und in Kategorieneinordnen, mit dem Unterschied dass die Kategorien verschachtelt werden können.Wenn es sich um ein offenes hierarchisches Card-Sorting Experiment handelt, müs-sen außerdem ein paar nicht beschriftete Gruppenkarten dazu gegeben werden, dadie Testpersonen bei offenen die Gruppen selbst festlegen und anschließend benen-nen sollen. Der Versuchsleiter hat auch die Möglichkeit, festzulegen bis zu welcherHierarchietiefe die Probanden sortieren dürfen. Wenn die Hierarchietiefe nichtvorgegeben ist, dürfen die Testpersonen beliebig viele Hierarchieebenen erstellen.

2Word, Excel, etc.

15

4.3 Durchführung mit WeCaSo

Dadurch haben die Testpersonen mehr Freiheit und auch mehr Möglichkeiten beidem Erstellen der Navigationsstruktur, als es bei der klassischen Variante der Fallist.Im folgenden Kapitel 5 wird auf die Evaluation hierarchischer Card-Sorting Ex-perimente eingegangen.

4.3 Durchführung mit WeCaSoWeCaSo[Vdo08] ist eine im Fachgebiet Mensch-Computer-Interaktion der Uni-versität Paderborn entwickelte Webanwendung für die Durchführung von Card-Sorting Experimenten, die dem realen Card-Sorting mit Hilfe von Karteikartennachempfunden ist. Diese Anwendung ist von Andreas Vdovkin im Rahmen sei-ner Bachelorarbeit entwickelt worden. Da diese Anwendung im Rahmen dieserArbeit als Sortierwerkzeug benutzt wird, wird in diesem Abschnitt näher auf dieArbeit mit WeCaSo eingegangen.Das Konzept der Durchführung von Card-Sorting Experimenten mit dieser We-banwendung ist einfach. Der Testleiter legt das gewünschte Card-Sorting Expe-riment im WeCaSo an und verschickt den Link zu dem Experiment an die Test-personen. Diese können das Experiment bis zum festgelegten Endtermin jederzeitaufrufen und durchführen. Das Experiment enthält eine Anleitung, einen Frage-bogen und die vorgegebenen Begriffe in Kartenform. Die Kategorienamen könnenvorgegeben werden, abhängig von der Art des Experiments.Mit WeCaSo können verschiedene Arten von Card-Sorting Experimenten erstelltund durchgeführt werden. Eine Art ist das bereits erwähnte offene Card-Sorting.Die Testpersonen rufen das Experiment auf und ordnen die Karten mit den Be-griffen in selbst erstellte Kategorien ein.Im Unterschied dazu werden die Kategorien und die Kategorienamen bei dengeschlossenen Card-Sorting Experimenten vorgegeben. Die Testpersonen könnenkeine eigene Kategorienamen vergeben oder die vorgegebenen Kategorienamen än-dern.Bei diesen zwei Varianten hat der Testleiter die Möglichkeit das sogenannte Multiple-Insert zu erlauben. Dadurch bekommen die Testpersonen die Möglichkeit, bei Be-darf eine oder mehrere Kopien einer Karte zu erstellen und diese in verschiedeneKategorien einzusortieren. Bei guter und ausreichender Erklärung der gegebenenBegriffe ist das Benutzen dieser Option meistens nicht nötig. Wenn aber eine Kartein dem Experiment, abhängig vom Kontext mehreren Gruppen zugeordnet werdenkann, dann ist das Benutzen dieser Option unausweichlich.Der Versuchsleiter kann außerdem die Option hierarchical Sort wählen. Diese Op-tion ermöglicht es, die Kategorien beliebig tief zu verschachteln und damit auchhierarchische Card-Sorting Experimente mit WeCaSo durchzuführen. Das Aus-wählen dieser Option ist für die anschließende Auswertung mit dem von mir ent-wickelten Tool in sofern erforderlich, da man sonst die Auswertung mit den bereits

16

4.3 Durchführung mit WeCaSo

vorhandenen Methoden für die Auswertung klassischer Card-Sorting Experimente,durchführen kann.

Abbildung 4.2: Verschiedene Optionen in WeCaSo

Die von mir entwickelte Auswertungsmethode unterstützt nicht die Option multi-ple insert. Der Grund dafür ist, dass es ein paar Probleme mit der Art der Speiche-rung von hierarchischen Card-Sortings seitens der Datenbank von WeCaSo gibt.Das Hauptproblem ist, dass die bei der Speicherung vergebene Kartenidentifikati-onsnummern3 nicht für alle Testpersonen übereinstimmen. Im Abschnitt 4.4 wirdnäher auf diese Probleme eingegangen.

4.3.1 Das WeCaSo ExperimentUm die entwickelte Auswertungsmethode zu testen, sind Sortierdaten eines hier-archischen Card-Sorting Experiments nötig. Um solche Sortierdaten zu erhalten,wurde ein geschlossenes Card-Sorting Experiment in WeCaSo erstellt. Dieses istunter der Webadresse http://newcardsort.cs.upb.de/experiment/Infostrukturzu finden.Die Karten in diesem Experiment stellen die Begriffe aus der Informationsstrukturdes Bereichs „Studienangebote“ der Webseite der Universität Bremen dar. DieserBereich enthält verschiedene Kategorien, die Fächergruppen und Formalien dar-stellen. Die Fächergruppen beinhalten die einzelnen Fächer. Dieser Bereich eignetsich besonders gut für den hierarchischen Aufbau der Informationsstruktur undist daher als Grundlage für das Card-Sorting Experiment gewählt worden.Die Testpersonen werden in diesem Card-Sorting Experiment dazu gebracht, ei-ne hierarchische Informationsstruktur zu erstellen. Um das Experiment mit dem

3Card IDs

17

http://newcardsort.cs.upb.de/experiment/Infostruktur

4.4 Probleme mit der Sortieranwendung WeCaSo

vorhandenen WeCaSO durchführen zu können, wird ein technischer Trick ange-wendet. Es sind nur zwei Oberkategorien, Studienangebote und Unbestimmt vor-gegeben, wie man in der Abbildung 4.3 sehen kann. Da alle Karten in die ersteOberkategorie Studienangebote einsortiert werden sollen, müssen die Testperso-nen die Begriffe in eine hierarchisch aufgebaute Struktur bringen. Dabei darf jederder vorgegebenen Begriffe nicht nur als Kategorie sondern auch als eine der Un-terkategorien benutzt werden. Die Karten, die nicht eindeutig einsortiert werdenkönnen, dürfen in die Kategorie Unbestimmt verschoben werden. Dabei müssendie Karten in dieser Kategorie nicht sortiert werden.Auf die Ergebnisse dieses Experiments wird die Auswertungsmethode, die im Ka-pitel 5 näher beschrieben wird, angewendet.

Abbildung 4.3: Aufbau des Card Sorting Experimentes in WeCaSo

4.4 Probleme mit der Sortieranwendung WeCaSoBei der Durchführung des im vorherigem Abschnitt beschriebenen Card-SortingExperiments in WeCaSo, haben sich allerdings ein paar Schwierigkeiten ergeben.Die Karten, die es zu sortieren gilt, sollen in der Kategorie Studienangebote ineine hierarchisch aufgebaute Struktur sortiert werden. Einer der Hauptproblemedabei ist die unzureichende Genauigkeit bei der Positionierung der Karten an diegewünschte Stellen innerhalb der bereits erstellten Struktur. Eine Karte muss zu-erst in die vorgegebene Kategorie (in diesem Fall die Kategorie Studienangebote)per Drag and Drop4 gezogen werden. Anschließend muss die Karte an die ge-wünschte Stelle in der Struktur verschoben werden. Erst dann kann diese Karteper Einrücken der darüber liegenden Karte zugewiesen werden. Die Schwierigkeitdabei ist, dass es oft zu lange dauert bis die Karte genau an die gewünschte Po-sition innerhalb der vorgegebenen Kategorie platziert werden kann. Genau dieseSchwierigkeit hat dazu geführt das einige Testpersonen die Sortierung abgebrochen

4ziehen und ablegen

18


haben. Es sind dementsprechend wenige fertiggestellte Sortierungen zur Auswer-tung vorhanden.Es haben sich außerdem einige Probleme mit den Ergebnissen des Experimentsherauskristallisiert. Nach dem Export und erstem Betrachten haben sich einigeUnregelmäßigkeiten mit der aus WeCaSo exportierten CSV Datei offenbart. Wieman in der Abbildung 4.4 sehen kann, sind ganze Teile der Sortierung als einString in der Spalte card_label abgelegt. Allerdings ist es ohne eine Bearbeitungder Datei, unmöglich daraus Informationen über die Struktur und die Hierarchie,die die Testpersonen erstellt haben, zu bekommen, da diese in der jetzigen Formder CSV Datei nicht gespeichert sind.

Abbildung 4.4: Aus WeCaSo exportierte CSV Datei

Dieses Problem konnte nicht gelöst werden, da es durch die Speicherung der Sor-tierdaten in der MySQL Datenbank, mit der WeCaSo arbeitet, verursacht wird.Daraufhin ist die Möglichkeit evaluiert worden, die Struktur der einzelner Sortie-rungen direkt aus der Datenbank wiederherzustellen. Durch einen SQL-Dump undeiner eigens erstellten lokalen Datenbank konnten die Daten genauer untersuchtwerden. Die Sortierungen einzelner Testpersonen sind recht schnell herausfilterbar.Die Daten liegen wie in Abbildung 4.5 gezeigt vor.

Abbildung 4.5: Sortierinformationen in der WeCaSo-Datenbank

Beim näheren Betrachten ist schnell klar gewesen, dass die Strukturinformationenmit Hilfe von Klammersetzung gespeichert sind. Die Daten müssen also zuerst

19


aufbereitet werden, damit sie sich als Eingabe für das Evaluations-Tool eignen.Nach einiger Zeit konnte die Struktur für die Sortierung jeder Testperson, die amExperiment teilgenommen hat, rekonstruiert werden. Die Struktur ist durch dieEinrückungen sichtbar gemacht und die Daten liegen nun in einer Form vor, dieman in der Abbildung 4.6 sehen kann.

Abbildung 4.6: Struktur nach dem Auflösen der Klammerung

Eine CSV Datei, in der die Zuweisungen eindeutig bestimmt sind, musste neuerstellt werden. Dabei ist ein weiteres Problem in Erscheinung getreten. Die CardIDs für die selbe Karte haben sich von einem zu anderen User unterschieden. DieUrsache dafür lies sich schnell ermitteln. Beim Erstellen des Experiments sind dieCard IDs nicht in einer Tabelle gespeichert. Vielmehr sind sie für jede Testper-son neu generiert worden und stimmen daher nicht benutzerübergreifend überein.Dadurch ist die Konsistenz der Daten nicht gewährleistet. Ohne eine weitere Be-arbeitung eignen sich die Daten nicht für die Auswertung. Das Problem ist gelöstworden, indem die von WeCaSo, für die erste Testperson vergebenen Card IDs fürjede Karte isoliert und für die Sortierungen restlicher Testpersonen übernommensind. Erst nach diesem Schritt liegen die Daten in der Form vor, in der sie füreine Evaluierung gebrauchstauglich sind. Die überarbeitete CSV Datei sieht nachdiesen Veränderungen wie in der Abbildung 4.7 aus.

20


Abbildung 4.7: Überarbeitete CSV Datei

Wie man sehen kann, ist es möglich die Daten in ein paar Schritten soweit zuüberarbeiten, so dass sie sich als Eingabe für die Auswertung eignen. Allerdingsist der Mehraufwand, den man bei Experimenten mit einer großen Menge an Kar-ten und Testpersonen für solch eine Bearbeitung der CSV Datei betreiben müsste,nicht hinnehmbar. Außerdem ist solches Vorgehen mit einer hoher Fehlerrate undhohem Zeitverlust verbunden.Damit man WeCaSo weiter als Sortierwerkzeug für die hierarchische Card-SortingExperimente benutzen und die dadurch entstandene Ergebnisse als Eingabe fürdas Evaluations-Tool benutzen kann, sind ein paar Veränderungen bezüglich derGenauigkeit bei der Platzierung der Karten innerhalb der Struktur, sowie eini-ge Modifikationen an der WeCaSo Datenbank und der Art wie die Sortierdatengespeichert werden, erforderlich. Nach dem Exportieren sollten die Daten in derForm, wie in Abbildung 4.7 gezeigt, vorliegen. Denn, in dieser Form sind alle fürdie Analyse benötigten Informationen über die hierarchische Struktur auch in derDatei enthalten.

21

5 AuswertungNachdem im vorherigem Kapitel erklärt ist, in welcher Form die Daten für ei-ne Auswertung vorliegen müssen, wird in diesem Kapitel auf die Auswertung dergesammelten Sortierdaten eingegangen. Die ist der wichtigste Aspekt des Card-Sortings. Als erstes sind ein paar Methoden für die Analyse klassischer Card-Sorting Experimente erläutert, sowie die Gründe, aus denen sich diese Methodennicht auch für die Auswertung hierarchischer Card-Sorting Experimente eignen.Anschließend ist die im Rahmen dieser Arbeit entwickelte Methode ausführlich be-schrieben. Da es bereits Methoden für die Auswertung hierarchischer Card-SortingExperimente gibt, wie zum Beispiel die von Brake und Lutterbeck[BL08] entwi-ckelte Subtree-Analysis Methode, wird auch auf diese Methode näher eingegangenund die Unterschiede zu der für diese Arbeit entwickelten Faktor-Analyse-Methodewerden erklärt.

5.1 AuswertungsmethodenFür die Auswertung klassischer Card-Sorting Experimente gibt es bereits vieleetablierte Methoden. Hierbei steht meistens die Zuordnung einer Karte zu einerGruppe oder wie oft zwei Karten in die gleiche Kategorie einsortiert sind im Mit-telpunkt, da die Kategorien bei den klassischen Card-Sortings nicht verschachteltwerden können. Einige dieser Methoden könnten zum Teil auch für die Auswertunghierarchischer Card-Sorting Experimente angewendet werden. Allerdings würdendie Hierarchieinformationen bei diesen Methoden entweder verloren gehen, oderunter dem Aspekt der Kategorieverschachtelung nur kodiert in die Auswertungmit einfließen.

5.1.1 Section Label AnalysisEine der Auswertungsmethoden für die geschlossenen Card-Sorting Experimen-te ist eine rein mehrheitsbasierte Methode, die auf dem Section Label AnalysisAlgorithmus[Bou06] basiert, im Folgenden SLA genannt. Der von Mark Boultonentwickelte SLA Algorithmus untersucht die direkte Zuordnung einer Karte zueiner Gruppe und arbeitet dabei mit dem sogenannten Schwellwert1. Dieser Wertgibt an, von mindestens wie vielen Testpersonen eine Karte in eine Gruppe einsor-tiert werden muss, damit die endgültige Zuordnung dieser Karte zu der Gruppevorgenommen wird. Der Schwellwert kann für die Analyse vom Versuchsleiter den

1Threshold

22

5.1 Auswertungsmethoden

jeweiligen Anforderungen angepasst werden und liegt üblicherweise zwischen 51%und 100%. Die Werte von 50% und weniger werden dabei nicht akzeptiert, daes sonst keinen Mehrheitsentscheid geben würde. Genau aus diesem Grund eig-net sich SLA nur für die geschlossenen Card-Sorting Experimente. Die Zuordnungeiner Karte zu einer Gruppe erfolgt nur, wenn mehr als 50% der Experimentteil-nehmer diese Karte auch in die selbe Gruppe einsortiert haben. Das ist jedochselten der Fall, wenn die Testpersonen die Gruppen selbst definieren sollen. DieAbbildung 5.1 zeigt eine Momentaufnahme der Auswertung mittels SLA in derAnwendung Casolysis 2.0 [WY15].

Abbildung 5.1: Auswertung mittels SLA

Um die Card-Sortings mit Hilfe von SLA auszuwerten, muss zuerst die sogenannteHeatmap erstellt werden. Es ist ein Diagramm zur Visualisierung von Daten, dasbesonders dann geschätzt wird, wenn äußerst markante Werte aus einer großenDatenmenge erfasst werden sollen. Eine Besonderheit der Heatmap ist die farblichunterschiedliche Darstellung verschiedener Werte.Die Vorgehensweise um die Heatmap zu erstellen ist wie folgt: für jede Kartewird pro Gruppe ein Wert vergeben. Dieser Wert setzt sich aus der Anzahl derZuordnungen dieser Karte zu der jeweiligen Gruppe zusammen. Ist eine Karte vonfast allen Personen in die selbe Gruppe einsortiert worden, wird das durch einenhohen Wert repräsentiert und das Feld ist rot2 gefärbt. Dagegen sind die Feldermit einem niedrigen Wert, der eine vergleichsweise seltene Zuordnung einer Kartezu einer Gruppe darstellt, mit einem Blauton gefärbt3. Einen Teil einer Heatmapsieht man in der Abbildung 5.2.

2die rote Farbe soll den hohen Hitze-Wert darstellen3das Blau soll eine niedrige Hitze farblich darstellen

23


Abbildung 5.2: Ausschnitt einer Heatmap

In den Spalten sind die Kategorien, in den Zeilen die Karten genannt. Die Wer-te in der Heatmap stellen die Summen aller Zuordnungen einer Karte zu einerKategorie dar. Das wird an einem Beispiel aus dem von mir aufgesetzten Expe-riment verdeutlicht. Obwohl es ein hierarchisches Card-Sorting Experiment ist,wende ich hier eine Auswertungsmethode an, die für die Auswertung klassischerCard-Sortings benutzt wird. Die Tabelle 5.1 zeigt einen Auszug aus der Sortierungdurch die Testperson A, die Tabelle 5.2 einen Auszug aus der Sortierung durchdie Testperson B:

Karte\Gruppe Lehramt Abschlüsse Psychologie Chemie StaatsexamenLehramt 0 1 0 0 0Abschlüsse 0 0 0 0 0Psychologie 0 0 0 0 0Chemie 1 0 0 0 0Staatsexamen 0 1 0 0 0

Tabelle 5.1: Ein Auszug aus der Sortierung durch die Person A

Karte\Gruppe Lehramt Abschlüsse Psychologie Chemie StaatsexamenLehramt 0 1 0 0 0Abschlüsse 0 0 0 0 0Psychologie 0 1 0 0 0Chemie 0 1 0 0 0Staatsexamen 0 1 0 0 0

Tabelle 5.2: Ein Auszug aus der Sortierung durch die Person B

24


Die Person A hat zum Beispiel die Karte Lehramt der Kategorie Abschlüsse zu-geordnet. Auch die Person B hat diese Zuordnung für die Karte Lehramt gewählt.Fasst man die zwei Tabellen zusammen, indem man die Einträge addiert, so erhältman die Heatmap, die angibt wie oft jede Karte in eine Gruppe einsortiert ist. Ausden beiden Sortierungen in den Abbildungen 5.1 und 5.2 würde sich die folgendeHeatmap ergeben:

0 1 0 0 00 0 0 0 00 0 0 0 01 0 0 0 00 1 0 0 0

+

0 1 0 0 00 0 0 0 00 1 0 0 00 1 0 0 00 1 0 0 0

=

0 2 0 0 00 0 0 0 00 1 0 0 01 1 0 0 00 2 0 0 0

Die Heatmap wird als einer der Parameter, neben dem Schwellwert und der Listeder verwendeten Karten, für Auswertungsalgorithmen, wie zum Beispiel SLA be-nötigt.Angepasste Algorithmen, bei denen niedrigere Schwellwerte als 51% zulässig sind,existieren bereits[BL08, S.15ff]. Diese Algorithmen sind dahingehend erweitert, sodass die sich den jeweils bis dahin höchsten Zuordnungswert merken. Bei mehre-ren gleichen Zuordnungswerten muss meistens manuell nachgebessert werden. DerVersuchsleiter entscheidet gegebenenfalls nach einer Rücksprache mit den Test-personen, welcher Gruppenkarte die betroffene Karte schließlich zugeordnet wird.

Der Hauptgrund, aus dem sich der SLA Algorithmus nicht für die Auswertunghierarchischer Card-Sorting Experimente eignet, ist, dass dieser Algorithmus nurdie Zuweisung einer Karte zu einer Gruppe sucht. Die Zuweisung wird ausgeführt,wenn die absolute Häufigkeit der Zuweisung mindestens den Schwellwert erreicht.In dem vorherigen Beispiel kann man sehen, dass die Zuweisungen einzelner Kar-ten zu den Gruppen mit SLA sehr einfach bestimmt werden können. Der SLAAlgorithmus bietet allerdings keine Möglichkeit für das Einfließen der Informatio-nen über die transitive Zuweisung einer Karte zu den Kategorien auf den höherenHierarchieebenen in die Auswertung.

5.1.2 Cluster AnalyseEin weiterer Algorithmus, der für die Analyse der klassischen Card-Sorting Expe-rimente benutzt wird, ist der von Tan, Kumar und Steinbach entwickelte ClusterAnalyse Algorithmus [TSK06]. Bei der Cluster Analyse handelt es sich um eindistanzbasiertes Verfahren. Die Kartenpaare, die die niedrigste Distanz, bezie-hungsweise die höchste Übereinstimmung bezüglich der Zuordnung zu den Grup-pen vorweisen, werden zu einem Cluster zusammenfasst. Im Unterschied zu demSLA Algorithmus, der für die Auswertung eine Heatmap erstellt, wird für die Clus-ter Analyse eine Distanzmatrix erstellt. Die Werte in der Distanzmatrix, wie inder Abbildung 5.3 gezeigt, geben die Häufigkeit an, mit der eine Karte gemeinsam

25


mit einer anderen Karte in die selbe Gruppe einsortiert ist. Anhand der Karten-distanz, die im Abschnitt 5.2 genauer beschrieben ist, wird entschieden ob dieKarten zu einem Cluster4 zusammengefasst werden.

− 0 1 0 30 − 2 0 11 2 − 1 00 0 1 − 23 1 0 2 −

Abbildung 5.3: Symmetrische Distanzmatrix

Die Vorgehensweise von Cluster Analyse ist recht einfach. Am Anfang bildet je-de Karte einen Cluster. Diese Karte wird mit der Karte, die laut Distanzmatrixdie niedrigste Distanz aufweist, zu einem Cluster vereint. Anschließend werdendie Werte in der Distanzmatrix mittels verschiedener Fusionierungsverfahren wieAverage Linkage, Single Link oder Complete Link angepasst, damit die Distanzder übrigen Karten zu dem neu erstellten Cluster berechnet werden kann.Bei Average Linkage ist die Distanz zweier Cluster gleich der durchschnittlichenDistanz aller Paare von Einzelkarten aus den Clustern, wobei nur Kartenpaareaus verschiedenen Clustern berücksichtigt werden. Bei Single Link ist es die mi-nimale Distanz und bei Complete Link die maximale Distanz zweier Einzelkartenaus verschiedenen Clustern.Der erste Grund, aus dem sich das Verfahren nicht für die Auswertung hierarchi-scher Card-Storing Experimente eignet, ist dass mit dieser Methode nur die Zuord-nung der Karten zu der gleichen Gruppe anhand der Werte aus der Distanzmatrixdurchgeführt wird. Dabei ist die Möglichkeit, die Zuordnung zu den Gruppen aufden höher liegenden Hierarchieebenen mit in die Auswertung einfließen zu lassen,nicht gegeben. Der zweite Grund ist das Bestimmen der Abbruchbedingung. DasVerfahren stellt die Arbeit erst dann ein, nachdem alle Karten zu einem großenCluster vereint worden sind. Aus diesen zwei Gründen müsste dieses Verfahrenerst umfassend angepasst werden, damit die Informationen über die verschachtel-ten Gruppen in die Auswertung mit einfließen und die Abbruchbedingung müsstezutreffender definierbar sein. Diese Methode eignet sich allerdings hervorragendfür die Auswertung offener Card-Sorting Experimente, in dem die Begriffe ledig-lich in Gruppen zusammengefasst sind.

4Gruppe

26


5.1.3 DBSCANEin weiterer Algorithmus ist der Density-Based Spatial Clustering of Applicationswith Noise5 Algorithmus[EKSX96]. Es ist ein dichte-basierter Algorithmus, dessenGrundidee die Dichteverbundenheit ist.Die Karten werden hierbei graphisch als Punkte und die Kategorien als Kreise miteinem bestimmten Radius dargestellt. Die Punkte, die sich innerhalb eines Radi-us befinden, werden als Kernpunkte der Kategorie zugeordnet. Um jeden dieserKernpunkte wird erneut ein Kreis gezogen. Alle Karten6 die sich innerhalb desKreises um den Kernpunkt befinden, werden zu der selben Kategorie, in der sichder Kernpunkt befindet, hinzugefügt.Der Algorithmus unterscheidet außerdem zwischen den sogenannten Randpunk-ten und den Rauschpunkten. Die Randpunkte stellen Karten dar, die von einemKernpunkt erreichbar sind. Diese Punkte bilden, wie der Name vermuten lässt,den Rand des Clusters. Die Rauschpunkte stellen die Karten dar, die weder einerKategorie angehören, noch dichte-erreichbar sind. In der Abbildung 5.4 sieht manan einem Beispiel wie die Analyse mittels DBSCAN aussehen kann. Die rotenPunkte bei A sind die Kernpunkte. Die Punkte B und C sind dichte-erreichbarvon A. Dadurch sind diese zwei Punkte dichte-verbunden und gehören dem selbenCluster an. Der Punkt N ist ein Rauschpunkt, da dieser weder ein Kern-Punkt,noch dichte-erreichbar ist.

Abbildung 5.4: Auswertung mittels DBSCANQuelle: https://de.wikipedia.org/wiki/Datei:DBSCAN-Illustration.svg

5Dichtenbasierte räumliche Clusteranalyse mit Rauschen6als Punkte dargestellt

27

5.2 Motivation für die Entwicklung einer neuen Methode

5.2 Motivation für die Entwicklung einer neuenMethode

Für die Berechnung der Distanz eines Kartenpaares, anhand welcher entschiedenwird, welche Karten in die gleiche Kategorie gehören, wird die sogenannte sym-metrische Distanzmatrix erstellt. Im Unterschied zu den Werten in der Heatmap,die angeben von wie vielen Testpersonen eine Karte in eine Gruppe einsortiert ist,geben die Werte in der Distanzmatrix für jedes Kartenpaar an, wie oft diese zweiKarten in die gleiche Kategorie einsortiert sind. Daraus ergibt sich eine symmetri-sche quadratische Matrix der Dimension N x N, wobei N die Anzahl der Kartenin dem Card-Sorting Experiment ist.Eine Distanzmatrix für fünf Karten kann wie in der Abbildung 5.5 gezeigt ausse-hen.

− 0 1 0 30 − 2 0 11 2 − 1 00 0 1 − 23 1 0 2 −

Abbildung 5.5: Symmetrische Distanzmatrix

Die Zahlen in dieser Matrix stellen die absolute Anzahl der gemeinsamen Zuord-nungen von je zwei Karten zur selben Gruppe dar. Die Zahl 3 in der fünften Zeileund der ersten Spalte bedeutet, dass die Karten 1 und 5 von drei Testpersonen indie selbe Gruppe einsortiert sind. Dabei ist es irrelevant welche Gruppe dies ist.Möchte man die Abstände als Prozentsatz angeben, müssen diese wie folgt be-rechnet werden:

• e = wie oft werden die zwei Karten zusammen in eine Gruppe einsortiert.

• d = wie oft werden die zwei Karten in unterschiedliche Gruppen einsortiert.

• Die Distanz als Prozentsatz = dd+e

(unsortierte Karten werden ignoriert)

Die Distanzmatrix eignet sich nicht als Grundlage für die Auswertung hierarchi-scher Card-Sorting Experimente, da es nur die Kartendistanz für jedes Karten-paar anhand der gemeinsamen Zuordnungen zu einer Gruppe angibt. Dabei fließenwichtige Hierarchieinformationen nicht in die Distanz mit ein, wie zum Beispieldie Zuordnung zweier Karten zu der gleichen Oberkategorie. Aus dem Grund wirdim Rahmen dieser Arbeit eine Methode erarbeitet, mit der man die Hierarchiein-formationen nicht nur kodiert in die Auswertung einfließen lässt, sondern auch dieZuordnung zu den Obergruppen passend gewichtet und dadurch die Ergebnissehierarchischer Card-Sorting Experimente zutreffender auswertet.

28

5.3 Kernidee der neuen Auswertungsmethode

5.3 Kernidee der neuen AuswertungsmethodeDie Kernidee für die Entwicklung einer neuen Methode ist, als Grundlage für dieEvaluation, im Unterschied zu der im Abschnitt 5.2 vorgestellten symmetrischenDistanzmatrix, in der die Werte die gemeinsame Zuweisung eines Kartenpaareszu der gleichen Gruppe widerspiegeln (wie in der Abbildung 5.5 gezeigt), einenicht-symmetrische Faktormatrix zu erstellen. Die Zeilen der Faktormatrix stellendie Karten dar, während die Spalten die Kategorien repräsentieren. Die Einträgein dieser Matrix sollen wiedergeben, wie oft eine Karte jeder Kategoriekarte zu-geordnet ist. Dabei ist zu beachten, dass die Zuordnungen direkt oder transitivsein können. Sie werden mit unterschiedlichen Faktoren gewichtet. Das heißt, dassdie transitiven Zuordnungen einer Karte zu jeder der Oberkategorien auch in dieAuswertung einfließen, allerdings mit einer anderen Gewichtung als eine Direkt-zuordnung.

Die direkte Zuweisung einer Karte zu einer Kategorie wird mit dem maximalenFaktor gewichtet, da solch eine direkte Zuweisung mehr Aussagekraft bezüglichder Denkprozesse der Testpersonen hat, als eine transitive Zuweisung zu einerder Oberkategorien. Der maximale Faktor ist dabei die Anzahl der Karten in ei-nem Card-Sorting Experiment. Eine transitive Zuordnung über n-Hierarchiestufenwird mit (maximaler Faktor - n) gewichtet. Die Faktoren werden auf diese Weisevergeben, damit auch im Extremfall, in dem pro Hierarchiestufe unter jeder Kartejeweils nur eine andere Karte einsortiert wird, jede dieser Zuordnungen passendgewichtet werden kann.Betrachten wir einen solchen Extremfall, dass sich zum Beispiel bei einem Card-Sorting mit fünf Karten ergeben kann. Eine Testperson kann eine Sortierung wiein der Abbildung 5.6 erstellt haben:

-Karte A-Karte B

-Karte C-Karte D

-Karte E

Abbildung 5.6: Extremfall für die Faktorvergabe

In so einem Fall würden sich folgende Faktoren für die Zuweisungen der Karte Eergeben:

• Die Karte E ist direkt unter die Karte D sortiert. Dadurch ist die Zuordnung„Karte E unter Karte D“ mit dem Faktor 5 gewichtet.

29

5.4 Faktor-Analyse

• Die Karte E ist transitiv über die Karte D auch indirekt der Karte C zuge-ordnet. Da dies eine transitive Zuordnung über eine Hierarchiestufe ist, wirddie Zuweisung „Karte E unter Karte C“ mit dem Faktor 4 gewichtet.

• Die Karte E ist transitiv über 2 Hierarchiestufen unter die Karte B einge-ordnet. Damit ist die Zuordnung „Karte E unter Karte B“ mit Faktor 3gewichtet.

• Schließlich ist die Karte E über 3 Hierarchiestufen unter die Karte A ein-sortiert, was in der Gewichtung mit Faktor 2 für die Zuordnung „Karte Eunter der Karte A“ resultiert.

Für diese Sortierung würde sich folgende Faktormatrix ergeben:− 0 0 0 05 − 0 0 04 5 − 0 03 4 5 − 02 3 4 5 −

Abbildung 5.7: Faktormatrix für die Sortierung aus der Abbildung 5.6

Die Faktoren werden nach diesem Schema für jede Zuweisung in allen Sortierun-gen vergeben. In diesem Beispiel sind auch die Faktoren für alle Zuweisungen derKarten B, C und D in die Matrix eingetragen.

5.4 Faktor-AnalyseAus der im vorherigen Abschnitt erklärten Kernidee ist die Faktor-Analyse-Methodehergeleitet. Bei der Faktor-Analyse handelt es sich um die im Rahmen dieser Ba-chelorarbeit entwickelte Methode für die Evaluation hierarchischer Card-SortingExperimente. Diese ist entwickelt worden, um auch die Hierarchieinformationenin die Auswertung einfließen zu lassen, die bei Methoden wie SLA oder Cluster-Analysis verloren gehen. Der Grund dafür ist, dass diese Methoden, wie in denAbschnitten 5.1.1 und 5.1.2 erklärt, nur die direkte Zuordnung einer Karte zueiner Gruppe oder die paarweise Zuordnung der Karten zu der selben Gruppeuntersuchen.

An dem folgenden Beispiel wird ersichtlich dass gerade solche Hierarchieinforma-tionen eine wichtige Rolle bei der Analyse spielen.

30

5.4 Faktor-Analyse

-Karte 2 -Karte 2 -Karte 2 -Karte 6 -Karte 6-Karte 3 -Karte 4 -Karte 1 -Karte 5 -Karte 5

-Karte 5 -Karte 5 -Karte 5

Abbildung 5.8: Verschiedene Zuordnungen der Karte 5

In der Abbildung 5.8, die Auszüge aus den Sortierungen von fünf Testpersonenzeigt, kann man sehen, dass die Karte 5 von zwei Testpersonen unter die Karte 6eingeordnet ist. Die anderen drei Testpersonen haben die Karte 5 je einmal unterdie Karte 3, Karte 4 und Karte 1 eingeordnet. Würde man diese Sortierung miteiner für die klassischen Card-Sorting Experimente entwickelten Methode auswer-ten, wie zum Beispiel mit SLA, dann würde die Einordnung der Karte 5 unter dieKarte 6 berechnet werden. Denn, die relative Mehrheit der Testpersonen hat dieKarte 5 unter die Karte 6 einsortiert. Dabei wird vorausgesetzt, dass der Schwell-wert geeignet gewählt ist. Allerdings ist es hier deutlich, dass die absolute Mehrheitder Testpersonen die Karte 5 in eine der Unterkategorien der Karte 2 einsortierenwürde. Dementsprechend sollte die Karte 5 der Karte 2 zugeordnet werden.Die Faktor-Analyse-Methode berücksichtigt diese Strukturinformationen und lässtsie mittels der Vergabe unterschiedlicher Faktoren in die Auswertung einfließen.Das ist durch die im Abschnitt 5.3 erklärten unterschiedlichen Gewichtungen derverschiedenen Zuordnungen erreicht.

Die Faktor-Analyse-Methode lässt sich anhand eines kleinen Beispiels erklären.Gegeben sei folgende Situation: drei Testpersonen führen ein Card-Sorting Expe-riment mit fünf Karten im WeCaSo durch und erstellen die in der Abbildung 5.9gezeigte Sortierungen.

Testperson 1: Testperson 2: Testperson 3:

-Karte A -Karte B -Karte A-Karte B -Karte D -Karte B

-Karte C -Karte E -Karte C-Karte D -Karte A -Karte E

-Karte E -Karte C -Karte D

Abbildung 5.9: Beispielsortierungen von drei Testpersonen mit fünf Karten

Die Sortierdaten werden aus WeCaSo in Form einer CSV Datei exportiert. DieseDatei muss nach der im Kapitel 4.4 erklärten Vorgehensweise aufbereitet werden,bevor sie anschließend mit der Faktor-Analyse ausgewertet werden kann.Die Faktor-Analyse-Methode führt die Evaluation in drei Schritten durch:

31

5.4 Faktor-Analyse

1 AnalyseCSV ( CSVFile )2 FillMatrix ( UserList )3 BuildResultTrees ( Matrix )

Listing 5.1: FactorAnalysis(D)

Diese Schritte werden im Folgenden näher erläutert.

5.4.1 AnalyseCSVIm ersten Schritt werden aus der CSV Datei zuerst die Karten ausgelesen. An-hand der Anzahl der zu sortierenden Karten7 wird eine N x N Matrix erstellt. Indiesem konkreten Beispiel wird also eine 5 x 5 Matrix erstellt, in die später dieFaktoren für alle Zuweisungen jeder Karte eingetragen werden. Des Weiteren wirdeine Liste aller teilnehmenden User erzeugt.Diese Operationen werden von der AnalyseCSV(CSVFile) Funktion, die als Ein-gabe die aufbereitete CSV Datei bekommt, durchgeführt.

1 CSVCards := CSVToCard ( CSVFile )2 for each card in CSVCards do3 if !card.id in Matrix then4 Matrix .Add(Card)5 else6 if !card.user in userList7 user := New User(card.User)8 user.Cards.Add(card)9 userList .Add(user)

10 else11 userList [user ]. Cards.Add(card)12 end if13 end for

Listing 5.2: Algorithmus 1 AnalyseCSV(CSVFile)

Die Matrix wird mit der ersten for-Schleife in den Zeilen 2 bis 4 erstellt. Die Listeder Experimentteilnehmer mit den zugeordneten Karten wird in den Zeilen 6 bis11 erstellt.

5.4.2 FillMatrixIm nächsten Schritt werden zuerst die Sortierbäume für jeden User rekonstruiert.Dieser Schritt ist nötig, da man jeden Sortierbaum komplett durchlaufen muss, umauch die Faktoren für die Zuordnungen, die sich über eine oder mehrere Hierar-chiestufen erstrecken, zu bestimmen. Die rekonstruierten Userbäume, die in diesemBeispiel wie in der Abbildung 5.9 aussehen, werden anschließend untersucht. Die

7N = Anzahl der Karten

32

5.4 Faktor-Analyse

Faktoren für jede Zuweisung werden, nach dem im Abschnitt 5.3 erklärten Sche-ma, berechnet und in die Matrix eingetragen. Für die direkte Zuweisung einerKarte zu einer Kategorie wird der maximale Faktor (der für eine Direktzuweisunggleich Anzahl der Karten ist) vergeben und an die entsprechende Stelle in derMatrix eingetragen. Der Faktor wird dann um 1 dekrementiert und dieser Faktorwird für die Zuweisung zu der Kategoriekarte auf der nächsten Hierarchiestufevergeben und in die Matrix eingetragen. Dieser Schritt wird wiederholt, bis alleZuweisungen, einschließlich der Zuweisung zu der Wurzelkategorie auf der obers-ten Hierarchieebene, passend gewichtet und in die Matrix eingetragen sind. Wennalle Zuweisungen für jeden User berechnet und eingetragen sind, dann sieht dieFaktormatrix für die Sortierungen aus der Abbildung 5.9 wie folgt aus:

− 0, 4, 0 0, 0, 0 0, 0, 0 0, 5, 05, 0, 5 − 0, 0, 0 0, 0, 0 0, 0, 04, 0, 5 5, 4, 0 − 0, 0, 0 0, 5, 04, 0, 4 5, 5, 0 0, 0, 0 − 0, 0, 53, 0, 5 4, 5, 0 0, 0, 0 5, 0, 0 −

Abbildung 5.10: Faktormatrix für das Beispiel aus der Abbildung 5.9

Addiert man die einzelne Faktoren in jeder Matrixzelle, dann enthält die Faktor-matrix folgende Faktorsummen:

− 4 0 0 510 − 0 0 09 9 − 0 58 10 0 − 58 9 0 5 −

Abbildung 5.11: Faktorsummen für die Sortierungen aus der Abbildung 5.9

Diese Operationen werden mit der FillMatrix(UserList) Funktion durchgeführt.Die FillMatrix(UserList) Funktion bekommt als Eingabe die vom AlgorithmusAnalyseCSV(CSVCards) berechnete Userliste und die leere 5 x 5 Matrix. In derersten for-Schleife des FillMatrix(UserList) Algorithmus, in der Zeile 2, werdendie Sortierbäume rekonstruiert. Die Faktoren für jede Karte werden in der drit-ten for-Schleife, in den Zeilen 4 bis 11, berechnet und an die entsprechende Stelleneingetragen. In der Zeile 9 wird ein Zähler inkrementiert, der die Häufigkeit des je-weils verwendeten Faktors für die aktuelle Zuweisung speichert. Dieser Zähler wirdfür die Ausnahmebehandlung, die im Abschnitt 5.4.4 genau erklärt wird, benötigt.

33

5.4 Faktor-Analyse

1 for each User in UserList do2 User. UserTrees := BuildCardTree (User.Cards)3 for each tree in User.Trees do4 for each node in tree do5 cardFactor = length ( Matrix )6 currentNode = node7 while currentNode . Category != null do8 matrix [ currentNode . cardID ][ currentNode . categoryID ] +=

cardFactor9 matrix [ currentNode . cardID ][ currentNode . categoryID ][

cardFactor ] ++10 cardFactor --11 currentNode = currentNode . Category12 end for13 end for14 end for15 return matrix

Listing 5.3: Algorithmus 2: FillMatrix(UserList)

5.4.3 BuildResultTreesIn nächsten Schritt wird die, durch die Funktion FillMatrix(UserList) ausgefüllteFaktormatrix ausgewertet. Dazu werden zuerst die Faktorsummen zeilenweise ad-diert und aufsteigend sortiert.Der niedrigste Summenwert einer Zeile ist ein Indiz dafür, dass die Karte, die durchdiese Zeile repräsentiert wird, am seltensten unter eine andere Karte einsortiert ist.Daraus kann man ableiten, dass das eine Karte auf der obersten Hierarchiestufeund damit eine Oberkategorie ist. Des Weiteren signalisieren die hohen Zeilen-summen, dass es sich dabei um die Karten handeln muss, die sehr oft unter eineandere Karte einsortiert sind. Dadurch werden diese Zuweisungen während derAnalyse mit hohen Faktoren gewichtet. Demnach befinden sich diese Karten aufeiner der unteren Hierarchiestufen.Nachdem die Karten auf der obersten Hierarchiestufe anhand der niedrigstenZeilensumme bestimmt sind, werden die restlichen Zeilen untersucht. In jederZeile wird nach der maximalen Faktorsumme gesucht. Diese bestimmt die Zu-weisung für die Karte, die durch diese Zeile repräsentiert wird. Für die Fak-tormatrix aus der Abbildung 5.11 ergeben sich somit folgende Zeilensummen:

910232322

Die erste Zeile in diesem Beispiel hat die kleinste Zeilensumme. Dadurchist festgelegt, dass die Karte A, die durch die erste Zeile repräsentiertwird, eine Oberkategorie ist. Würde sich für eine weitere Zeile die glei-che Zeilensumme wie für die erste Zeile ergeben, dann wäre die Karte,die durch diese Zeile repräsentiert wird, eine weitere Oberkategorie. Indiesem Beispiel wird die Karte A dem Ergebnisbaum als Oberkategoriehinzugefügt.

34

5.4 Faktor-Analyse

Die zweite Zeile weist die nächsthöhere Zeilensumme 10 vor. Die maximale Fak-torsumme wird in dieser Zeile gesucht. Wie man in der Abbildung 5.11 sieht, istes die Faktorsumme mit dem Wert 10. Das bedeutet, dass die Karte B der KarteA zugewiesen wird. Die Karte B wird dem Ergebnisbaum hinzugefügt.

Die fünfte Zeile ist die mit der nächsthöheren Zeilensumme 22. Es wird wieder diemaximale Faktorsumme in dieser Zeile gesucht. Das ist der Wert 9. Damit wirddie Karte E, die durch die fünfte Zeile repräsentiert wird, der Karte B zugewiesenund dem Ergebnisbaum hinzugefügt.Es wird wieder die Zeile mit der nächsthöheren Zeilensumme untersucht. In diesemFall ist es entweder die Zeile 3 (Karte C) oder die Zeile 4 (Karte D), da beide dieZeilensumme 23 haben. Es wird eine dieser Zeilen gewählt, und anhand der höchs-ten Faktorsumme wird die Zuweisung für diese Karte bestimmt. Für die Karte Dbeträgt die Zeilensumme 23 und die maximale Faktorsumme in der vierten Zeileist der Wert 10, der für die Zuordnung „Karte D unter die Karte B“ berechnet ist.Damit wird die Karte D in dem Ergebnisbaum unter die Karte B einsortiert.Anschließend wird in der übriggebliebener Zeile 3 nach der höchsten Faktorsummegesucht. Hier findet man allerdings zwei gleiche Faktorsummen mit dem Wert 9.Es ist zum einen die Zuweisung der Karte C zu der Karte A und zum anderen dieZuweisung der Karte C zu der Karte B. In so einem Fall bedeutet es dass es fürdiese Karte mehrere gleichwertige alternative Zuordnungen geben kann. An dieserStelle wird die für die Ausnahmebehandlung zuständige CompareComposition()Funktion aufgerufen. Dadurch wird geprüft welche der alternativen Zuordnungendem Ergebnisbaum hinzugefügt wird.

Die Operationen in diesem Schritt werden mit der BuildResultTrees(matrix) Me-thode durchgeführt.In der Zeile 1 werden die Zeilensummen gebildet und aufsteigend sortiert. DieKarte die als erste in den Ergebnisbaum eingefügt wird, ist die Oberkategorie. Imweiteren Verlauf der Analyse werden die Zuweisungen für die restlichen Kartenbestimmt. Die Karten werden nacheinander dem Ergebnisbaum hinzugefügt. Gibtes für eine Karte mehrere alternative Zuweisungsoptionen, wird in der Zeile 9 dieFunktion für die Ausnahmebehandlung aufgerufen.

35

5.4 Faktor-Analyse

1 matrix := matrix . OrderAscending ( rowFactorSum )2 resultTrees := null3 for each card in matrix do4 if not card in resultTrees then5 categoryCards := card. CategoriesOfMaxFactor6 bestFit := categoryCards [0]7 if categoryCards .Count > 1 then8 for(j = 1; j < categoryCards .Count; j++) do9 bestFit := CompareComposition (card , bestFit , categoryCards

[j], length ( matrix ))10 end for1112 for (i = 0; i < categoryCards .Count; i++) do13 if categoryCards [i] != bestFit then14 alternativCategories .Add( categoryCards [i])15 end if16 end for17 end if1819 if resultTree . Contains ( bestFit ) then20 resultTrees [ categoryCard ]. Children .Add(card)21 else22 equalRowSumCards := GetMatrixCardsByRowSum (card. RowFactorSum

)23 for each rowSumCard in equalRowSumCards do24 resultTrees .Add( rowSumCard )25 end for26 end if27 end if28 end for29 return resultTree

Listing 5.4: Algorithmus 3: BuildResultTrees(matrix)

5.4.4 Ausnahmebehandlung CompareCompositionDie Methode CompareComposition(x,a,b,maxFactor) wird aufgerufen, wenn esmehrere maximalen Faktorsummen in einer Zeile gibt. Die Methode überprüft dieZusammensetzung der betroffenen Faktorsummen. Dazu werden die Faktorzäh-ler für diese Faktorsummen aus der FillMatrix Funktion ausgelesen. Zuerst wirddie Anzahl der maximalen Faktoren in den betroffenen Faktorsummen verglichen.Die maximalen Faktoren werden, wie im Abschnitt 5.3 erklärt, für die direkte Zu-ordnung einer Karte zu einer Kategorie vergeben. Kann eine Faktorsumme einehöhere Anzahl maximaler Faktoren vorweisen, wird diese Faktorsumme für die Zu-weisung gewählt. Ist die Anzahl der maximalen Faktoren gleich, wird die Anzahlder nächstkleineren Faktoren verglichen. Diese Prozedur wird wiederholt, bis ent-weder eine der Faktorsummen eine höhere Anzahl eines Faktor vorweisen kann,oder bis alle Einzelfaktoren verglichen sind. Wenn der Faktorenvergleich keine

36

5.4 Faktor-Analyse

Entscheidung liefert, da die Zusammensetzungen der maximalen Faktorsummenidentisch sind, werden die Zuweisungen als gleichwertige Alternativen ausgegeben.

Wie sieht diese Überprüfung für das konkrete Beispiel aus? Wie man in der Ab-bildung 5.10 sehen kann, enthalten beide betroffenen Faktorsummen je einmalden maximalen Faktor 5. Der Faktorenvergleich liefert hier noch keine Entschei-dung. Der maximale Faktor wird um 1 dekrementiert und die Methode ruft sichselbst mit dem neuen maximalen Faktor auf. Die Zähler für den Faktor 4 werdenausgelesen. Sie liefern in diesem Fall wieder die gleiche Anzahl des Faktors 4 fürbeide Faktorsummen. Auch hier kann noch keine Zuweisung ausgewählt werden.Die Überprüfung der Zähler für die kleineren Faktoren liefert in diesem Fall eben-falls keine Entscheidung. Am Ende dieser Überprüfung berechnet die Methode,dass diese zwei Zuweisungen gleichwertige Alternativen sind. Es werden sowohldie Zuweisung der Karte C zur Karte A als auch zur Karte B ausgegeben.

1 if [ currentNode . categoryID ]. Count in r > 1 then2 if matrix [x. cardID ][a. cardID ][ cardFactor ] > matrix [ currentNode

. cardID ][b. cardID ][ cardFactor ] then3 return a4 elseif matrix [x. cardID ][a. cardID ][ cardFactor ] < matrix [

currentNode . cardID ][b. cardID ][ cardFactor ] then5 return b6 else7 if matrix [x. cardID ][a. cardID ][ cardFactor ] = matrix [

currentNode . cardID ][b. cardID ][ cardFactor ] then8 maxFactor = maxFactor - 19 if maxFactor > 0 then

10 return compareComposition (x,a,b, maxFactor )11 end if12 end if13 end if14 end if15 return {a, b}

Listing 5.5: Algorithmus 4: compareComposition(x;a;b;maxFactor)

In diesem Beispiel haben sich durch die Evaluation folgende Zuweisungen für dieeinzelne Karten ergeben:

Faktorsumme 10: Faktorsumme 9:-Karte A -Karte B -Karte A -Karte B -Karte B

-Karte B -Karte D -Karte C -Karte C -Karte E

Abbildung 5.12: Berechnete Teilbäume

37

5.4 Faktor-Analyse

Da es für die Karte C zwei gleichwertige Zuordnungen gibt, zum einen zu der KarteA und zum anderen zu der Karte B, werden in diesem Beispiel die folgenden zweiBäume als Ergebnis berechnet:

-Karte A -Karte A-Karte B -Karte C

-Karte C -Karte B-Karte D -Karte D-Karte E -Karte E

Abbildung 5.13: Zwei gleichwertige Ergebnisse

Damit ist die Evaluation mittels Faktor-Analyse-Methode abgeschlossen.

5.4.5 Eine weitere Auswertungsmethode für die hierarchischenCard-Sorting Experimente

Es gibt weitere Methoden für die Evaluation hierarchischer Card-Sorting Experi-mente. Eine davon ist die Subtree-Analyse. Das ist eine von Jan Lutterbeck undDaniel Brake [BL08, S.20ff], im Rahmen ihrer Bachelorarbeit entwickelte Metho-de für die Analyse und Auswertung hierarchischer Card-Sorting Experimente. Indiesem Abschnitt wird näher auf diese Methode eingegangen und es wird ein Ver-gleich zur Faktor-Analyse-Methode gezogen.

Bei der Subtree-Analyse Methode wird die Zuordnungsstruktur auch in Form ei-nes Baumes betrachtet. Die jeweiligen Sortierbäume werden im Laufe der Analysein einzelne Teilbäume zerlegt.Die Subtree-Analyse besteht aus zwei Schritten. Zum einen werden die Zuordnun-gen der einzelnen Karten zu ihren Vorgängern untersucht, zum anderen wird nachgeeigneten Wurzelgruppen für die Karten gesucht. Um die Obergruppen8zu iden-tifizieren, benutzt diese Methode die Heatmap und den SLA Algorithmus unterVerwendung eines modifizierten Schwellwertes. Sind die Obergruppen bestimmt,wird für alle übrigen Karten eine Zuordnung zu einer Obergruppe berechnet. Da-bei wird für jede der Karten in den entsprechenden Sortings überprüft, ob sie sichauf einem Pfad ausgehend von einer der Obergruppen befindet. Wenn das der Fallist, dann wird dieses Auftreten für die bestimmte Obergruppe gezählt. Nachdemdiese Analyse für alle Karten abgeschlossen ist, erfolgt die Zuordnung der einzel-nen Karten zu ihren Obergruppen. Falls eine Karte durch die Analyse mehrerenWurzelgruppen zugeordnet werden kann, so wird für alle in Frage kommendenObergruppen die durchschnittliche Tiefe dieser Karte bestimmt. Hier wählt mandie Gruppe als Wurzelgruppe, in der sich die betroffene Karte am weitesten oben

8Gruppen auf der obersten Hierarchieebene

38

5.4 Faktor-Analyse

in der Struktur befindet. Dadurch wird in dieser Methode die direkte Zuordnungeiner Karte stärker gewichtet als die über einen indirekten Pfad. Nachdem dieserSchritt abgeschlossen ist, wird für jede Karte aus der Menge um eine bestimmteWurzelkarte festgelegt, ob diese Karte direkt mit der Wurzelkarte verbunden ist.Dabei werden alle Karten als Nachfolger der Wurzelkarte markiert und es wird an-schließend überprüft, ob sich in der Menge um die Wurzelkarte eine Gruppenkartebefindet, die sich nach Auswertung der Heatmap besser als Vorgänger einer Karteeignet als die Wurzelgruppe. Nach diesem Schritt wird die Menge der Wurzelkar-ten neu bestimmt. Der Ablauf des Algorithmus ist rekursiv. Der Algorithmus ruftsich selbst so lange auf bis für alle Karten eine Zuordnung bestimmt ist.Die Subtree-Analyse Methode benutzt für die Auswertung die Heatmap und einenmodifizierten SLA Algorithmus. Dieser ist verändert worden, so dass Schwellwerteunter 50% auch möglich sind. Für jede Zuweisung wird das Auftreten in einer derObergruppen gezählt.

Die im Rahmen dieser Arbeit entwickelte Faktor-Analyse benutzt für die Auswer-tung eine innovative Faktormatrix. Dabei werden alle Zuweisungen einer Kartezu jeder der Obergruppen mit verschiedenen Faktoren gewichtet. Diese Fakto-ren werden in die Matrix eingetragen, womit sichergestellt wird, dass auch dieindirekten Zuordnungen zu einer der Kategorien auf der höheren Hierarchieebe-nen berücksichtigt werden. Während die Subtree-Analyse die Zuweisungen zu denObergruppen mitzählt, ist das für die Faktor-Analyse nicht nötig. Diese Informa-tionen werden dank der verschiedenen Faktoren in die Faktormatrix aufgenommenund fließen damit direkt in die Auswertung ein. Ein Vergleich der Einzelfaktorenmuss lediglich bei mehreren alternativen Zuweisungen für eine Karte durchgeführtwerden.

39

6 Entwurf und Aufbau desWerkzeugs

Die im Kapitel 5.4 beschriebene Faktor-Analyse-Methode ist prototypisch imple-mentiert und als Tool umgesetzt worden. In diesem Kapitel wird auf die Strukturder implementierten Anwendung und den Programmablauf näher eingegangen.Ein Klassendiagramm, welches die Struktur des zugrundeliegenden Datenmodellszeigt, befindet sich im Anhang.

6.1 Beschreibung des WerkzeugsIn diesem Abschnitt werden die zur Implementierung der Evaluationsanwendungeingesetzten Techniken vorgestellt.

6.1.1 Systemumgebung und DesignDie Anwendung ist als eine reine Desktopanwendung für Windows 7 und höher inVisual C# geschrieben. Die Grafische Benutzeroberfläche ist mit Windows Pre-sentation Foundation (WPF), welches ein Teil des Microsoft .NET Frameworks4.0 ist, gestaltet. Für die Ausführung der Anwendung muss das Microsoft .NETFramework (mindestens in der Version 4.0) installiert sein.

6.1.2 BenutzerschnittstelleEine einfache und übersichtliche graphische Oberfläche ist wichtig, damit der Be-nutzer ohne lange Einarbeitungszeit mit der Anwendung arbeiten kann. Die Heu-ristik zum Oberflächendesign von Jakob Nielsen[Nie95b] legt nahe, das Design„ästhetisch und minimalistisch“ zu halten:

Dialoge sollten keine Informationen enthalten, welche unwichtig oderungewöhnlich sind. Jede zusätzliche Information in einem Dialog stehtim Wettbewerb mit den relevanten Informationen und vermindern ihrerelative Sichtbarkeit. Informationen sollten stets so kurz und gehaltvollwie möglich sein, d.h. jegliche unnötige Information sollte vermiedenwerden.

Die Anwendung führt nur die Auswertung der importierten Daten durch. Da sichdiese Anwendung nicht mit der Durchführung der Card-Sorting Experimente be-schäftigt und dabei mit Algorithmen arbeitet die nicht weiter konfiguriert werden

40

6.2 Programmablauf

müssen, kann die Programmoberfläche sehr einfach gehalten werden. Dem Benut-zer wird lediglich die Möglichkeit angeboten eine aus WeCaSo exportierte CSVDatei, die zum jetzigen Zeitpunkt, wie im Abschnitt 4.4 erklärt, zuerst bearbeitetwerden muss, zu öffnen.

6.2 ProgrammablaufHat der Benutzer die Anwendung gestartet, öffnet sich die in der Abbildung 6.1gezeigte Bedienoberfläche.

Abbildung 6.1: Programmoberfläche

Dem Benutzer wird die Möglichkeit geboten eine Datei, die Sortierdaten enthält,zu öffnen. Dafür muss der Open File Button gedrückt werden. In der Fläche nebender Loaded File Aufschrift wird der Pfad zu der aktuell geöffneten Datei angezeigt.

Nach dem drücken des Open File-Buttons, kann im Open File Dialog eine CSVDatei ausgewählt werden.

41

6.2 Programmablauf

Abbildung 6.2: „Datei öffnen“-Dialog

Ist die Datei ausgewählt, werden die Daten mit einem Klick auf den Button „Öff-nen“ importiert und ausgewertet.

Abbildung 6.3: Aufzeigen mehrerer alternativen Kategorien für eine Karte

Die berechnete Informationsstruktur wird in der, wie in der Abbildung 6.3 zu se-hen, großen Fläche ausgegeben. Die Hierarchien sind standardmäßig aufgeklappt,können aber der besseren Übersicht halber zugeklappt werden.Wenn es für eine Karte mehrere alternative Zuordnungsmöglichkeiten gibt, so wer-den diese in der Ausgabe farblich hervorgehoben. Fährt man mit dem Mauszeiger

42

6.3 Fehlerbehandlung

über die betroffene Karte, so wird ein Tooltip eingeblendet, der die in Frage kom-mende alternative Kategorien aufzeigt. In der Abbildung 6.3 kann man so einTooltip sehen.

6.3 FehlerbehandlungDa mit dieser Anwendung die bereits existierende Sortierdaten importiert werden,kann der Benutzer bis auf die Wahl der CSV Datei, die nicht der Vorgabe ent-spricht, kaum Fehler produzieren. Die möglichen Fehler werden durch die Anwen-dung abgefangen. Dem Benutzer wird dabei ein Fehlerdialog mit den möglichenUrsachen angezeigt. Wenn es während der Benutzung zu einem Fehler kommt,wird dies ebenfalls durch eine Fehlermeldung angezeigt. Daher ist eine Fehlerkor-rektur nicht nötig. Versucht der Benutzer zum Beispiel eine Datei zu laden, dessenHeader nicht der Form user_id,card_name,card_id,category_name,category_identspricht, wird eine Fehlermeldung wie in der Abbildung 6.4 zu sehen ist, ausge-geben.

Abbildung 6.4: Fehlermeldung

43

7 Zusammenfassung und Ausblick

7.1 Zusammenfassung der ErgebnisseIm Rahmen dieser Bachelorarbeit ist die Faktor-Analyse-Methode für die Auswer-tung hierarchischer Card-Sorting Experimente entwickelt worden.Die im Fachgebiet Mensch-Computer-Interaktion der Universität Paderborn ent-wickelte Webanwendung WeCaSo [Vdo08] ist als Sortierwerkzeug benutzt worden,welches die für die Auswertung benötigten Daten liefert.Die Testpersonen können die erstellten Card-Sorting Experimente online durch-führen und anschließend ihre Resultate abspeichern. Die gespeicherten Ergebnisseenthalten am Ende die Sortierungen aller Testpersonen, die an diesem Experimentteilgenommen haben. Die Ergebnisse werden als CSV Datei gespeichert und kön-nen zur weiteren Analyse exportiert werden.

Für die Analyse solcher Sortierdaten ist von mir ein Verfahren erarbeitet worden,das die, durch die Sortierungen gewonnene Informationen unter dem Aspekt derKategorieverschachtelung auswertet. Anhand dieser Informationen ist in dem Eva-luationsprozess eine geeignete Informationsstruktur extrahiert und erstellt worden.Einer der größten Vorteile der Faktor-Analyse-Methode ist, dass diese ohne eineKonfiguration des Algorithmus auskommt und dadurch einen Entwurf der Navi-gationsstruktur schnell und ohne weiteres Eingreifen des Testleiters liefert.

Des Weiteren ist eine Anwendung, die die Faktor-Analyse-Methode für die Aus-wertung benutzt, prototypisch implementiert. Im Zusammenhang mit der fehler-haften Speicherung der Hierarchieinformationen durch die WeCaSo Datenbankist es allerdings nicht möglich gewesen, diese Methode ausreichend mit der Aus-wertung großer Experimente zu testen. An dieser Stelle kann man allerdings dieInformationsstruktur der Webseite Uni Bremen mit der, durch HiSort berechnetenStruktur, vergleichen.In der Abbildung 7.1 sieht man auf der linken Seite die Informationsstruktur, dieals Grundlage für das Experiment, das im Abschnitt 4.3.1 erklärt ist, gedient hat.In der rechten Hälfte sieht man die mit der Anwendung HiSort, mittels Faktor-Analyse-Methode, erstellte Struktur.

44

7.1 Zusammenfassung der Ergebnisse

(a) Informationsstruktur der Uni Bremen Webseite (b) Mit HiSort berechnete Informationsstruktur

Abbildung 7.1: Die Informationsstrukturen im Vergleich

45

7.1 Zusammenfassung der Ergebnisse

Wie man in den beiden Hälften der Abbildung 7.1 sehen kann, sind die Begriffe:Abschlüsse, Gesellschaft & Bildung, Natur & Umwelt, Kultur, Medien, Kunst &Musik, Zahlen, Technik & Produktion, Wirtschaft & Recht, Mensch & Gesundheit,Sprache & Literaturen so wie Lehramt übereinstimmend als Kategorien festge-legt worden. Eine große Anzahl der Begriffe in diesen Kategorien stimmt ebenfallsüberein.Die Kategorien Sprache & Literaturen, Kultur, Medien, Kunst & Musik Natur &Umwelt und Abschlüsse enthalten nach der Analyse mit HiSort weitestgehend diegleichen Begriffe wie auf der Webseite der Uni Bremen. Einige Begriffe sind beider Analyse mit HiSort allerdings keiner Kategorie zugeordnet worden. Das kannverschiedene Ursachen haben. Die anstrengende Sortierung in WeCaSo, so wieschlechte Beschreibung der Begriffe auf den Karten können dafür verantwortlichsein. Verschiedene Zuordnungen dieser Karten durch die Testpersonen kann eineWeitere Ursache dafür sein. Aufgrund der wenigen Testdaten die zur Verfügungstehen, ist es nicht möglich diesen Ursachen auf den Grund zu gehen.

Die Faktor-Analyse-Methode berücksichtigt auch die alternative Zuweisungsmög-lichkeiten für eine Karte, die sich durch die Auswertung ergeben können. Wenndie Auswertung mehrere gleichwertige Zuweisungen für eine Karte berechnet, wirddie betroffene Karte bei der Darstellung des Ergebnisses farblich markiert. Wirdder Mauszeiger über diese Karte bewegt, wird ein Tooltip1 eingeblendet, in demdie alternative Kategorien für die Zuweisung dieser Karte aufgeführt sind.

Die im Kapitel 5.4.4 beschriebene Methode compareComposition() ist allerdingsnicht implementiert worden. Die Notwenigkeit dieser Methode hat sich nämlicherst bei den Tests mit kleineren Beispielen offenbart, nachdem die Implementie-rung abgeschlossen war. Durch die, für diese Methode unpassende Datenstrukturund wenige Zeit bis zur Abgabe dieser Arbeit, war es leider nicht mehr möglichdiese Ausnahmebehandlung auch zu implementieren. Die jetzige Implementierunggibt mehrere Alternativen für die Zuweisung einer Karte aus, wenn sich für dieseKarte durch die Analyse mehrere gleiche Faktorsummen ergeben. Zum jetzigenZeitpunkt, werden die alternativen Zuweisungen ausgegeben, ohne dass ein Ver-gleich der Einzelfaktoren durchgeführt ist.Wie man sehen kann, liefert die Auswertung mit der HiSort Anwendung mit-tels Faktor-Analyse-Methode einen Entwurf der Informationsstruktur, der wei-testgehend der Struktur der Webseite der Uni Bremen entspricht. Dabei muss derTestleiter, der für die Auswertung verantwortlich ist, keine Einstellungen an demAlgorithmus vornehmen. Wenn man davon ausgeht, dass die Struktur der Websei-te bereits durch Usability Experten getestet ist, dann kann man sagen, dass dieseAnwendung ohne Eingreifen des Testleiters in den Evaluationsprozess schnell guteErgebnisse liefert.

1Kurzinfo

46

7.2 Ausblick

7.2 AusblickDie implementierte Anwendung arbeitet im Großen und Ganzen zuverlässig. Al-lerdings sind weitere Optimierungen vorstellbar. Die HiSort Anwendung kannverbessert werden, indem es auch möglich ist, CSV Dateien aus einer anderenSortieranwendung als Eingabe zu verwenden. Die von mir implementierte Anwen-dung erwartet als Eingabe eine CSV Datei, deren Spalten folgende Informationenenthalten:

• user_id: enthält eindeutige Identifikationsnummer für jeden Testteilnehmer

• card_name: enthält die Begriffe, die auf den Karten vermerkt sind

• card_id: enthält für jede Karte eine eindeutige Identifikationsnummer

• category_name: enthält die Kategorienamen

• category_id: enthält eine eindeutige Identifikationsnummer für jede Kate-gorie

Eine mögliche Lösung hierfür wäre die Implementierung der Zuordnung der Spal-ten aus der CSV Datei zu den Spalten, die von der Anwendung als Eingabe ak-zeptiert wird, wie es zum Beispiel in der Anwendung Casolysis 2.0 [WY15] imple-mentiert ist.

Abbildung 7.2: Zuordnung der Spalten in Casolysis 2.0

Als eine weitere sinnvolle Erweiterung könnte für jedes Baumelement, für das esalternative Kategorien gibt, eine Auswahlliste angeboten werden. Bei Auswahleiner alternativen Kategorie, soll der Ergebnisbaum neu berechnet werden. Fürden Testleiter ist es damit einfacher, sich die alternativen Ergebnisse anzusehen.

47

Anhang A

KlassendiagrammC

ard

«C#

-Kla

sse»

eger

, ca

rdN

ame

: St

ring

, ca

tego

ryId

: N

ulla

ble<

Int3

2 > , ca

tego

ryN

ame

: St

ring

)

Main

Win

dow

«C#

-Kla

sse»

Att

ribu

te

+ R

esul

tTre

es :

Obs

erva

bleC

olle

ctio

n<Tre

e >

- re

sultT

rees

: O

bser

vabl

eCol

lect

ion<

Tre

e >

~ R

esul

tTre

eVie

w :

Tre

eVie

w~

txt

Csv

File

Nam

e :

Tex

tBox

Vor

gäng

e

+ A

naly

zeCSV

Car

ds(C

SVCar

ds :

Lis

t<Car

d > )

+ B

uild

Car

dTre

e(ca

rdCol

lect

ion

: Li

st<

Car

d > )

: Li

st<

Tre

e >

+ B

uild

Res

ultT

rees

(mat

rix

: Li

st<

Mat

rixC

ard >

)+

Csv

ToC

ard(

csvF

ilePa

th :

Str

ing)

: L

ist<

Car

d >+

Get

Col

umnF

acto

r(m

atrixC

ards

: L

ist<

Mat

rixC

ard >

, ca

rdId

: I

n...

+ I

nitia

lizeC

ompo

nent

()

+ M

ainW

indo

w()

- O

penF

ileBut

ton_

Clic

k(se

nder

: O

bjec

t, e

: R

oute

dEve

ntArg

s)

Matr

ixC

ard

«C#

-Kla

sse»

Att

ribu

te

+ C

ardI

d :

Inte

ger

+ C

ardN

ame

: St

ring

+ C

atId

OfM

axFa

ctor

: I

nteg

er+

Col

umnF

acto

rSum

: I

nteg

er+

Max

Cat

egor

ieN

ame

: St

ring

+ P

orte

ntia

lCat

egor

yCar

dNam

es :

Str

ing

+ R

owFa

ctor

Sum

: I

nteg

er

+ S

ubCar

ds :

Lis

t<M

atrixS

ubCar

d >

- ca

rdId

: I

nteg

er-

card

Nam

e :

String

- co

lum

nFac

torS

um :

Int

eger

- ro

wFa

ctor

Sum

: I

nteg

er

- su

bCar

ds :

Lis

t<M

atrixS

ubCar

d >

Vor

gäng

e

+ M

atrixC

ard(

expe

rim

entC

ard

: Car

d)-

Get

Max

Fact

orSu

m()

: I

nteg

er

Mai

nWin

dow

1

Mat

rixC

ard *

Matr

ixSu

bC

ard

«C#

-Kla

sse»

Att

ribu

te

+ C

ardI

d :

Inte

ger

+ C

ardN

ame

: St

ring

+ F

acto

rSum

: I

nteg

er-

card

Id :

Int

eger

- ca

rdN

ame

: St

ring

- fa

ctor

Sum

: I

nteg

er

Vor

gäng

e

+ M

atrixS

ubCar

d(ex

perim

entC

ard

: M

atrixC

ard)

Mat

rixC

ard

1

Mat

rixS

ubCar

d*

Mai

nWin

dow 1

Abbildung A.1: Klassendiagramm 1/2

49

Card

«C#

-Kla

sse»

Att

ribu

te

+ C

ardI

d :

Inte

ger

+ C

ardN

ame

: St

ring

+ C

ateg

oryI

d :

Nul

labl

e<In

t32 >

+

Cat

egor

yNam

e :

String

+ U

serI

d :

Inte

ger

- ca

rdId

: I

nteg

er-

card

Nam

e :

String

- ca

tego

ryId

: N

ulla

ble<

Int3

2 >

- ca

tego

ryN

ame

: St

ring

- us

erId

: I

nteg

er

Vor

gäng

e

+ C

ard(

user

Id :

Int

eger

, ca

rdId

: I

nteg

er, ca

rdN

ame

: St

ring

, ca

tego

ryId

: N

ulla

ble<

Int3

2> , ca

tego

ryN

ame

: St

ring

)

Main

Win

dow

«C#

-Kla

sse»

Att

ribu

te

+ R

esul

tTre

es :

Obs

erva

bleC

olle

ctio

n<Tre

e >

- re

sultT

rees

: O

bser

vabl

eCol

lect

ion<

Tre

e >

~ R

esul

tTre

eVie

w :

Tre

eVie

w~

txt

Csv

File

Nam

e :

Tex

tBox

Vor

gäng

e

+ A

naly

zeCSV

Car

ds(C

SVCar

ds :

Lis

t<Car

d > )

+ B

uild

Car

dTre

e(ca

rdCol

lect

ion

: Li

st<

Car

d > )

: Li

st<

Tre

e >

+ B

uild

Res

ultT

rees

(mat

rix

: Li

st<

Mat

rixC

ard >

)+

Csv

ToC

ard(

csvF

ilePa

th :

Str

ing)

: L

ist<

Car

d >

+ G

etCol

umnF

acto

r(m

atrixC

ards

: L

ist<

Mat

rixC

ard >

, ca

rdId

: I

n...

+ I

nitia

lizeC

ompo

nent

()

+ M

ainW

indo

w()

- O

penF

ileBut

ton_

Clic

k(se

nder

: O

bjec

t, e

: R

oute

dEve

ntArg

s)

Mai

nWin

dow

1

M

Tre

e

«C#

-Kla

sse»

Att

ribu

te

+ C

ardI

d :

Inte

ger

+ C

ardN

ame

: St

ring

+ C

ateg

oryI

d :

Nul

labl

e<In

t32 >

+

Cat

egor

yNam

e :

String

+ C

hild

ren

: O

bser

vabl

eCol

lect

ion<

Tre

e >

+ P

oten

tialC

ateg

oryN

ames

: S

trin

g+

Use

rId

: In

tege

r

- ca

rdId

: I

nteg

er-

card

Nam

e :

String

- ca

tego

ryId

: N

ulla

ble<

Int3

2 >

- ca

tego

ryN

ame

: St

ring

-ch

ildre

n:

Obs

erva

bleC

olle

ctio

n<Tre

e>-

pote

ntia

lCat

egor

yNam

es :

Str

ing

- us

erId

: I

nteg

er

Vor

gäng

e

+ A

ddChi

ldCar

d(ch

ildCar

d :

Tre

e)

+ F

indB

yCat

egor

y(no

de :

Tre

e, c

ateg

oryI

d :

Nul

labl

e<In

t32 >

) :

Tree

+ F

indB

yId(

node

: T

ree,

car

dId

: In

tege

r) :

Tre

e+

Res

etCat

egor

yInf

orm

atio

ns()

+ T

ree(

root

Car

d :

Car

d)+

Tre

e(ro

otCar

d :

Mat

rixC

ard)

Use

r

«C#

-Kla

sse»

Att

ribu

te

+U

serC

ards

:Li

st<

Car

d>+

Use

rId

: In

tege

r

+ U

serT

rees

: L

ist<

Tre

e >

-us

erCar

ds:

List

<Car

d>-

user

Id :

Int

eger

- us

erTr

ees

: Li

st<

Tre

e >

Vor

gäng

e

+ A

ddCar

d(ca

rd :

Car

d)

+ U

ser(

user

Id :

Int

eger

)

Use

r1

Car

d*

Use

r 1

Tre

e

*

Mai

nWin

dow 1

Use

r

*

Abbildung A.2: Klassendiagramm 2/2 50

Anhang B

Inhalt der CD• Ausarbeitung als PDF: BA Kenan Zimic.pdf

• Applikation Hisort: HiSort.exe

• Quellcode der Applikation: HCSAnalysis

• Dokumentation: Documentation.chm

• Modifizierte CSV Dateien : CSV Files

B.1 Voraussetzungen zum Ausführen derApplikation

Zum Ausführen der Applikation wird Betriebssystem Windows 7 oder höher be-nötigt. Des Weiteren muss das Microsoft .NET Frameworks in Version 4.0 oderhöher installiert sein. Sind die soeben genannten Voraussetzungen erfüllt, wird dieAnwendung mit einem Doppelklick auf die Datei HiSort.exe gestartet.

51

Literatur[Arn06] Arndts, Henrik: Integrierte Informationsarchitektur. Springer, 2006

[BL08] Brake, Daniel ; Lutterbeck, Jan: Konzeption und Implementie-rung eines Werkzeugs zur Durchführung und Analyse von hierarchi-schen Card Sorting Experimenten. 2008. – Bachelorarbeit, Paderborn2008

[Bou06] Boulton, Mark: Card sorting - Part 3 - Analysis and Reporting.2006. – online unter: http://www.markboulton.co.uk/, aufgerufen am19.12.2016

[Dir] Dirnbauer, Kurt: Ergonomische Anforderungen für Bürotätigkeitenmit Bildschirmgeräten - Teil 11: Anforderungen an die Gebrauchstaug-lichkeit. – Deutsche Fassung EN ISO 9241-11:1998

[EKSX96] Ester, Martin ; Kriegel, Hans-Peter ; Sander, Jörg ; Xu,Xiaowei: A Density-Based Algorithm for Discovering Clus-ters in Large Spatial Databases with Noise. 1996. – on-line unter: http://www.dbs.ifi.lmu.de/Publikationen/Papers/KDD-96.final.frame.pdf, aufgerufen am 19.12.2016

[ISO] ISO/IEC-Norm 25010. – online unter:https://www.iso.org/obp/ui/#iso:std:iso-iec:25010:ed-1:v1:en, abge-rufen am 28.12.2016

[MW04] Maurer, Donna ; Warfel, Todd: Card sorting: a definitive gui-de. 2004. – online unter: http://boxesandarrows.com/card-sorting-a-definitive-guide/, aufgerufen am 19.12.2016

[Nie93] Nielsen, Jakob: Usability Engineering. Morgan Kaufmann, 1993. –ISBN 978-0125184069

[Nie95a] Nielsen, Jakob: 10 Usability Heuristics for User Interface De-sign. 1995. – online unter: https://www.nngroup.com/articles/ten-usability-heuristics/, aufgerufen am 19.12.2016

[Nie95b] Nielsen, Jakob: 10 Usability Heuristics for User Interface De-sign. 1995. – Online unter https://www.nngroup.com/articles/ten-usability-heuristics/; aufgerufen am 15.1.2017

52

Literatur

[NM90] Nielsen, Jakob ; Molich, Rolf: Heuristics for heuristic evaluati-on. 1990. – online unter: https://www.nngroup.com/topic/heuristic-evaluation/, aufgerufen am 19.12.2016

[NM94] Nielsen, Jakob ; Mack, Robert L.: Usability Inspection Methods.John Wiley & Sons - New York, 1994. – ISBN 0-471-01877-5

[TSK06] Tan, Pang-Ning ; Steinbach, Michael ; Kumar, Vipin: Introductionto Data Mining. Pearson, 2006. – ISBN-13: 978-0321321367

[Vdo08] Vdovkin, Andreas: Entwicklung einer webbasierten Card-SortingApplikation. 2008. – Bachelorarbeit, Paderborn 2008; onlineunter: http://docplayer.org/7917906-Entwicklung-einer-webbasierten-card-sorting-applikation.html, aufgerufen am 19.12.2016

[WRLP90] Wharton, Cathleen ; Rieman, John ; Lewis, Clayton ; Polson,Peter: The Cognitive Walkthrough Method: A Practitioner’s Guide.1990. – Technical report #93-07

[WY15] Wawilow, Anastasia ; Yevgen, Mexin: Konzeption und prototypi-sche Implementation eines flexiblen Auswertungstools für Card SortingExperimente. 2015. – Masterarbeit, Paderborn 2015; online unter:https://www-old.cs.uni-paderborn.de/fileadmin/Informatik/FG-Szwillus/Diplom-Masterarbeiten/MA_Mexin__Yevgen-Wawilow_-_Anastasia.pdf, aufgerufen am 19.12.2016

53

InnovativeEvaluierung hierarchischerCard-Sorting Experimente · 1.1Motivation...

Documents

Transcript of InnovativeEvaluierung hierarchischerCard-Sorting Experimente · 1.1Motivation...