Expertenbasierte Usability Analysen

Expertenbasierte Usability-Analysen

Usability-Checklisten, Heuristische Evaluation, Cognitive Walkthrough.

Expertenbasierte Analysen

› Die Ausgangsituation bei einer expertenbasierten Usability-Analyse ist folgende: Weil ein User-Test zu aufwändig ist, simuliert ein erfahrener Experte das Verhalten der User. Er kann das, weil er:

› a) die theoretischen Grundlagen der Mensch-Maschine-Interaktion kennt und

› b) in zahlreichen User-Tests das Verhalten der User studiert hat.

› Grundsätzlich gilt für expertenbasierte Usability-Analysen, das die Qualität der Ergebnisse stark von dem verantwortlichen Experten abhängen.

› Je besser der Experte ist, desto mehr echte Usability-Probleme wird er finden

› Je besser der Experte ist, desto weniger „false positives“ wird er generieren.

© 2008 //SEIBERT/MEDIA GMBH


› Eine Folge dieser starken Abhängigkeit der Ergebnisqualität von der Expertenkompetenz, ist die Vorgabe, dass mindestens drei Evaluatoren eine expertenbasierte Usability-Analyse durchführen sollten.

› Wenn sich nur ein einziger Experte eine Anwendung anschaut, sind die Ergebnisse in jedem Fall unvollständig. Methodenvergleichende Studien zeigen hier dramatische Werte, die eine Analyse von weniger als drei Evaluatoren disqualifizieren.



› In der Praxis spielen expertenbasierte Usability-Analysen als eigenständige Leistung nur eine untergeordnete Rolle. Häufig werden sie in ein größeres Projekt integriert (Analysephase oder QS), sie werden in der Vertriebsphase eingesetzt oder sie werden als vorgeschaltete Leistung beauftragt. Mehr Geld verdienen kann manmit nutzerbasierten Studien.


Usability-Checklisten: Allgemeines

› Bei einer Checklisten-Analyse wird geprüft, inwiefern eine Anwendung mit bestimmten Richtlinien übereinstimmt. Der Experte notiert alle Punkte, in denen keine Übereinstimmung besteht.

› Checklisten-Analysen sind die einfachste Form der expertenbasierten Evaluation. Jede beliebige Person kann eine Checklisten-Analyse durchführen. Die Kunst besteht in der intelligenten Anwendung.

› Die Ergebnisqualität von Checklisten-Analysen ist gering.

› In der Praxis werden Usability-Checklisten selten als eigenständiges Instrument eingesetzt. Häufig kommt ein Multi-Methoden-Ansatz zum Tragen.


Usability-Checklisten: Herkunft der Richtlinien

› Empirische Erkenntnisse aus User-Tests, die vielfach verifiziert wurden und eine hohe Güte besitzen, werden in Richtlinien überführt. Das ist der übliche und etablierte Ansatz für die Generierung von Richtlinien.

› Vereinzelt werden allgemeine theoretische Grundlagen aus der Mensch-Maschine-Interaktion in Richtlinien überführt. Allerdings ist dieser Ansatz sehr fragwürdig.


Usability-Checklisten: Vorteile

› Usability-Checklisten sind günstig. Teilweise stehen sie kostenlos zur Verfügung, teilweise können sie günstig erworben werden. Es bedarf nur einer geringen Investition in das Instrument.

› Usability-Checklisten sind einfach. Auch ungeschulte Personen erzielen bei der Anwendung ein vorzeigbares Ergebnis, das thematisch nicht affine Kunden überzeugen kann.

› Usability-Checklisten sind eine schnell. Innerhalb weniger Stunden lassen sich Ergebnisse produzieren, die ganz konkrete Handlungsempfehlungen darstellen.

› Usability-Checklisten sind eindeutig. Für jedes gefundene Problem wird in der Regel auch eine Lösung angeboten, das erleichtert die Umsetzung der Erkenntnisse.


Usability-Checklisten: Nachteile

› Usability-Richtlinien sind entweder zu spezifisch oder sie sind zu allgemein und deshalb unbrauchbar.

› Usability ist problemorientiert, es werden Missstände aufgedeckt. Richtlinien sind lösungsorientiert, sie empfehlen eine bestimmte Umsetzung. Die Mehrdimensionalität der Lösungsfindung wird ignoriert, es gibt nicht nur eine Lösung für ein Problem.

› Richtlinien sind eine Verallgemeinerung spezifischer Erkenntnisse, die an einem bestimmten Objekt gewonnen wurden. Häufig lassen sich diese Erkenntnisse nicht einfach auf andere Objekte übertragen.

› Richtlinien sind reaktiv, sie beziehen sich auf in der Vergangenheit gewonnene Erkenntnisse. In der Praxis hat man es jedoch häufig mit neuen Lösungen zu tun, die noch nicht untersucht wurden. Es gibt dann keine Information darüber, ob diese funktionieren oder nicht.

› Richtlinien sind innovationshemmend, neue Lösungen werden automatisch als nicht richtlinienkonform klassifiziert und damit als negativ gewertet.


Usability-Checklisten: Beispiele

› Usability-Checklisten sind inhaltlich in Kategorien unterteilt. In der Regel orientieren sich diese Kategorien an den verschiedenen Elementen einer Anwendung. Folgende Kategorisierung hat sich etabliert: Layout, Navigation, Content, Funktionalität, Technologie.

› Die Richtlinie selbst ist eine einfach formulierte Aussage oder Frage. Bei hochwertigen Checklisten werden diese nochmal erläutert und ggf. um Quellen ergänzt, in denen die empirischen Erkenntnisse dokumentiert sind.

› Hilfreich ist auch eine Definition der Wichtigkeit einer Richtlinie ist. Das ist insb. für die Interpretation der Ergebnisse von Bedeutung, wichtige Richtlinien sollten eher eingehalten werden als unwichtige Richtlinien.

› Bekannte Beispiele von Usability-Checklisten sind:

› Research-Based Web Design and Usabililty Guidelines des US Department of Health and Human Services.

› Usability-Guidelines der Nielsen Norman Group.

› Web-Usability-Guidelines von //SEIBERT/MEDIA. © 2008 //SEIBERT/MEDIA GMBH

Usability-Checklisten: Anwendung

› 1) Relevanz: Im ersten Schritt muss geprüft werden, ob die Richtlinie im vorliegenden Fall überhaupt relevant ist. Nur Richtlinien, die auf die untersuchte Applikation auch angewandt werden können, dürfen untersucht werden.

› 2) Konformität: Die Konformität mit der Richtlinie muss geprüft werden. Dabei ist der „gesunde Menschenverstand“ besonders wichtig, um intelligente Ergebnisse zu erhalten. Der Gesamtkontext und das Ziel der Analyse dürfen nicht aus den Augen verloren werden.

› 3) Beschreibung: Die Abweichung von einer Richtlinie muss beschrieben werden. Es muss dokumentiert werden, inwiefern die Anwendung gegen die Richtlinie verstößt. Hier ist besonders darauf zu achten, dass sachlich und nüchtern formuliert wird, um Befindlichkeiten nicht zu verletzen.



› 4) Schweregrad: Der Schweregrad der Abweichung muss festgestellt werden. Es gibt in der Usability-Forschung eine etablierte Skala, die fünfstufig ist:

› 0 = Kein Problem

› 1 = Kosmetisches Problem

› 2 = Kleines Problem

› 3 = Großes Problem

› 4 = Usability-Katastrophe

› 5) Verbesserungsvorschlag: Es sollte ein Verbesserungsvorschlag beschrieben werden, wie das erkannte Problem behoben werden kann. Im einfachsten Fall wird einfach auf die Richtlinie verwiesen, im besten Fall werden die Spezifika der Anwendung berücksichtigt.

› 6) Aufwandschätzung: Hilfreich ist auch eine Aufwandschätzung, um dem Kunden einen Eindruck dafür zu geben, wie teuer die Korrektur wird und wie tief der Eingriff ist. In Abhängigkeit davon wird der Kunde entscheiden, ob eine Umsetzung erfolgt oder nicht.



› 7) Management Summary: Nach der Prüfung aller Richtlinien wird ein Management Summary erstellt, in dem die 10 wichtigsten Punkte zusammengefasst werden. Sinnvoll kann es sein, auch positive Punkte hervorzuheben, um ein Gegengewicht zu erzeugen und eine entspannte Atmosphäre zu schaffen.


Heuristische Evaluation: Allgemeines

› Bei der Heuristischen Evaluation wird geprüft, inwiefern eine Anwendung mit bestimmten Usability-Prinzipien (sog. Heuristiken) übereinstimmt.

› Der Evaluator ist bei der Begutachtung der Website relativ flexibel. Ihm liegt lediglich die Liste mit den Heuristiken vor, in der beschrieben ist, welche grundlegenden Eigenschaften die Anwendung erfüllen soll.

› Abweichungen von den Heuristiken werden als Usability-Probleme definiert.


Heuristische Evaluation: Herkunft

› In einem viel beachteten Aufsatz haben Jakob Nielsen und Rolf Molich 1990 eine Reihe von Grundprinzipien vorgestellt, mit deren Hilfe die Usability grafischer Benutzeroberflächen untersucht werden kann.

› Die Heuristiken hatten sie entwickelt, indem sie die Ergebnisse von User-Tests kategorisiert haben. Bald stellten sie fest, dass sich die Erkenntnisse immer in die gleichen Kategorien einordnen lassen konnten.

› In den 1990er Jahren hat sich Nielsen inhaltlich intensiv mit den Heuristiken auseinandergesetzt und diese verfeinert. Auf der Basis einer aufwändigen Faktorenanalyse entwickelte er 1994 eine Liste mit insgesamt zehn Heuristiken, die sich seither in der Praxis bewährt haben und vielfach verifiziert werden konnten.

› Alternative Ansätze zu den Heuristiken von Jakob Nielsen und Rolf Molich gibt es einige, inhaltlich überschneiden sich diese jedoch zu einem großen Teil. Viel Aufmerksamkeit wurde bspw. den „Eight Golden Rules of Interface Design“ von Ben Shneiderman zuteil.


Heuristische Evaluation: Die Heuristiken

› 1. Sichtbarkeit des Systemstatus:

› Das System soll die Benutzer durch eine angemessene Rückmeldung darüber informieren, was gerade geschieht. Beispiel: Ladebalken.

› 2. Übereinstimmung zwischen System und realer Welt:

› Das System soll in jeglicher Hinsicht die Sprache des Benutzers sprechen. Beispiel: Anrede.

› 3. Benutzerkontrolle und Benutzerfreiheit:

› Der Benutzer soll stets selbst die Kontrolle über die Anwendung haben, das System darf keine unkontrollierten Aktionen ausführen. Beispiel: Dateidownload.

› 4. Konsistenz und Standards:

› Das System sollte sich an den gängigen Standards orientieren und in sich konsistent sein. Beispiel: Buttons.

› 5. Fehlervermeidung:

› Der Nutzer sollte vor Fehlern weitgehend bewahrt werden, das System sollte ihn rechtzeitig zu einer richtigen Aktion steuern. Beispiel: Erklärungstexte.


Heuristische Evaluation: Die Heuristiken

› 6. Erkennen statt Erinnern:

› Die Benutzer sollten sich nicht an Informationen aus einem früheren Teil des Dialogs erinnern müssen. Beispiel: Datenübertragung.

› 7. Flexibilität und Effizienz der Benutzung:

› Häufig auftretende Aktionen sollten in einer vereinfachten Form dargeboten werden, um Fortgeschrittene zu entlasten. Beispiel: Shortcuts.

› 8. Ästhetik und minimalistisches Design:

› Dialoge sollten keine irrelevanten Informationen enthalten, da die Informationen um die Aufmerksamkeit des Benutzers konkurrieren. Beispiel: Startseitengestaltung.

› 9. Fehlerbehebung:

› Fehlermeldungen sollten in natürlicher Sprache ausgedrückt werden, sie sollten das Problem präzise beschreiben und eine konstruktive Lösung vorschlagen. Beispiel: Formulare.

› 10. Hilfe und Dokumentation:

› Es sollte eine Hilfe zu der Anwendung geben, die der User in Anspruch nehmen kann. Beispiel: Info-Icons.


Heuristische Evaluation: Vorteile

› Jeder kann eine Heuristische Evaluation durchführen, es gibt keinerlei Einstiegshürden für dieses Instrument, insb. was die finanzielle Komponente betrifft.

› Die Ergebnisse sind häufig sehr vielschichtig, weil die Evaluatoren ohne „Scheuklappen“durch die zu untersuchende Anwendung gehen.

› Die Methode lässt günstig abbilden und eignet sich sehr gut zum Einstieg in das Thema Usability und für die Sensibilisierung von Problemen.


Heuristische Evaluation: Nachteile

› Die Methode ist unsystematisch. Es gibt keine Sicherheit dafür, dass eine vollständige Prüfung durchgeführt wurde. Gerade unerfahrene Evaluatoren tendieren zu unvollständigen Ergebnissen.

› Die Ergebnisse sind streitbar. Sie beruhen sehr stark auf der Einschätzung des Evaluators und sind deshalb stark mit dessen wahrgenommener Kompetenz und Seniorität verbunden.

› Die Qualität der Ergebnisse hängt stark von der Qualität des Evaluators ab. Es besteht eine große personelle Abhängigkeit vom verantwortlichen Consultant.

› Die Heuristiken stellen Abstraktionen von Problemen dar, sie sind unspezifisch und nicht konkret. Das macht ihre Anwendung schwer, es kommt das Gefühl auf, die Methode sei unwissenschaftlich und ihre Ergebnisse schwammig.

› Für hochwertige Ergebnisse benötigt man mehrere Evaluatoren. Weil ein einzelner Experte nur 40 Prozent der tatsächlichen Usability-Probleme findet, sollten an einer professionellen Heuristischen Evaluation mind. drei Evaluatoren teilnehmen.


Heuristische Evaluation: Anwendung

› 1) Team: Anzahl der Evaluatoren definieren und den Kunden auf die Auswirkungen auf die Ergebnisqualität hinweisen. Das ist ein notwendiger erster Schritt.

› 2) Gegenstand: Bereiche der Anwendung definieren, die untersucht werden sollen. Gerade bei komplexen Anwendungen mit mehreren Hundert Seiten oder mehreren Dutzenden Prozessen sollte der Untersuchungsgegenstand klar definiert werden.

› 3) Heuristische Evaluation: Analyse der Anwendung, Probleme müssen identifiziert und dokumentiert und die einzelnen Probleme müssen den verschiedenen Heuristiken zugewiesen werden. Die Beschreibung kann stichwortartig erfolgen.

› 4) Abstimmung: Die Experten sollten die Ergebnisse der einzelnen Evaluationengegenseitig präsentieren und sich abstimmen. Ansonsten ist das Zusammenführen der Ergebnisse schwierig und kann zu Fehlinterpretationen führen.

› 5) Aufbereitung: Auch bei der Heuristischen Evaluation empfehlen sich die Angabe eines Schweregrades, eines Lösungsvorschlags und einer Aufwandschätzung.


Cognitive Walkthrough: Allgemeines

› Mithilfe des Cognitive Walkthrough werden gezielt einzelne Prozesse einer Applikation untersucht und begutachtet.

› Im Gegensatz zur Checklisten-Analyse und zur Heuristischen Evaluation, die einen ganzheitlichen Blick auf eine Anwendung werfen, betrachtet der Cognitive Walkthrough immer nur einen bestimmten Ausschnitt.

› Der CW ist die mit Abstand am meisten beauftragte expertenbasierte Methode. Während die anderen Methoden eher im Vertriebsprozess, in der Analysephase und bei der QS zum Einsatz kommen, wird der Cognitive Walkthrough auch häufig einzeln beauftragt.

› Der Grund dafür ist die Prozessorientierung.

› Der Cognitive Walkthrough ist die kompletteste expertenbasierte Methode. Er inkorporiert er die anderen expertenbasierten Methoden in gewisser Weise.


Cognitive Walkthrough: Theoretische Grundlagen

› Der Cognitive Walkthrough baut auf dem theoretischen Modell des User Interaction Cycleauf. Zwei Grundannahmen:

› a) Jede Interaktion mit einem System verfolgt ein ganz konkretes Ziel.

› b) Der Weg zu diesem Ziel lässt sich in mehrere Schritte unterteilen.

› Der User Interaction Cycle besteht aus vier verschiedenen Abschnitten, die sich in jedem Schritt wiederholen:

› Planung (was will ich machen?)

› Übersetzung (wie mache ich das?)

› Handlung (Ausführen einer Aktion)

› Beurteilung (was hat das System gemacht?).

› Ein beliebtes Bild, das dieses theoretische Grundmodell anschaulich darstellt ist die „information scent“, die Informationsfährte.

› So wie ein Jäger die Spuren einer Tieres untersucht und diesem folgt, untersucht der User die Reaktion des Systems und beurteilt danach, ob er noch auf der richtigen Fährte ist.


Cognitive Walkthrough: Theoretische Grundlagen


Cognitive Walkthrough: Vorteile

› Die Methode wird meist dann beauftragt, wenn bereits ein Problembewusstsein vorhanden ist und konkrete Hilfe für dieses Problem gesucht wird.

› Jedes dargestellte Problem ist ein potentieller Abbruch, deshalb haben die Erkenntnisse einen hohen Grad an Glaubwürdigkeit.

› Durch den sehr eng gesteckten Rahmen bedarf es vor allem Konzentration und Aufmerksamkeit, nicht so sehr Methodenkenntnis, um ein gutes Ergebnis zu erzeugen.

› Es empfiehlt sich insb. bei sehr fehlerhaften Prozessen, diese Methode einem nutzerbasierten Test vorzuschalten, um offensichtliche Stolperfallen zu beseitigen.

› Die Ergebnisse lassen sich schön zu „User Stories“ ausbauen. Einzelne Anbieter haben hier richtig kreative Methoden gefunden, um die Ergebnisse aufzubereiten.


Cognitive Walkthrough: Nachteile

› Auch hier ist die Qualität der Ergebnisse stark mit der Kompetenz des Experten verknüpft.

› Hier kommt in besonderem Maße hinzu, dass sich die Erfahrung von User-Tests positivauswirkt, weil dort ebenfalls konkrete Prozesse untersucht werden.

› Beim Cognitive Walkthrough ist die Gefahr von „false positives“ besonders groß. Es können Punkte als Usability-Probleme identifiziert werden, die gar keine sind.

› Dafür ist der Cognitive Walkthrough besonders anfällig, weil es weder Richtlinien noch Heuristiken gibt, es handelt sich um eine ungestützte Simulation des User-Verhaltens.


Cognitive Walkthrough: Anwendung

› 1) Prozessdefinition: Der zu untersuchende Prozess muss mit dem Kunden abgestimmt und der Idealweg definiert werden. Das sind die Schritte, die später untersucht werden.

› 2) Team: Auch hier sollte ein Projektteam zusammengestellt werden, im Idealfall gehen drei Evaluatoren durch die zu untersuchende Anwendung. Allen Evaluatoren muss der Idealweg kommuniziert werden, damit der Untersuchungsgegenstand der gleiche ist.

› 3) Cognitive Walkthrough: Die Evaluatoren gehen gehen durch den Idealprozess und prüfen die Anwendung systematisch auf sog. „failure stories“, also mögliche Ausstiegspunkte. Dabei empfiehlt es sich, den Blick nicht auf den Prozess zu fokussieren, sondern auch den Kontext zu betrachten. Die Anwendung von Heuristiken kann hier ebenfalls hilfreich sein, um eine instrumentelle Hilfe zu haben.

› 4) Abstimmung: Die Evaluatoren notieren alle „failure stories“ und besprechen diese anschließend in einem gemeinsamen Meeting. Der Projektleiter trägt die Erkenntnisse zusammen und bereitet die Ergebnisse abschließend auf.


Cognitive Walkthrough: Anwendung

› 5) Dokumentation: Im Idealfall werden die Fehler dokumentiert. Das kann mithilfeeinfacher Screenshots oder Screencasts erfolgen (ein sehr hilfreiches Tool ist hier Jing). Die Dokumentationen werden bei //SEIBERT/MEDIA online verfügbar gemacht und die Links werden in den Abschlussbericht integriert.

› 6) Aufbereitung: Wie bei den anderen Methoden, empfehlen sich auch hier eine Bewertung des Schweregrades, ein Lösungsvorschlag und eine Aufwandschätzung.


Expertenbasierte Usability Analysen

Technology

Transcript of Expertenbasierte Usability Analysen