Userorientierte Bewertung medizinischer Web Sitesschalnus/Documents/QmWbHI.pdf · 3 / 15 © 2001...

1 / 15

© 2001 Schalnus, Heinemann, Romero, Pinger

Userorientierte Bewertungmedizinischer Web Sites

Rainer Schalnus, Karla Mandanici,Rodrigo Romero, Peter Pinger

Universität Frankfurt am Main - Zentrum für AugenheilkundeNetSiteChecker ® , Langen

2 / 15


Aufgabenstellung:„quantitative“ Einschätzung von Inhalt, Services und Usability &AccessibilityMethoden:gewichtete Kriteriencheckliste, SQL-DatenbankBekannte (alternative) Ansätze:URAC, AMA, HON, DISCERN, OMNI, ISODurchführung:[vorhersehb. & unvorhersehb. Probleme bei der Projektdurchf.?Wo waren spezif. Anpassungen der Meth. erforderlich?]Ergebnis: Individualanalyse, webbasierte Ranking-DatenbankDiskussion / Probleme

Userorientierte Bewertung medizinischer Web Sites

Agenda

3 / 15


Userorientierte quantitative Einschätzung von Inhalt,Services und Usability & Accessibility webbasiertermedizinischer Informationsangebote(„Gesundheitsportale“) mit dem Ziel einer

Individualanalyse ⇒ gezielte Analyse einzelnerEigenschaften einer Web Site

Ranking-Dantenbank ⇒ Vergleich identischer Eigenschaften verschiedener Sites

Aufgabenstellung

4 / 15


Bekannte (alternative) Ansätze

• HON, DISCERN, OMNI, URAC, AMA

• ISO (9000, 13407, 9241 Serie)

5 / 15


Design / Layout

Kostenpflichtig ?

Werbung erkennbar

Sponsorennennung

Ableitung von Kriterien zur Qualitätsevaluation

Therapieverfahren•Wirkung•Nutzen•Risiken•Nichtbehandlung ?

Autorenidentiät

Belegbarkeit

Quellenangabe

Vertraulichkeit

Komplementarität

Qualitätsevaluation von medizinischen Web Sites

Authorität

DISCERN (Therapienutzen) OMNI (Peer-Review)HON (ethische Aspekte)

Vertauenswürdigkeit•Ziele•Bedeutung•Quellenangabe•Aktualität•Objektivität•externeBegutachtung?

Verfügbarkeit

Originalität

Aktualität

Objektivität

Authorität

Adressat ?

Bekannte (alternative) Ansätze

6 / 15


eindeutige Definition von Bewertungskriterien in einem Kriterienkatalogeindeutige überschneidungsfreie Einordnung der Kriterien in Kategoriendie Kriterien bilden die Korrektheit und den Umfang des Inhaltes abdie Kriterien bilden grundsätzliche Userbedürfnisse abdie Kriterien bilden zielgruppenorientierte Userbedürfnisse abdie Kriterien bilden Anbieterbedürfnisse abdie Kriterien bilden die o.g. Eigenschaften flächendeckend abskalierte Bewertung der EinzelkriterienGewichtung der Kriterien nach Bedeutungheuristische Evaluationrechnerbasierte Evaluation möglich

Input

Methoden Anforderungen an die Bewertung Web basierter

Gesundheitsinformationen

7 / 15


eindeutige Definitionbilden die Korrektheit und den Umfang desInhaltes abbilden zielgruppenorientierte Userbedürfnisse abbilden die o.g. Eigenschaften flächendeckend abquantitative BewertungGewichtung nach Bedeutung

Methoden Anforderungen an Bewertungskriterien webbasierter

Gesundheitsinformationen sind u.a.

8 / 15


Vergleichbarkeit unterschiedlicher Informationsangebote innerhalbeiner AnbieterklasseVergleichbarkeit unterschiedlicher Informationsangebote innerhalbeiner EigenschaftenklasseGewichtete quantitative Bewertung des Informationsangebotesintra- und interindividuell (Bewerter) reproduzierbare Bewertungindividuelle Analyse eines InformationsangebotesBenchmarking / Ranking unterschiedlicher Informationsangebote

Output

Methodik Anforderungen an die Bewertung Web basierter

Gesundheitsinformationen

9 / 15


Vergleichbarkeit ähnlicher Informationsangebote innerhalbeiner Anbieterklasse (Ranking)Vergleichbarkeit unterschiedlicher Informationsangeboteinnerhalb einer EigenschaftenklasseGewichtete quantitative Bewertung desInformationsangebotesintra- und interindividuell (Bewerter) reproduzierbareBewertungindividuelle Analyse eines Informationsangebotes

Methodik die Bewertung webbasierter Gesundheitsinformationen soll

ermöglichen:

10 / 15


orientiert sich an: Befragungen, LiteraturPrinzip der Ist/Soll-Analyseüberschneidungsfreie Bewertungskriterien

Methoden Entwicklung einer Kriteriencheckliste

11 / 15


Methoden Entwicklung einer Kriteriencheckliste

auf der Basis von:

HON, DICERN, OMNI, AMA, URACISO (9000, 13407, 9241 Serie)Multimedia QMWeb Style Guides, W3C,...Usability-Labeigene Erhebungen

12 / 15


3,223,2

2,93,17

1,712,642,642,72,76

3,263,23

3,343,413,413,44

0 0,5 1 1,5 2 2,5 3 3,5 4

MedikamenteninformationInformationen über Erkrankungen

Liste der besten ÄrzteListe der besten Kliniken

Informationen über Behandlungen und OperationenNHV/Homöo/Aku/Altern

KrebserkrankungenKosten/Erstatungen im Gesundheitsweaen

Herz-Kreislauf-ErkrankungenAllergien

Krankheiten des Altersindividuelle ärztliche Beratung

Fitnes/WellnessHilfe zur Selbstdiagnose

Schönheits-Chirurgie

1 = gar nicht wichtig2 = weniger wichtig3 = wichtig4 = sehr wichitg

Antwortoptionen:

Ergebnisse einer Befragung von 1304 Personen

Methoden

13 / 15


Methoden > Kriterienkatalog

97 Kriterien97 Kriterien

-1 = Minimalanforderungen nicht erfüllt 0 = Service nicht vorhanden 1 = Minimalanforderung erfüllt 2 = Minimalanforderung + Eigenschaft 1 erfüllt 3 = Minimalanforderung + Eigenschaften 1 & 2 4 = Maximalanforderungen erfüllt

-1 = Minimalanforderungen nicht erfüllt 0 = Service nicht vorhanden 1 = Minimalanforderung erfüllt 2 = Minimalanforderung + Eigenschaft 1 erfüllt 3 = Minimalanforderung + Eigenschaften 1 & 2 4 = Maximalanforderungen erfüllt

Bewertung der KriterienBewertung der Kriterien

unterschiedliche Gewichtung der Kriterien je nachZielgruppe durch Multiplikation mit Faktoren

unterschiedliche Gewichtung der Kriterien je nachZielgruppe durch Multiplikation mit Faktoren

Gewichtung der KriterienGewichtung der Kriterien

14 / 15


Content

Service

Usability &Accessibility

WebSite

WebSite

Informationsqualität

Sprachen

Performance




Schwerpunkte

Beratungsqualität

Seriosität

Aktualität

Interface Design

Linking

Site-/ Page-/ Grafik- Design

Interaktivität

Online Services

fachspezifische Services

Suchfunktionen

Methoden > Zuordnung der Kriterien

15 / 15


Content

Service



Sprachen

Performance


24 Kriterien

18 Kriterien

Schwerpunkte

Beratungsqualität

Seriosität

Aktualität

Interface Design

Linking


Interaktivität

Online Services


Suchfunktionen

WebSite

WebSite

Methoden > Kriterien für Content

16 / 15


Content

Service



Sprachen

Performance


24 Kriterien

18 Kriterien

Schwerpunkte

Beratungsqualität

Seriosität

Aktualität

Interface Design

Linking


Interaktivität

Online Services


Suchfunktionen

WebSite

WebSite

BeispieleBeispiele


17 / 15


Content

Service

Usability &Accessibili

ty


Sprachen

Performance

55 Kriterien

24 Kriterien

Schwerpunkte

Beratungsqualität

Seriosität

Aktualität

Interface Design

Linking

Site-/ Page-/ Grafik-Design

Interaktivität

Online Services


Suchfunktionen

BeispieleBeispiele

InformationstiefeInformationstiefe

InformationsbreiteInformationsbreite

DidaktikDidaktik

AutorenkompetenzAutorenkompetenz

TherapieverfahrenTherapieverfahren

Online-Beratung im Forum, QualitätOnline-Beratung im Forum, Qualität

Online-Beratung im Forum, BeantwortungszeitOnline-Beratung im Forum, Beantwortungszeit

WebSite

WebSite

Online-Beratung im Forum, BeraterkompetenzOnline-Beratung im Forum, Beraterkompetenz

KomplementaritätKomplementarität

AutorenidentitätAutorenidentität

Updating (Aktualität)Updating (Aktualität)


18 / 15


Content

Service



Sprachen

Performance

55 Kriterien

24 Kriterien


Schwerpunkte

Beratungsqualität

Seriosität

Aktualität

Interface Design

Linking


Interaktivität

Online Services


Suchfunktionen

WebSite

WebSite

Methoden > Kriterien für Usability

19 / 15


Content

Service



Sprachen

Performance

55 Kriterien

24 Kriterien

Schwerpunkte

Beratungsqualität

Seriosität

Aktualität

Interface Design

Linking


Interaktivität

Online Services


Suchfunktionen

BeispieleBeispiele

WebSite

WebSite


20 / 15


Content

ServiceUsability &Accessibility


Sprachen

Performance

55 Kriterien

24 Kriterien

Schwerpunkte

Beratungsqualität

Seriosität

Aktualität

Interface Design

Linking

Site-/ Page-/ Grafik- DesignInteraktivität

Online Services

fachspezifische ServicesSuchfunktionen

BeispieleBeispiele

Plattformübergreifende FunktionalitätPlattformübergreifende Funktionalität

Suche/SuchfunktionSuche/Suchfunktion

NavigationNavigation

LinkingLinking

Site-, Page- & Grafik-DesignSite-, Page- & Grafik-Design

WebSite

WebSite

behindertengerechte Codierungbehindertengerechte Codierung

Feed back durch NutzerFeed back durch Nutzer


21 / 15


IntractivitätAktualität

Seriosität

Beratungsqualität

Site- & Page Design

Linking

Accessibility /Interface Design

Suchfunktionen

FachspezifischeServices

Online-Servics

Benchmarking / Ranking

Schwerpunktthemen

gewichteter Kriterienkatalog / Checkliste

Qualität derInformation

Service Accessibility/UsabilityContent

Sprachen / WAP Perfomance

Individual-Analyse

SQL Datenbank

Durchführung

22 / 15


3 Bewerter je SiteProbleme (?): Bewertung der Kritrien

Informationstiefe Aktualitiät Didaktik

Anpassung der Methode erforderlich: Informationsqualität ⇐ Informationstiefe / Informattionsbreite

Durchführung Probleme & Anpssung der Methode

23 / 15


Individualanalyse (2 Beispiele)

Ranking Datenbank

Ergebnisse

24 / 15


Ergebnisse Gewichtung der Bewertung

9%

55%

36%

Content

Usability & Accessibility

Service

25 / 15


Ergebnisse Individualanalyse, Beispiel

Content > Informationsqualität

Usability & Accessibility > InterfaceDesign

26 / 15


Individualanalyse: Content, Service, Usability & Accessibility

81

46

52

0 20 40 60 80 100

Content

Service


Qualität in %

Ergebnisse

27 / 15



81

46

52

0 20 40 60 80 100

Content

Service


Qualität in %

Ergebnisse

28 / 15


Content

Service


WebSite

InformationsqualitätInformationsqualität

SprachenSprachen

PerformancePerformance




ContentSchwerpunkteSchwerpunkte

BeratungsqualitätBeratungsqualität

SeriositätSeriosität

AktualitätAktualität

Interface DesignInterface Design

LinkingLinking

Site-/ Page-/ Grafik- DesignSite-/ Page-/ Grafik- Design

InteraktivitätInteraktivität

Online ServicesOnline Services

fachspezifische Servicesfachspezifische Services

SuchfunktionenSuchfunktionen

Ergebnisse

29 / 15


Individualanalyse: Content

78

70

60

92

100

0 20 40 60 80 100 120


Schwerpunktthemen

Beratungsqualität

Seriosität

Aktualität

Qualität in %

Ergebnisse

30 / 15


Individualanalyse: Content

78

70

60

92

100

0 20 40 60 80 100 120


Schwerpunktthemen

Beratungsqualität

Seriosität

Aktualität

Qualität in %

Ergebnisse

31 / 15


Individualanalyse: Content > Informationsqualität

100

50

100

100

0

0

100

100

67

67

100

0 20 40 60 80 100 120

Informationstiefe

Informationsbreite

Didaktik

Werbung

Diagnosehilfe, inhaltliche Qualität

Diagnosehilfe, Beraterkompetenz

Thearpieverfahren, inhaltliche Qualität, EBM

Therapieverfahren, Beraterkompetenz

Erläuterungen zu diagnost. Eingriffen

Erläuterungen zu Operationen

Wirkung/Wechselwkg. Von Medikamenten

Qualität in %

Ergebnisse

32 / 15


ContentContent

ServiceService


WebSiteWebSite

InformationsqualitätInformationsqualität

SprachenSprachen

PerformancePerformance




UsabilitySchwerpunkteSchwerpunkte

BeratungsqualitätBeratungsqualität

SeriositätSeriosität

AktualitätAktualität

Interface DesignInterface Design

LinkingLinking

Site-/ Page-/ Grafik- DesignSite-/ Page-/ Grafik- Design

InteraktivitätInteraktivität

Online ServicesOnline Services

fachspezifische Servicesfachspezifische Services

SuchfunktionenSuchfunktionen

Ergebnisse

33 / 15



81

46

52

0 20 40 60 80 100

Content

Service


Qualität in %

Ergebnisse

34 / 15



81

46

52

0 20 40 60 80 100

Content

Service


Qualität in %

Ergebnisse

35 / 15


Individualanalyse: Usability & Accessibility

100

5

75

71

12

0 20 40 60 80 100 120

Performance

Interface Design

Linking

Site-/Page- &Graphik-Design

Interaktivität

Qualität in %

Ergebnisse

36 / 15


Individualanalyse: Usability & Accessibility

100

5

75

71

12

0 20 40 60 80 100 120

Performance

Interface Design

Linking

Site-/Page- &Graphik-Design

Interaktivität

Qualität in %

Ergebnisse

37 / 15


Ergebnisse Individualanalyse: Usability & Accessibility > Interface Design

50

-25

-25

19

-40 0 40 80

Übersichtlichkeit der Startseite

direkter Informationszugriff (nicht überSuchfunktion)

Suchfunktion über Site

Navigation

Qualität in %

38 / 15


Ergebnisse Ranking-Datenbank

ContentServicesUsability & Accessibility

39 / 15


Ergebnisse webbasierte SQL-Datenbank

StartseiteRanking: GesamtRanking: ContentRanking: Usability & AccessibilityEinzelbeispiel

40 / 15


Ergebnisse Gesamtbewertung und Bewertung der Einzelkategorien in %

0

5

10

15

20

25

30

35

40

Proz

ent

0 10 20 30 40 50 60 70 80 90 1000

5

10

15

20

25

30

35

40

Proz

ent

0 10 20 30 40 50 60 70 80 90 100

0

5

10

15

20

25

30

Proz

ent

0 10 20 30 40 50 60 70 80 90 1000

5

10

15

20

25

30

Proz

ent

0 10 20 30 40 50 60 70 80 90 100

% der Gesamtbewertung % des Content

% der Usability & Accessibility % der Services

41 / 15


Keine Autorennennunginhaltliche Tiefe oft geringVerstösse gegen TDDGverdeckte WerbungDatenbanken für User nicht erkennbarunvollständigspezielle Inhalte oft schlecht aufzufindenSuchfunktionen nicht nutzerfreundlichAngebote nicht behindertengerecht

Diskussion webbasierte Gesundheitsinformationen (Gesundheitsportale)

42 / 15


Die Methode erlaubt sowohl die Individualanalyseals auch ein Ranking der Informationsangebotein gewissen Grenzen reproduzierbare ErgebnisseEvaluation der medizinischen Informationen sehraufwendigVergleichbarkeit nur für identische Kriteriengruppenoder Anbieterklassenweitere Nutzerbefragungen / Usability LaberforderlichMethodik übertragbar (webbasierte Informationen,Call Centers)

Diskussion Methode

43 / 15


Das Ziel ?Vielen Dank für Ihre Aufmerksamkeit !

Userorientierte Bewertung medizinischer Web Sitesschalnus/Documents/QmWbHI.pdf · 3 / 15 © 2001...

Documents

Transcript of Userorientierte Bewertung medizinischer Web Sitesschalnus/Documents/QmWbHI.pdf · 3 / 15 © 2001...