Ergebnisse einer empirischen Studie zu Informationsqualitätskriterien in Corporate Wikis

Therese FribergWolfgang Reinhardt

GeNeMe 2009, 01.10.2009 Dresden

1. Motivation

2. Grundlagen

3. Modelle der Informationsqualität

4. Entwicklung des „Wiki-Sets“

5. Definition der Kriterien

6. Vorstellung der Umfrage

7. Ergebnisse mit Realisierungsmöglichkeiten

8. Zusammenfassung und Ausblick

Therese Fribergfriberg@cik.upb.de

Agenda

• Wachsende Menge an Informationen im Internet

• Effizientes Wissensmanagement gewinnt immer mehr an Bedeutung

• Unternehmen wollen Wissensmanagement erfolgreich einsetzen

Keine zuverlässige Angabe über die Qualität an Informationen

68% bemängeln Qualität der Informationen in Unternehmen (Studie von 2007 unter 610 Managern, Information Builders GmbH)

Motivation

Therese Fribergfriberg@cik.upb.de

• Was ist Informationsqualität?• Werte, die eine Information als Wissen bezeichnen lassen

• Wikis bieten viele Vorteile:• Jeder Nutzer kann Inhalte erstellen oder bearbeiten• Änderungen können verfolgt werden• Einfache Handhabung• Vernetzung zwischen Inhalten Wissen teilen und Gemeinschaften bilden

Aber gibt es in Wikis wirklich hohe Informationsqualität?

Grundlagen - Begrifflichkeiten

Therese Fribergfriberg@cik.upb.de

• Studien zu Wikipedia belegen eine hohe Informationsqualität• Z. B.: Wiegand (2007) zeigt Wikipedia auf Augenhöhe mit

Encarta, Brockhaus und Bertelsmann

Wikis haben großes Potenzial für eine hohe Informationsqualität

Unternehmen nutzen die Chance Corporate Wikis

• Bewertung möglich? manuell und automatisch

Aber: nach welchen Kriterien?

Grundlagen - Informationsqualität

Therese Fribergfriberg@cik.upb.de

Modelle der Informationsqualität

Gräfe (2005)

Wang & Strong (1996)

Brändle (2005)

Alexander & Tate (1999)

English (1999)

Eppler (2003)

Wikipedia

Wang & Strong (1996)

•Accuracy•Objectivity•Believability•Reputation•Accessibility•Security•Relevancy•Value-added

Therese Fribergfriberg@cik.upb.de

•Timeliness•Completeness•Amount of Information•Interpretability•Ease of understanding•Concise Representation•Consistent Representation

Modelle der Informationsqualität

Gräfe (2005)

Wang & Strong (1996)

Brändle (2005)

Alexander & Tate (1999)

English (1999)

Eppler (2003)

Wikipedia

Alexander & Tate (1999)

•Authority•Accuracy•Objectivity•Reputation•Currency•Coverage & Intended Audience•Interaction & Transaction design

Therese Fribergfriberg@cik.upb.de

Modelle der Informationsqualität

Gräfe (2005)

Wang & Strong (1996)

Brändle (2005)

Alexander & Tate (1999)

English (1999)

Eppler (2003)

Wikipedia

Brändle (2005)

•Menge•Relevanz•Richtigkeit•Transparenz•Objektivität•Ausgewogenheit & Vielfalt•Verständlichkeit•Gestaltung•Multimedialität

Therese Fribergfriberg@cik.upb.de

Modelle der Informationsqualität

Gräfe (2005)

Wang & Strong (1996)

Brändle (2005)

Alexander & Tate (1999)

English (1999)

Eppler (2003)

Wikipedia

Wikipedia

•Well-written•Comprehensive•Factually accurate•Neutral•Stable•Lead

Therese Fribergfriberg@cik.upb.de

•Appropriate structure•Consistent citations•Images•Length

Entwicklung des „Wiki-Sets“

Accuracy Amount of Information Derivation integrity Conciseness Stable

Objectivity Interpretability Concurrency of red. or distributed data

Clarity Speed

Believability Ease of understanding Contextual clarity Applicability Transparenz

Reputation Concise Representation Equivalence of red. or distr. data

Comprehensive-ness

Ausgewogenheit und Vielfalt

Accessibility Consistent Representation Usability Consistency Gestaltung

Security Definition conformance Rightness (or factcompleteness)

Correctness Multimedialität

Relevancy Validity business rule conformance

Interaction andTransaction design

Convenience Bereitstellung

Value-added Accuracy to surrogate source Currency Traceability Neuigkeit

Timeliness Precision Coverage andIntended Audience

Interactivity Informations-inhalt

Completeness Nonduplication Authority Maintainability well-written

Ausgangspunkt: 50 Kriterien

Therese Fribergfriberg@cik.upb.de

Entwicklung des „Wiki-Sets“

Accuracy Amount of Information Derivation integrity Conciseness Stable

Objectivity Interpretability Concurrency of red. or distr. data

Clarity Speed

Believability Ease of understanding Contextual clarity Applicability Transparenz

Reputation Concise Representation Equivalence of red. or distr. data

Comprehen-siveness

Ausgewogenheit und Vielfalt

Accessibility Consistent Representation Usability Consistency Gestaltung

Security Definition conformance Rightness (or factcompleteness)

Correctness Multimedialität

Relevancy Validity business rule conformance

Interaction andTransaction design

Convenience Bereitstellung

Value-added Accuracy to surrogate source Currency Traceability Neuigkeit

Timeliness Precision Coverage andIntended Audience

Interactivity Informations-inhalt

Completeness Nonduplication Authority Maintainability well-written

1. Phase 19 Kriterien

Therese Fribergfriberg@cik.upb.de

Entwicklung des „Wiki-Sets“

Accuracy Amount of Information

Objectivity Interpretability Clarity

Believability

Reputation Comprehen-siveness

Accessibility Usability Gestaltung + Multimedialität

Security Correctness

Relevancy

Value-added Currency

Timeliness Precision

Completeness

1. Phase 19 Kriterien

Therese Fribergfriberg@cik.upb.de

Entwicklung des „Wiki-Sets“

Accuracy Amount of Information

Objectivity Interpretability Clarity

Believability

Reputation Comprehen-siveness

Accessibility Usability Gestaltung + Multimedialität

Security Correctness

Relevancy

Value-added Currency

Timeliness Precision

Completeness

2. Phase 5 Kriterien

Therese Fribergfriberg@cik.upb.de

Entwicklung des „Wiki-Sets“

Accuracy Amount of Information

Objectivity Interpretability Clarity

Believability

Reputation Comprehen-siveness

Accessibility Usability Gestaltung + Multimedialität

Security Correctness

Relevancy

Value-added Currency

Timeliness Precision

Completeness

2. Phase 5 Kriterien

Therese Fribergfriberg@cik.upb.de

Kriterien des „Wiki-Sets“Glaubwürdigkeit•Vertrauen•Vermarktung

•Verbindung/Bekanntheit des Autors•Merkmale des Autors•Quellenangaben•Anzahl bisheriger Zugriffe

Relevanz•Sehr subjektiv•Bedeutung

•Titel eines Artikels•Zusammenfassung eines Artikels•Anzahl bisheriger Zugriffe•Länge eines Artikels

Aktualität•Alter•„up-to-date“

•Datum der letzten Änderung•Erstellungsdatum•veraltete und/oder fehlerhafte Links

Vollständigkeit•Menge

•Quellenangaben•Länge eines Artikels

Verständlichkeit•Sprache•Interpretation

•Rechtschreibung, Grammatik u. Interpunktion•Strukturierung•Existenz von Multimedia-Dateien•weiterführende Links•Angaben zum benötigten Vorwissen

INDIKATOREN

Therese Fribergfriberg@cik.upb.de

Kriterien des „Wiki-Sets“Glaubwürdigkeit•Vertrauen•Vermarktung

•Verbindung/Bekanntheit des Autors•Merkmale des Autors•Quellenangaben•Anzahl bisheriger Zugriffe

Relevanz•Sehr subjektiv•Bedeutung

•Titel eines Artikels•Zusammenfassung eines Artikels•Anzahl bisheriger Zugriffe•Länge eines Artikels

Aktualität•Alter•„up-to-date“

•Datum der letzten Änderung•Erstellungsdatum•veraltete und/oder fehlerhafte Links

Vollständigkeit•Menge

•Quellenangaben•Länge eines Artikels

Verständlichkeit•Sprache•Interpretation

•Rechtschreibung, Grammatik u. Interpunktion•Strukturierung•Existenz von Multimedia-Dateien•weiterführende Links•Angaben zum benötigten Vorwissen

INDIKATOREN

Therese Fribergfriberg@cik.upb.de

Kriterien des „Wiki-Sets“Glaubwürdigkeit•Vertrauen•Vermarktung

•Verbindung/Bekanntheit des Autors•Merkmale des Autors•Quellenangaben•Anzahl bisheriger Zugriffe

Relevanz•Sehr subjektiv•Bedeutung

•Titel eines Artikels•Zusammenfassung eines Artikels•Anzahl bisheriger Zugriffe•Länge eines Artikels

Aktualität•Alter•„up-to-date“

•Datum der letzten Änderung•Erstellungsdatum•veraltete und/oder fehlerhafte Links

Vollständigkeit•Menge

•Quellenangaben•Länge eines Artikels

Verständlichkeit•Sprache•Interpretation

•Rechtschreibung, Grammatik u. Interpunktion•Strukturierung•Existenz von Multimedia-Dateien•weiterführende Links•Angaben zum benötigten Vorwissen

INDIKATOREN

Therese Fribergfriberg@cik.upb.de

Kriterien des „Wiki-Sets“Glaubwürdigkeit•Vertrauen•Vermarktung

•Verbindung/Bekanntheit des Autors•Merkmale des Autors•Quellenangaben•Anzahl bisheriger Zugriffe

Relevanz•Sehr subjektiv•Bedeutung

•Titel eines Artikels•Zusammenfassung eines Artikels•Anzahl bisheriger Zugriffe•Länge eines Artikels

Aktualität•Alter•„up-to-date“

•Datum der letzten Änderung•Erstellungsdatum•veraltete und/oder fehlerhafte Links

Vollständigkeit•Menge

•Quellenangaben•Länge eines Artikels

Verständlichkeit•Sprache•Interpretation

•Rechtschreibung, Grammatik u. Interpunktion•Strukturierung•Existenz von Multimedia-Dateien•weiterführende Links•Angaben zum benötigten Vorwissen

INDIKATOREN

Therese Fribergfriberg@cik.upb.de

Kriterien des „Wiki-Sets“Glaubwürdigkeit•Vertrauen•Vermarktung

•Verbindung/Bekanntheit des Autors•Merkmale des Autors•Quellenangaben•Anzahl bisheriger Zugriffe

Relevanz•Sehr subjektiv•Bedeutung

•Titel eines Artikels•Zusammenfassung eines Artikels•Anzahl bisheriger Zugriffe•Länge eines Artikels

Aktualität•Alter•„up-to-date“

•Datum der letzten Änderung•Erstellungsdatum•veraltete und/oder fehlerhafte Links

Vollständigkeit•Menge

•Quellenangaben•Länge eines Artikels

Verständlichkeit•Sprache•Interpretation

•Rechtschreibung, Grammatik u. Interpunktion•Strukturierung•Existenz von Multimedia-Dateien•weiterführende Links•Angaben zum benötigten Vorwissen

INDIKATOREN

Therese Fribergfriberg@cik.upb.de

Kriterien des „Wiki-Sets“Glaubwürdigkeit•Vertrauen•Vermarktung

•Verbindung/Bekanntheit des Autors•Merkmale des Autors•Quellenangaben•Anzahl bisheriger Zugriffe

Relevanz•Sehr subjektiv•Bedeutung

•Titel eines Artikels•Zusammenfassung eines Artikels•Anzahl bisheriger Zugriffe•Länge eines Artikels

Aktualität•Alter•„up-to-date“

•Datum der letzten Änderung•Erstellungsdatum•veraltete und/oder fehlerhafte Links

Vollständigkeit•Menge

•Quellenangaben•Länge eines Artikels

Verständlichkeit•Sprache•Interpretation

•Rechtschreibung, Grammatik u. Interpunktion•Strukturierung•Existenz von Multimedia-Dateien•weiterführende Links•Angaben zum benötigten Vorwissen

INDIKATOREN

Therese Fribergfriberg@cik.upb.de

Kriterien des „Wiki-Sets“Glaubwürdigkeit•Vertrauen•Vermarktung

•Verbindung/Bekanntheit des Autors•Merkmale des Autors•Quellenangaben•Anzahl bisheriger Zugriffe

Relevanz•Sehr subjektiv•Bedeutung

•Titel eines Artikels•Zusammenfassung eines Artikels•Anzahl bisheriger Zugriffe•Länge eines Artikels

Aktualität•Alter•„up-to-date“

•Datum der letzten Änderung•Erstellungsdatum•veraltete und/oder fehlerhafte Links

Vollständigkeit•Menge

•Quellenangaben•Länge eines Artikels

Verständlichkeit•Sprache•Interpretation

•Rechtschreibung, Grammatik u. Interpunktion•Strukturierung•Existenz von Multimedia-Dateien•weiterführende Links•Angaben zum benötigten Vorwissen

INDIKATOREN

Therese Fribergfriberg@cik.upb.de

Kriterien des „Wiki-Sets“Glaubwürdigkeit•Vertrauen•Vermarktung

•Verbindung/Bekanntheit des Autors•Merkmale des Autors•Quellenangaben•Anzahl bisheriger Zugriffe

Relevanz•Sehr subjektiv•Bedeutung

•Titel eines Artikels•Zusammenfassung eines Artikels•Anzahl bisheriger Zugriffe•Länge eines Artikels

Aktualität•Alter•„up-to-date“

•Datum der letzten Änderung•Erstellungsdatum•veraltete und/oder fehlerhafte Links

Vollständigkeit•Menge

•Quellenangaben•Länge eines Artikels

Verständlichkeit•Sprache•Interpretation

•Rechtschreibung, Grammatik u. Interpunktion•Strukturierung•Existenz von Multimedia-Dateien•weiterführende Links•Angaben zum benötigten Vorwissen

INDIKATOREN

Therese Fribergfriberg@cik.upb.de

Kriterien des „Wiki-Sets“Glaubwürdigkeit•Vertrauen•Vermarktung

•Verbindung/Bekanntheit des Autors•Merkmale des Autors•Quellenangaben•Anzahl bisheriger Zugriffe

Relevanz•Sehr subjektiv•Bedeutung

•Titel eines Artikels•Zusammenfassung eines Artikels•Anzahl bisheriger Zugriffe•Länge eines Artikels

Aktualität•Alter•„up-to-date“

•Datum der letzten Änderung•Erstellungsdatum•veraltete und/oder fehlerhafte Links

Vollständigkeit•Menge

•Quellenangaben•Länge eines Artikels

Verständlichkeit•Sprache•Interpretation

•Rechtschreibung, Grammatik u. Interpunktion•Strukturierung•Existenz von Multimedia-Dateien•weiterführende Links•Angaben zum benötigten Vorwissen

INDIKATOREN

Therese Fribergfriberg@cik.upb.de

Kriterien des „Wiki-Sets“Glaubwürdigkeit•Vertrauen•Vermarktung

•Verbindung/Bekanntheit des Autors•Merkmale des Autors•Quellenangaben•Anzahl bisheriger Zugriffe

Relevanz•Sehr subjektiv•Bedeutung

•Titel eines Artikels•Zusammenfassung eines Artikels•Anzahl bisheriger Zugriffe•Länge eines Artikels

Aktualität•Alter•„up-to-date“

•Datum der letzten Änderung•Erstellungsdatum•veraltete und/oder fehlerhafte Links

Vollständigkeit•Menge

•Quellenangaben•Länge eines Artikels

Verständlichkeit•Sprache•Interpretation

•Rechtschreibung, Grammatik u. Interpunktion•Strukturierung•Existenz von Multimedia-Dateien•weiterführende Links•Angaben zum benötigten Vorwissen

INDIKATOREN

Therese Fribergfriberg@cik.upb.de

Umfrage - Beschreibung

• Online-Umfrage mit 46 Fragen in 6 Abschnitten

• 4-stufige Skala

• Laufzeit: September – November 2008

• Teilnehmer: Mitarbeiter aus 17 Unternehmen (Siemens AG, sd&m AG, Wincor Nixdorf AG, …)

• 206 vollständige Antworten

Therese Fribergfriberg@cik.upb.de

4,9%

95,1%

Umfrage - Ergebnisse

Indikator Mittelwert•Verbindung/Bekanntheit des Autors•Merkmale des Autors (z. B. Anzahl bisheriger Artikel)•Quellenangaben•Anzahl bisheriger Zugriffe

2,852,162,382,12

Glaubwürdigkeit

wichtig

unwichtig

Therese Fribergfriberg@cik.upb.de

4,9%

95,1%

Umfrage - Ergebnisse

Indikator Mittelwert•Verbindung/Bekanntheit des Autors•Merkmale des Autors (z. B. Anzahl bisheriger Artikel)•Quellenangaben•Anzahl bisheriger Zugriffe

2,852,162,382,12

Glaubwürdigkeit

wichtig

unwichtig

Automatische Umsetzungsideen- Verbindung des Artikels mit dem Profil des Hauptautor- automatische Autorenprofile mit Aktivitätsbereichen- direkte Kontaktmöglichkeit mit dem Autor- Anzahl Zugriffe zusammen mit Empfehlungen- Link-Checker

Therese Fribergfriberg@cik.upb.de

Umfrage - Ergebnisse

Relevanz

Indikator Mittelwert•Titel eines Artikels•Zusammenfassung eines Artikels•Anzahl bisheriger Zugriffe•Länge eines Artikels

3,662,932,271,66

5,9%

94,1%

wichtig

unwichtig

Therese Fribergfriberg@cik.upb.de

Umfrage - Ergebnisse

Relevanz

Indikator Mittelwert•Titel eines Artikels•Zusammenfassung eines Artikels•Anzahl bisheriger Zugriffe•Länge eines Artikels

3,662,932,271,66

5,9%

94,1%

wichtig

unwichtig

Automatische Umsetzungsideen- Tag-Cloud- Bewertung der Relevanz von Suchtreffern zur Suche- Anzahl Zugriffe unter Berücksichtigung der Zeit (Tage,

Wochen, Monate...)- direkte Empfehlungen

Therese Fribergfriberg@cik.upb.de

Umfrage - Ergebnisse

Aktualität

Indikator Mittelwert•Datum der letzten Änderung•Erstellungsdatum•veraltete und/oder fehlerhafte Links

-2,403,18

8,2%

91,8%

wichtig

unwichtig

Therese Fribergfriberg@cik.upb.de

Umfrage - Ergebnisse

Aktualität

Indikator Mittelwert•Datum der letzten Änderung•Erstellungsdatum•veraltete und/oder fehlerhafte Links

-2,403,18

8,2%

91,8%

wichtig

unwichtig

Automatische Umsetzungsideen- Erstellungs- und Änderungsdatum

- Link-Checker

- Aktualisierungszeitraum festlegen

Therese Fribergfriberg@cik.upb.de

Umfrage - Ergebnisse

Vollständigkeit

Indikator Mittelwert•Quellenangaben•Länge eines Artikels

2,331,62

31,5%

68,5%

wichtig

unwichtig

Therese Fribergfriberg@cik.upb.de

Umfrage - Ergebnisse

Vollständigkeit

Indikator Mittelwert•Quellenangaben•Länge eines Artikels

2,331,62

31,5%

68,5%

wichtig

unwichtig

Automatische Umsetzungsideen- Existenz von Quellen und Verweisen- Vorhandensein von Abbildungen, Tabellen und

Multimediadateien- Länge

Therese Fribergfriberg@cik.upb.de

Umfrage - Ergebnisse

Verständlichkeit

Indikator Mittelwert•Rechtschreibung, Grammatik und Interpunktion•Strukturierung•Existenz von Multimedia-Dateien•weiterführende Links•Angaben zum benötigten Vorwissen

2,963,613,123,052,54

3,9%

96,1%

wichtig

unwichtig

Therese Fribergfriberg@cik.upb.de

Umfrage - Ergebnisse

Verständlichkeit

Indikator Mittelwert•Rechtschreibung, Grammatik und Interpunktion•Strukturierung•Existenz von Multimedia-Dateien•weiterführende Links•Angaben zum benötigten Vorwissen

2,963,613,123,052,54

3,9%

96,1%

wichtig

unwichtig

Automatische Umsetzungsideen- Existenz von Überschriften- Fehler-Überprüfung (Grammatik, Interpunktion, ...)- Existenz von MM-Dateien- Existenz von Links- Level kennzeichnen (Flesh Reading Ease)

Therese Fribergfriberg@cik.upb.de

Zusammenfassung technische Realisierung

• IQ-Profil für jeden Artikel im Wiki• Darstellung der bisherigen Bewertungen des Artikels• Möglichkeit zur einfachen Bewertung des Artikels

• auf Wunsch detailreiche Bewertung möglich

• vergangene Bewertungen einsehbar

• zukünftig Berücksichtigung von Social Navigation und Suchrelevanzen

• derzeit als Diplomarbeit in der Entwicklung• Anwendertests bei einem Unternehmen

mit sehr intensiven Wiki-Einsatz

Therese Fribergfriberg@cik.upb.de

Zusammenfassung

• 5 wichtige Kriterien identifiziert: Glaubwürdigkeit, Relevanz, Aktualität, Vollständigkeit und Verständlichkeit

• Möglichkeiten für eine (semi-)automatische und manuelle Umsetzung

• echte Nutzer beteiligt

Ausblick

• Wichtigkeit muss an Unternehmen vermittelt werden• weitere Indikatoren identifizieren• Gewichtung der Kriterien untersuchen• weitere Bereiche und internationale Unternehmen

Therese Fribergfriberg@cik.upb.de

Vielen Dank für Ihre Aufmerksamkeit!

Für weitere Fragen stehe ich Ihnen gerne zur Verfügung.Auch unter friberg@cik.upb.de

Weiterer Beitrag:

An Empirical Study on Criteria for Assessing Information Quality in Corporate Wikis

14th International Conference on Information Quality 2009, 7./8. November 2009 in Potsdam

Ende

Therese Fribergfriberg@cik.upb.de