Modul A1: Kognitive Prozesse (SS 2013)

Sprache II. Visuelle Worterkennung

Thomas Goschke

1

Fachrichtung Psychologie Professur Allgemeine Psychologie

Ward, 2010. Psychology Press.

2

Wahrnehmung gesprochener vs. geschriebener Sprache

Hören Lesen

Sprachinput = sequentiell / in Zeit

erstreckt

Sprachinput = simultane räumliche

Anordnung von Zeichen

Grenzen zwischen Worten sind oft nicht

eindeutig

Worte sind klar voneinander

abgegrenzt

Sprachsignal ist oft ambig und variiert

je nach Kontext

Worte sehen unabhängig vom Kontext

gleich aus

Gedächtnisbelastung: ausgesprochene

Worte nicht mehr als Reiz verfügbar

Gelesene Worte bleiben verfügbar

Prosodische Information Keine prosodische Information

Interpunktionsinformation

Evolutionär älter Historisch sehr viel jünger (ca. 5000 –

4000 v. Chr.)

Schriftsysteme

Input = visuelle Zeichenfolgen

• Logographisches System: Symbole repräsentieren Worte o. Morpheme (z.T. im Chinesischen)

• Syllabisches System: Symbole repräsentieren Silben (Japan: Kana)

• Alphabetisches System: Symbole repräsentieren Phoneme

Arbiträre Symbole: keine Ähnlichkeit von Symbol und Symbolisiertem

Visuelle Wortverarbeitung – einige Fakten

Leserate:

• ca. 300 Wörter pro Minute ca. 200 ms pro Wort

Buchstabenzahl

• hat geringen Einfluss auf die Zeit für die Erkennung einzelner Worte (Cattell, 1886) Parallelverarbeitung

Wortüberlegenheitseffekt (Reicher, 1969):

• Buchstaben (R) werden schneller in Wörtern (ARBEIT) oder aussprechbaren Nichtwörtern (ERGUB) als in zufälligen Buchstabenketten (CRTPAE) erkannt Top-Down-Verarbeitung

Wie werden aufgrund der Analyse elementarer visueller Merkmale Wörter erkannt (auf die korrekten Einheiten im mentalen Lexikon zugegriffen)?

Worterkennung ist ein hochautomatisierter Prozess

Stroop Farb-Wort-Interferenzaufgabe

Kontexteffekte und Musterergänzung

Das interaktive Aktivationsmodell Ein Beispiel für ein konnektionistisches Netzwerk

McClelland & Rumelhart (1981)

Drei Verarbeitungsebenen: Merkmale – Buchstaben - Wörter

Merkmale, Buchstaben und Wörter werden durch Knoten repräsentiert

Jeder Knoten kann mehr oder weniger aktiviert sein

Knoten sind über aktivierende und hemmende Konnektionen verbunden

Aktivierungsausbreitung erfolgt von unten nach oben (bottom-up) und von oben nach unten (top-down)

Massive Parallelverarbeitung

McClelland, J.L., and Rumelhart, D.E. (1981). Psychological Review, 88, 375-407.

Das interaktive Aktivationsmodell Ein Beispiel für ein konnektionistisches Netzwerk

McClelland & Rumelhart (1981)

Aktivierende und inhibitorische Bottom-up-Konnektionen

Inhibitorische Konnektionen zwischen Buchstaben für die gleiche Wortposition

Inhibitorische Konnektionen zwischen Wörtern

Aktivierende u. inhibitorische Top-Down-Konnektionen von der Wort- zu Buchstaben-ebene

• Kleiner (!) Ausschnitt des Modells

• Computersimulation:1179 vierbuchstabige Wörter

• Mathematische Spezifikation aller Prozessparameter (Aktivationsaus-breitung; Konnektionsstärken etc.)

Das interaktive Aktivationsmodell

Abb. aus Gazzaniga et al., 2010. W. W. Norton

Reizmaterial für die Computersimulation des Interaktiven Aktivationsmodells

Beispiel für ein Ergebnis der Computersimulation des IAM

Buchstabenaktivierung in aussprechbaren Nichtworten: Top-down-Effekte von partiell aktivierten Wortkandidaten

Vorteile des interaktiven Aktivationsmodells

Erklärt Wortüberlegenheitseffekt und andere Kontext- und Top-down-Effekte

Übereinstimmung mit experimentellen Daten zur Phonem- und Worterkennung

Musterergänzung bei unvollständigem Input

Fehlertoleranz bei verrauschtem Input

Kontinuierliche Weiterentwicklung und Erweiterung

Evidenz für ein visuelles Wortform-Areal

Eine Region im linken mittleren okzipito-temporalen Gyrus wird durch visuelle Worte stärker aktiviert als durch Konsonantenketten

Region, die vermutlich spezifisch an der Verarbeitung und Repräsentation visueller Wortformen beteilgt ist

© 2010. Psychology Press.

© 2011 Cengage Learning

Evidenz für ein visuelles Wortform-Areal

Ward, 2010

Kritik an der Annahme eines visuellen Wortform-Areals

Es ist umtritten, ob es ein visuelle Wortform-Areal gibt oder ob diese Region der Sitz eines visuellen Inputlexikons ist

• Region wird auch durch Nicht-Worte aktiviert

• Einige Forscher argumentieren, dass diese Region nicht spezifisch an der Verarbeitung visueller Worte beteiligt ist, da sie auch durch andere visuelle Objekte oder beim Lesen von Blindenschrift aktiviert wird

• Price and Devlin (2003): Region sei generell für die Verbindung von Wahrnehmung und Sprachrepräsentationen zuständig, nicht spezifisch für das Lesen

Die Kontroverse dauert an…

Wortbedeutung und das mentale Lexikon

Aus: Gazzaniga, Ivry & Mangun (2009)

Schematisches Modell der Strukturen und Prozesse beim Verstehen gesprochener und geschriebener Sprache

Wichtige Begriffe

Repräsentation • Die Darstellung der Außenwelt in unserem Gehirn.

• Z.B. meine Vorstellung von einem Hund.

Kategorie • Klasse, die viele Einzelfälle zusammenfasst.

• Z.B. die Kategorie "Hund".

Konzept (Begriff) • Die Repräsentation einer Kategorie; ist nicht immer mit einem einzelnen

Wort verknüpft

• Z.B. das Konzept "Der Geruch des ersten Regens auf Asphalt im heißen Sommer".

Wort • Eine Folge von Lauten, die für ein bestimmtes Konzept steht.

• Z.B. das Wort "Hund".

Das mentale Lexikon

Langzeitgedächtnis für das Wissen über Worte enthält

• Phonologische Information (Klang)

• Orthographische Information (Visuelle Wortform)

• Syntaktische Information (Wortklasse; Abfolge; Kombination zu Sätzen)

• Semantische Information (Bedeutung) (Wird von einigen Forschern als separates System angenommen!)

Standardsprache: ca. 75.000 Wörter (Gesamtwortschatz: mehrere 100.000 Wörter)

Echtzeitverarbeitung: Wir können ca. 3 Worte pro Sekunde verstehen o. produzieren

Das mentale Lexikon

Einige Funktionsmerkmale

• Mentales Lexikon ist nicht alphabetisch organisiert

• Auf häufiger benutzte Worte kann schneller zugegriffen werden

• Wörter mit mehr Nachbarn werden langsamer erkannt (MAUS, RAUS, MAUT) Kompetition

• Zugriff kann über mehrere Wege erfolgen (Klang; visuelle Wortform; Kontext)

Forschungsfragen:

• Zugriff?

• Struktur?

• Neuronale Korrelate?

28

Fragment eines lexikalischen Netzwerks (nach Levelt, 1994)

Häufigkeit von Assoziationen auf das Wort „Stuhl“ (im Englischen)

Empirische Untersuchung des mentalen Lexikons: Lexikalische Entscheidungsaufgabe

Lexikalische Entscheidung erfordert Suche im mentalen Lexikon

APFEL SIDUL TISCH RAKIL

Wort oder Nichtwort?

Klassische Untersuchung des Lexikons: Semantisches Priming (Meyer & Schvanefeldt, 1971)

Wörter, die im mentalen Lexikon assoziiert sind, sollten schneller erkannt werden, wenn sie kurz nacheinander dargeboten werden

Semantisches Priming ermöglicht Einblick in Struktur des Lexikons

Prime Target

APFEL BIRNE

APFEL ZEBRA

APFEL SIDUL

Semantisch assoziiert

Nicht assoziiert

Nichtwort-Target

Semantisches Priming Ergebnisse von Meyer & Schvaneveldt 1971

Prime bread bread bread bread Castle Castle

Target Butter Cheese Mouse Castle Gate Path

Reaction

Time (ms)

855 867 970 1030 871 950

bread

butter

cheese Mouse

Castle

Gate

Spreading Activation in Semantic Networks Collins & Loftus (1975)

Knoten = Konzepte

Kanten = Assoziationen zwischen Konzepten

Aktivierungsausbreitung = Aktivation eines Knotens breitet sich entlang der Kanten zu assoziierten Knoten aus

Priming = voraktivierte Konzepte werden schneller abgerufen

Zwei Arten der Aktivierungsausbreitung

Automatische Aktivierungsausbreitung

• nicht unter bewusster Kontrolle

• wird automatisch ausgelöst, wenn ein Konzept aktiviert wird

• schnell

Kontrollierte Aktivierung und Hemmung

• durch bewusste Erwartungen ausgelöst

• Hemmung nicht erwarteter Konzepte

• langsam

Automatische Bahnung versus kontrollierte Erwartung Neely (1977)

Faktor 1: Bewusste Erwartung Wenn der PRIME eine TIERKATEGORIE bezeichnet, dann ist das TARGET meist ein TEIL EINES HAUSES Faktor 2: Semantische Assoziation 2 x 2 Design

Erwartet Unerwartet

Assoziiert VOGEL – DACH VOGEL - TAUBE

Unassoziiert VOGEL - TÜR VOGEL - MANTEL

Zeitverlauf bahnender und hemmender Priming-Effekte für Target-Worte,

• die semantisch assoziiert vs. nicht

assoziiert mit dem Prime-Wort waren

• die aus einer erwarteten vs. unerwarteten Kategorie stammten

Automatische Bahnung und kontrollierte Erwartungseffekte (Neely, 1977)

Automatische Bahnung und kontrollierte Erwartungseffekte (Neely, 1977)

-60

-50

-40

-30

-20

-10

0

10

20

30

40

250 700

Prime-Target-Intervall (ms)

Erwartet, assoziiert

Erwartet,unassoziiert

Unerwartet,assoziiert

Unerwartet,unassoziiert

Bah

nu

ng

(ms)

H

em

mu

ng

(ms)

Kontrollierte Hemmung unerwarteter Worte

Automatische Bahnung assoziierter Worte

Ereigniskorrelierte Hirnpotentiale in der Sprachpsychologie

Aus Gazzaniga et al. (2002). W.W. Norton.

Semantische Verarbeitung: N400

Aus Gazzaniga et al. (2009). W.W. Norton.

ERPs für kongruente, semantisch anomale und visuell anomale Wörter am Ende von Sätzen • Semantisch anomale Wörter N400 • Semantisch kongruente aber visuell abweichende Wörter (große Schrift) P560 / keine N400 • N400 wird nicht allein durch Überraschung ausgelöst, sondern spezifisch durch semantische

Inkongruenz

Semantische Verarbeitung: N400

Modulation der N400 durch

a) den Kontext

b) die Stärke semantischen Relationen zwischen Worten

c) Wortwiederholung

d) Worthäufigkeit

e) Position des Wortes im Satz

f) Die Effekte sind modalitätsunabhängig

Kutas, M., and Federmeier, K.D. (2000). Trends Cogn. Sci. 4:463-470.

Aktivierung im linken inferioren frontalen Gyrus (BA45/47) bei Verletzungen der Semantik und des Weltwissens

N400 bei Verletzungen der Semantik und des Weltwissens

N400 für Verletzungen der Semantik und des Weltwissen (Hagoort et al., 2004)

Verzögerte N400 bei Aphasikern mit stark beeinträchtigtem Sprachverständnis Hinweis auf verlangsamte semantische Integration

Gazzaniga et al. (2010). © W. W. Norton

N400 bei aphasischen Patienten (Swaab, Brown & Hagoort, 1997)

Syntactic positive shift

Hagoort, P., Brown, C., & Groothusen, J. (1993). Language and Cognitive Processes 8, 439–483.

ERPs an frontalen (Fz), zentralen (Cz), und parietalen (Pz) Elektroden auf Worte in syntaktisch korrekten und syntaktisch anomalen Sätzen Syntaktische Verletzungen lösen eine P600 aus

ERPs related to semantic and syntactic processing: N400 and Left anterior negativity (LAN)

Münte et al. (1993). Journal of Cognitive Neuroscience.

Friederici et al. (1993). Cognitive Brain Research.

Wortkategorie-Verletzungen: „Die grüne isst“ Morpho-syntaktische Verletzungen: „Die Zuschauer applaudiert“

© 2010 W. W.Norton

Kategorienspezifische Defizite nach Hirnverletzungen

Neuropsychologische Studien von Elizabeth Warrington

• Pt. mit Schwierigkeiten, Worten die passenden Bilder von Lebensmitteln oder Lebewesen zuzuordnen

• Pt. Zeigten sehr viel bessere Leistung bei Werkzeugen

• Analog beim Benennen von Bildern

• Andere Pt. zeigten umgekehrtes Muster

Lebewesen

• Inferiorer Temporalkortex: Objektrepräsentation / Zielregion des ventralen „Was-Pfads“ im visuellen System

• Medialer Temporalkortex: deklaratives Gedächtnis

Werkzeuge / Artefakte

• Linker Frontalkortex u. Parietalkortex

• Benachbart zu / überlappt mit Regionen für sensomotorische Funktionen Handlungsrepräsentationen

Untersuchungen zur neuronalen Organisation des Lexikons

Studie von Hannah Damasio

Hirngeschädigte Patienten sollten

• berühmte Gesichter benennen

• Tiere benennen

• Werkzeuge benennen

Läsionen in separaten Regionen des Temporalkortex waren mit kategorienspezifischen Benennungsdefiziten korreliert

Aus Gazzaniga et al. (2002). W.W. Norton.

Studie von Hannah Damasio

Gesichter: Temporaler Pol (TP)

Tiere: Inferiorer Temporalkortex (IT)

Werkzeuge: Posteriorer inferiorer Temporalkortex & temporo-occipito-parietale Grenzregion (IT+)

Da die Patienten noch über konzeptuelles Wissen verfügten, sind diese Regionen vermutlich am Wortabruf beteiligt

Aus Gazzaniga et al. (2009). W.W. Norton.

Prozentsatz korrekt benannter Items

Konvergierende Evidenz aus funktionellen Bildgebungsstudien (PET)

Aktivierung bei hirngesunden Probanden in separaten Regionen im lateralen Temporalkortex während des Benennens von Personen, Tieren und Werkzeugen

Aus Gazzaniga et al. (2009). W.W. Norton.

Semantische Kategorien aktivieren überlappende aber unterscheidbare kortikale Regionen

1 medialer Gyrus fusiformis 2 lateraler Gyrus fusiformis 3 mittlerer und inferiorer Temporalkortex 4 superiorer temporaler Sulcus

fMRT-Aktivierung in drei Probanden beim Ansehen, Vergleichen und Benennen von Objekten aus unterschiedlichen Kategorien