Die Verankerung von Begriffen in Wahrnehmung und Handlung · smell has has resin grey has has has...

Verkörperte Kognition

Die Verankerung von Begriffen in Wahrnehmung und Handlung

Markus Kiefer

Universität Ulm

Sektion für Kognitive Elektrophysiologe

Klinik für Psychiatrie und Psychotherapie III

Universität Düsseldorf, 09.10.2014

Das Verhältnis von Sprache zu den Dingen: Semiotisches Dreieck

Tuba

länglich, Metall, blasen,tiefe Töne

Wort Objekt

Begriff

Richards & Ogden (1923)

Das semantische Gedächtnis (Tulving, 1972)

Endel Tulving(1927- )

Semantisches Gedächtnis (Tulving, 1972)

� Teil des menschlichen Langzeitgedächtnisses

� begriffliches Wissen über Gegenstände und Handlungen

� Wortbedeutung

� z.B. Begriff HUND:– vier Beine, Fell, Schwanz, bellt, kann gestreichelt werden

� involviert in– Objekterkennung und -kategorisierung

– Sprachproduktion und Sprachrezeption

5./6. Jahrhundert v. Chr.Bedeutung von Begriffen für Handlungen

Wenn die Begriffe nicht richtig sind, so stimmen die Worte nicht; stimmen die Worte nicht, so kommen die Werke nicht zustande

Konfuzius(Chinesischer Philosoph 551-479 v. Chr.)

David Hume(1711-1776)

18. Jahrhundert:Britischer Empirismus

Das Primat der Sinneseindrücke

Alle Gedanken bzw. Vorstellungen gehenauf Sinneseindrücke (impressions) sowieauf deren blassere Abbilder (ideas) zurück

David Hume (1748). An enquiry concerning human understanding.

18. Jahrhundert:Apriorische Bedingungen der Erkenntnis

Immanuel Kant(1724-1804)

Kategorien stehen vor der Wahrnehmung

Raum, Zeit, Kausalität sowie Kategorien stellendie apriorischen Bedingungen der Erfahrungdar. Sie strukturieren die Sinneseindrücke.

Immanuel Kant (1781). Kritik der reinen Vernunft

19. Jahrhundert:Psychische Funktionen und Gehirn

Franz Josef Gall(1758-1828)

‚Hirnkartierung‘ in der Phrenologie

Phrenologie Franz Josef Galls um 1800

EEG Aufzeichnung/Ereigniskorrelierte Potentiale (EKP)

Hohe zeitlicheAuflösung im Bereich von Millisekunden

12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364

S 22

Hohe räumlicheAuflösung im Bereich von Millimetern

Funktionelle Magnetresonanz-Tomographie

21. Jahrhundert:‚Hirnforscher lesen erste Gedanken‘

Wo im Gehirn ist begriffliches Wissen gespeichert?

Klassische Sicht:Einheitliches semantisches System

� Amodales Repräsentationssystem

� getrennt von den sensorischen und motorischen Repräsentationen

Semant.Gedächtnis

VisuellerInput

AkustischerInput

Audit. Objekt-repräsentationen

Visuelle Objekt-repräsentationen

Motor.repräsentationen

(Collins & Loftus, 1975; Humphreys et al., 1988;Tyler & Moss, 2001)

Klassische Sicht:Einheitliches semantisches System

treeflower

fish bird

oakfir rose

tulipsalmon trout heron

sparrow

leaf

needlesthorn

bulb silvereatable

long_beak

smallsmell

resin greyhas has has has has has

is_a

isis has

is

is

is_a

is_ais_a is_a is_a is_a

is_a is_a

is_a is_a is_a is_a

is_a

living being

plant animal

trunk branches

chloro-phyll

roots

scales fins

feathers

fly

move

metabolism

hashas

stem

blossomshas

hashas

hascan

has

has

can

Collins & Loftus (1975)

Multiple semantische Systeme:Modalitätsspezifische Repräsentationen

� Begriff=verteiltes Aktivationsmuster über multiple modalitätsspezifische Systeme

VisuellerInput

AuditiverInput

Audit. Objekt-repräsentationen

Visuelle Objekt-repräsentationen

motor representations

aud. semant.subsystem

vis. semant.Subsystem

mot. semant.subsystem

(Barsalou et al., 2003; Humphreys & Forde, 2001; Kiefer & Barsalou 2012; Kiefer & Pulvermüller, 2012; Kiefer & Spitzer, 2001; Pulvermüller, 1999)

Modalitätsspezifische Repräsentationen:Funktionale Neuroanatomie

visuellhandl.

handl.

audit.

taktil

Modalitätsspezifische semantische Systeme

HAMMER

KATZE

Handlungs-wissen visuelles

Wissen

Kiefer, M. & Spitzer, M. (2001). Trends in Cognitive Sciences, 5, 469-471

Begriffe verankert in Wahnehmung und Handlung:Vier grundlegende Vorhersagen

Aktivität bei begrifflichen Aufgaben überlappt mit Aktivität bei Wahrnehmung und Handlung

Sensorische und motorische Systeme sind notwendigund werden automatisch aktiviert

Sensorische und motorische Aktivität erfolgt früh während begrifflicher Aufgaben

Begriffliche Verarbeitung hängt von der früheren sensu-motorischen Erfahrungab.Kiefer, M. & Barsalou, L.W. (2012)

Handlung

visuell

Handlung

Klang

Beruhen Begriffe auf flexiblen sensorischen und motorischen Aktivierungen?

Dynamical recruitment of modality-specific semantic features

� Flexible conceptual representations (Barsalou, 1982)– dynamical

– dependent on contextual constraints

– comprised of differentially activated modality-specific features

� Task-dependent category-related activation in sensory and motor regions

Flexible modality-specificconceptual representations

visual

action

action

binding

acoustic


acoustic

binding

actionaction

visual


acoustic

binding

visual

action

action

Task-dependent category-related activity:Design of the combined fMRI and ERP study

Hoenig, K., Sim, E.-J., Bochev, V.. Herrnberger, B., & Kiefer, M. (2008). Journal of Cognitive Neuroscience

fMRI results:Interaction between task and category


ERP results: Time course of the interaction between task and category:


Spiegeln Begriffe unsere sensu-motorischen Erfahrungen mit der Umwelt wider?

Nobject training study: Categories and training groups

Action pantomime training group Pointing training group

Kiefer, Sim, Liebig, Hauk & Tanaka (2007). Journal of Cognitive Neuroscience

Nobject training study:Main experiment after training

� Category verification task– Does the category name matches with the nobject picture or not

palo kurn


ERP source analysis of training effects:Minimum-norm difference maps

pant>point

point> pant


A 117 ms

B 160 ms

C 312 ms

Left Right Top

Pointing

+0.14

-0.14

nA/cm2Poin

tingPan

tomime

Pantomi

mePan

tomime -

Pointing

+0.35

-0.35

+0.35

-0.35

Funktionale Relevanz von sensu-motorischen Repräsentationen – Priming paradigma

Action priming paradigm:Example of stimuli

congruent incongruent

Action priming paradigm:Procedure

+

Fix until keypress

Objects with similar or dissimilar actions

700 ms170 ms

42 ms70 ms

x ms1000 ms

T1

T2

Task: Name objects in the order of presentation

presentation time was adjusted according to a preceding staircase experiment to achieve an accuracy level of 80 %

Action Priming Effect

incongr congr0.7

0.8

0.9

Helbig, H.B, Graf, M., & Kiefer, M. (2006). Experimental Brain Research

Action priming paradigm:ERP study

-8

-6

-4

-2

2

4

6

8

[µV]

-500 -400 -300 -200 -100 100 200 300 400 500[ms]

80 ms

Kiefer, M , Sim, E-J., Helbig, H.B, & Graf, M. (2011). Journal of Cognitive Neuroscience

fronto-central electrodes

Action priming paradigm

Action incongruent

Action congruent

Helbig, H.B, Steinwender, J., Graf, M., & Kiefer, M. (2010). Experimental Brain Research

axe

drill2000 ms

80 ms 250 ms

Action priming effects

Action priming: fMRI results

BA 6

BA 38

BA 42 BA 18/19V 5 BA 44

BA 6BA 7

con>inconincon>con

Sim, E-J., Helbig, H.B, & Graf, M., & Kiefer, M (2014). Cerebral Cortex

Action priming: Effective Connectivity

Sim, E-J., Helbig, H.B, & Graf, M., & Kiefer, M (2014). Cerebral Cortex

Gibt es eine anatomische Überlappung zwischen sensorischen und begrifflichen Systemen?

The sound of concepts: Representation of acoustic conceptual features: Task and design

Kiefer, Sim, Herrnberger, Grothe, & Hoenig (2008). The Journal of Neuroscience

The sound of concepts: Here rings „telephone“ in your head: fMRI results


The sound of concepts: Here rings „telephone“ in your head: ERP results


Sind sensu-motorische Systeme automatisch aktiviert?

Unconscious perception: Visual masking

unmasked masked

Kiefer (2002). Cognitive Brain Research; Kiefer & Martens (2010). Journal of Experimental Psychology: General

Feature-specific masked repetition priming: Unconscious automatic conceptual processing

Repetition of action words: hammer-hammerRepetition of sound words: radio-radio

Trumpp, Traub, Pulvermüller, & Kiefer (2014). Journal of Cognitive Neuroscience

Feature-specific masked repetition priming: Unconscious automatic conceptual processing

Trumpp, Traub, Pulvermüller, & Kiefer (2014). Journal of Cognitive Neuroscience

Funktionale Relevanz sensorischer Repräsentationen– Der Einfluss von Läsionen

Loosing the sound of concepts after brain damage

Functional neuroanatomy of conceptual sound processing

Trumpp, Kliese, Hoenig, Haarmeier & Kiefer (2012). Cortex

Patient TU (m, 33 years)Focal lesion (1.7 cm) in left superior/middle temporal areas due to an abscess


400

500

600

700

800

900

1000

1100

patient control group

reac

tion

time

[ms]

high acoustic relevance

low acoustic relevance

0

1

2

3

4

5

6

patient control group

num

ber o

f err

ors

high acoustic relevance

low acoustic relevance

*

*


Trumpp, Kliese, Hoenig, Haarmeier & Kiefer (2012). Cortex

Name generation task: Objects that elicit sound

Bestimmt musikalische Erfahrung klang-basierte begriffliche Repräsentationen?

Representation of musical instruments in professional musicians

Musicalinstruments

Controlobjects

Ulm Philharmonic Orchestra

drilltuba

Hoenig, Müller, Herrnberger, Spitzer, Ehret, & Kiefer (2011). NeuroImage


Musical instruments > control objects

Hoenig, Müller, Herrnberger, Spitzer, Ehret, & Kiefer (2011). NeuroImage

Schlussfolgerung/Diskussion:Begriffe in sensorischen und motorischen Systemen

Handlung

Aktivität in sensorischen und motorischen Arealen

Anatomische Überlappung der Aktivität bei sensu-motorischer und Begriffsverarbeitung

Unbewusste sensu-motorische Aktivität

Kausale Verbindung zwischen sensu-motorischen Systemen und Begriffsverarbeitung

Grundierung von abstrakten Begriffen in den sensorischen und motorischen Systemen

Mehr Evidenz zur kausalen Rolle von sensu-motorischen Systemen für Begriffsverarbeitung

Erfahrungsabhängige sensu-motorische Aktivität

visuell

Handlung

Klang

Früher Beginn der sensu-motorischen Aktivität

Sensu-motorische Erfahrung prägt Begriffe und Sprache

Vielen Dank für Ihre Aufmerksamkeit

Dank an

� Natalie Trumpp, University of Ulm

� Eun-Jin Sim, University of Ulm

� Klaus Hoenig, University of Ulm

� Bärbel Herrnberger , University of Ulm

� Jo Grothe , University of Ulm

� Sarah Liebich, University of Ulm

� Viktor Bochev, University of Ulm

� Regula Gr. von Soden-Fraunhofen, University of Ulm

� Manfred Spitzer, University of Ulm

� Friedemann Pulvermüller, Free University of Berlin, Germany

� Markus Graf, Max-Planck Institute for Cognitive and Brain Sciences, Munich

� Hannah Helbig, Max-Planck Institute for Biological Cybernetics, Tübingen

� Olaf Hauk, MRC Brain and Cognition Unit, Cambridge, UK

� Larry Barsalou Emory University, U.S.A.

� Jim Tanaka, University of Victoria, Canada

Die Verankerung von Begriffen in Wahrnehmung und Handlung · smell has has resin grey has has has...

Documents

Transcript of Die Verankerung von Begriffen in Wahrnehmung und Handlung · smell has has resin grey has has has...