Musik und Sound in der Videospielerfahrung (Daniel Possler)

PLAYING MUSIC. Musik und Sound in der Videospielerfahrung

Daniel Possler HERE THERE. Games-Ringvorlesung 2016 | 19.04.16

http://www.ijk.hmtm-hannover.de

Tetris (1989)

Studio Bullet-Proof Software Nintendo

Publisher Nintendo Audio Russisches

Volkslied: Korobeiniki Link https://youtu.be/

NmCCQxVBfyM

Daniel Possler PLAYING MUSIC. Musik und Sound in der Videospielerfahrung. 2


Halo: Combat Evolved (2001)


Studio Bungie Studios Gearbox Software

Publisher Microsoft Game Studios

Audio Composer: Martin O'Donnell

Link https://youtu.be/I8vaCrVIR-Q


Red Dead Redemption (2010)


Studio Rockstar San Diego

Publisher Rockstar Games Audio Composer: José

Gonzales Link https://youtu.be/

AUXGW6sWYDY?t=49s


Super Mario World (1990)


Studio Nintendo EAD SRD

Publisher Nintendo Link https://youtu.be/

wNhCu7F6IK0?t=1m22s


Tony Hawk’s Pro Skater 2 (2000)


Studio Neversoft Publisher Activision

Link https://youtu.be/U35P1UwgKlg?t=2m14s


Agenda


§  Von Beeps zu dynamischem 3D-Sound

§  Worum geht es hier eigentlich?

§  Audio-Erfahrungen in virtuellen Welten

§  Affektive Funktion

§  Kognitive Funktion

§  Erfahrung von Videospielmusik außerhalb virtueller Welten


Von Beeps zu dynamischem 3D-Sound

Frühe 70er §  Videospiele in der

Spielhalle §  Beeps und Töne zur

Erzeugung von Aufmerksamkeit

§  Extrem aufwändige Programmierung (keine Sound-Chips)

§  Keine ausgebildeten Musiker, sondern Programmierer


Beispiel: Space Invaders (Taito / Midway Games; 1978) https://youtu.be/437Ld_rKM2s?t=20s

(Huiberts, 2010; Collins, 2008)



Anfang 80er §  PSG Sound Chips

(3 Kanäle + weißes Rauschen)

§  Sound und Musik möglich


Frühe 70er

Beispiel: Carnival (Sega / Sega, Gremlin Industries; 1980) https://youtu.be/437Ld_rKM2s?t=20s




Anfang 90er §  FM-Chips und PCM-

Chips §  MIDI §  Sound, Musik und

Sprache möglich sowie aufgez. Samples

§  iMuse: dynamische Komposition


Frühe 70er

Anfang 80er

Beispiel: Monkey Island II (LucasArts / LucasArts, 1991) https://youtu.be/7N41TEcjcvM




Mitte 90er §  Etablierung erster

Soundkarten §  Sound, Musik und

Sprache in CD-Qualität abspielbar

§  Räumlicher Sound (3D)


Frühe 70er

Anfang 80er

Anfang 90er

Beispiel: Thief: The Dark Project (Looking Glass Studios / Eidos Interactive; 1998) https://youtu.be/x12fE1hFW9M?t=46s



Agenda









Worum geht es hier eigentlich?

§  Verschiedenste Kategorisierungen von Game-Audio möglich Ø  Produktionsbasiert (z.B. Brandon, 2005)

Erweiterung (Folmann, 2004)


Sprache Sound Musik

Vocalisation Sound-FX Ambient-FX Music



§  Verschiedenste Kategorisierungen von Game-Audio möglich Ø  Diegetic and Non-Diegetic Audio (Stockburger, 2003; Huiberts, 2010)


Audio-Quelle in der virt. Welt

Audio-Quelle stammt nicht aus der virt. Welt

Diegetic Non-Diegetic

(Grand Theft Auto V; Rockstar North / Rockstar Games, 2013)

(Star Wars Battlefront; EA DICE / Electronic Arts; 2015)



§  Verschiedenste Kategorisierungen von Game-Audio möglich Ø  Interaktivität (Collins, 2008; Bullerjahn, 2011):


Linear

Adaptiv

Interaktiv

diegetic non-diegetic

Linear diagetic audio

Adaptive diegetic audio

Interactive diegetic audio

Linear non-diegetic audio

Adaptive non-diegetic audio

Interactive non-diegetic audio



§  Verschiedenste Kategorisierungen von Game-Audio möglich Ø  IEZA Model (Huiberts, 2010):


diegetic

non-diegetic

Activity Setting

Zone Effekt

Affect Interface


Agenda









Audio-Erfahrungen in virtuellen Welten

§  Bisher kaum Forschung zu diesem Thema, sondern: §  Best Practise (bspw. Collins, 2008)

§  Forschung zu Film-Musik (bspw. Cohen, 1990, Boltz, 2004; Bullerjahn & Güldenring, 1994)

§  Allgemein:


Game-Audio

Emotionale Ebene

Kognitive Ebene Verstehen

Immersion


Emotionale Wirkung

§  Emotionen in Games


Quelle: Narration Unsicherheit über Ausgang der Story und das Schicksal der Helden (Schneider, Lang, Shin, & Bradley, 2004; Schmierbach & Limperos, 2013)

Quelle: Interaktivität Erfolg oder Misserfolg des Spielers bei der „Bedienung“ des Spiels (Klimmt et al., 2007; Tamborini et al., 2010; Trepte & Reinecke, 2011)

Game-Audio: -  Emotionale

Impulse -  Grund-

stimmung

Game-Audio: -  Motivation -  Auf- und

Abbau von Spannung

Zone Effekt

Affect Interface

Zone Effekt

Affect Interface


Kognitive Wirkung

Verstehen §  Audio in Games wichtig für grundlegendes Verständnis

(Bullerjahn, 2011; Zehnder & Lipscomb, 2006; Huiberts, 2010)


Aktion und Reaktion

Game-Audio: -  Feedback

Zone Effekt

Affect Interface

Interpretation von Kontext und Umgebung

Game-Audio: -  Umweltverän-

derungen -  Thema -  Leitmotiv

Zone Effekt

Affect Interface


Kognitive Wirkung

Presence §  „A psychological state in which virtual objects are experienced as

actual objects in either sensory or non sensory ways“ (Lee, 2004)

§  Abhängig von (Hartmann et al., 2016):


Realitätsgrad der virtuellen Welt

Vorliegen von Wissensstrukturen

Game-Audio: -  Detailtiefe -  Räumliche Wirkung

Zone Effekt

Affect Interface

Game-Audio: -  Aktivierung von

Schemata

Zone Effekt

Affect Interface


Kognitiv Wirkung

Empathy / Identification §  Zentrale Elemente

(Cohen, 2001; Klimmt et al., 2009; Wollheim, 1974; Bandura, 1961; Van Looy, 2015)

§  Einnehmen der Avatar-Perspektive §  (Übernahme von Avatar-Charakteristika) §  (Ausblenden der Illusion)

§  Abhängig von:


Einfühlungs-vermögen Game-Audio:

-  Interpretationshilfe -  Aufwertung

Zone Effekt

Affect Interface Attraktivität des Avatars


Die Wirkung von Videogame-Musik

§  Experiment mit 68 Spielern zur Wirkung von Soundtrack-Musik in Assassin’s Creed: Black Flag (Klimmt, Possler, Auge, Wolf & Wanjek, 2016)


Congruent Soundtrack

Music

Video Game Enjoyment

Positiver Affect

Intensification of Presence

Intensification of Identification

Negative Affect X

X

✔

✔ ✔

✔

X

X


Agenda









Videospielmusik außerhalb virtueller Welten

§  Videospiele als eigene Kunstform? (Gee, 2006)

§  Videospiel-Musik mit Genrebezogenen Besonderheiten, u.A. (Collins, 2008; Munday, 2007)

§  Lange Zuwendungszeit §  Dynamische Komposition und adaptive Anpassung §  Extrem unterschiedliche Funktionen

§  Videospielmusik als Kunstform?



Videospielmusik fester Bestandteil der Kultur


Beispiel: Symphonic Legends - Super Mario Galaxy Sute WDR Radio Orchester / Niklas Willén https://youtu.be/jk_jQB9Iius


Videospielmusik fester Bestandteil der Kultur


Beispiel: Charles Hamilton - Where's My Fucking Genesis (Sonic the Hamilton Mixtape) https://www.youtube.com/watch?v=HRjHSXRNIRc


Studie: Wertschätzung von Videospielmusik

§  Wird Videospielmusik als Kunstform oder als funktionales Element des Game-Designs wahrgenommen? (Possler, Klimmt, Fellechner & Golombek, 2016)

§  Indikator: Videospiel-Journalismus

§  Journalist als prototypischer Gamer §  Verkaufsratgeber §  Analyse und Hintergrundwissen

§ Methode: §  Inhaltsanalyse der „GameStar“ und

„PC Games“ von 2011 bis 2014 sowie 36 Stunden Let‘s Play Videos



Studie: Wertschätzung von Videospielmusik


Ergebnis:


Videospielmusik außerhalb virtueller Welten

§  Videospielmusik erfüllt Formal die Anforderungen einer Kunstform §  Aber: In der öffentlichen Wahrnehmung ist Videospielmusik ein

dem Spielspaß dienendes Element: „Our analysis suggests that game experts and players are seeing their games rather as sophisticated entertainment technologies than as aesthetic masterpieces“ (Possler, Klimmt, Fellechner & Golombek, 2016)



Fazit: PLAYING MUSIC.


§  Sound in Games ist längst mehr als Beeps à wesentlicher Bestandteil des Game-Designs

§  Audio in Games hat vielfältige Wirkungen (1) Emotionen hervorrufen, (2) die Orientierung in der Welt und das Verstehen der Story erleichtern, (3) Eintauchen in die Spielwelt ermöglichen

§  Obwohl Komponisten dabei aufwändigste Techniken verwenden und eine formal eigene Kunstform geschaffen haben, wird Game-Music vor allem als funktionales Element wahrgenommen

Daniel Possler: IJK – Hannover. [email protected] @keepthecarrun http://www.ijk.hmtm-hannover.de

Vielen Dank. [email protected] @keepthecarrun

Daniel Possler HERE THERE. Games-Ringvorlesung 2016 | 19.04.16


References §  Bandura, A., & Huston, A. C. (1961). Identification as a process of incidental learning. The Journal of Abnormal and Social Psychology.

doi:10.1037/h0040351 §  Boltz, M. G. (2004). The cognitive processing of film and musical soundtracks. Memory & Cognition, 32(7), 1194-1205. §  Brandon, A. (2005). Audio for Games, Planning, Process and Production. Berkeley, CA: New riders.

§  Bullerjahn, C. (2011). Musik in Computerspielen. Vermarktungspotenzial, Nutzung und Wirkung. In C. Jost, (Eds.), Populäre Musik, mediale Musik?: Transdisziplinäre Beiträge zu den Medien der populären Musik (pp. 33-59). Baden-Baden: Nomos-Verl.

§  Bullerjahn, C., & Güldenring, M. (1994). An empirical investigation of effects of film music using qualitative content analysis. Psychomusicology, 13, 99-118.

§  Cohen, A. J. (1990). Understanding musical soundtracks. Empirical Studies of the Arts, 8(2), 111-124.

§  Cohen, J. (2001). Defining Identification: A Theoretical Look at the Identification of Audiences With Media Characters. Mass Communication and Society, 4(3), 245–264.

§  Collins, K. (2008). Game sound: An introduction to the history, theory, and practice of video game music and sound design. Cambridge, Mass. [u.a.]: MIT Press.

§  Folmann, T. (2004). Dimensions of Game Audio. SHHHHHHHHHHHHH audio blog. Retrieved from: http://www.itu.dk/people/folmann/2004/11/dimensions‐of‐game‐audio.html

§  Gee, J. P. (2006). Why game studies now? video games: A new art form. Games and Culture, 1(1), 58-61. doi:10.1177/1555412005281788.

§  Hartmann, T., Wirth, W., Schramm, H., Klimmt, C., Vorderer, P., Gysbers, A., Böcking, S., Ravaja, N., Laarni, J., Saari, T., Gouveia, F. & Sacau, A. (2016). The Spatial Presence Experience Scale (SPES): A short self-report measure for diverse media settings. Journal of Media Psychology, 28 (1), 1-16.

§  Huiberts, S. (2010). Aptivating Sound - The role of audio for immersion in computer games (doctoral dissertation). Utrecht School of the Arts. Retrieved from: http://download.captivatingsound.com/Sander_Huiberts_CaptivatingSound.pdf

§  Klimmt, C., Hartmann, T., & Frey, A. (2007). Effectance and control as determinants of video game enjoyment. CyberPsychology & Behavior, 10(6), 845-847.



References §  Klimmt, C., Hefner, D., & Vorderer, P. (2009). The video game experience as “true” identification: A theory of enjoyable alterations of

players’ self-perception. Communication Theory, 19, 351–373. doi:10.1111/j.1468-2885.2009.01347.x §  Klimmt, C., Possler, D., Auge, H., Wolf, A.-L., & Wanjek, L. (2016, Juni). Effects of Soundtrack Music on the Gameplay Experience.

Posterpräsentation auf der 66. Jahrestagung der International Communication Association (ICA), 09.-13. Juni 2016, Fukuoka, Japan. §  Lee, K. M. (2004). Presence, Explicated. Communication Theory, 14(1), 27–50. doi:10.1111/j.1468-2885.2004.tb00302.x

§  Munday, R. (2007). Music in video game. In J. Sexton (Ed.), Music, Sound and Multimedia: From the Live to the Virtual (pp. 51-67). Edinburgh: Edinburgh University Press.

§  Possler D., Klimmt, C., Fellechner, F., & Golombek, L. (2016, Juni). Critics’ Appreciation of Digital Games as Art: The Case of Soundtrack Music. Vortrag angenommen für die Game Studies Division 2016 Pre-Conference der 66. Jahrestagung der International Communication Association (ICA), 08. Juni 2016, Tokio, Japan.

§  Schmierbach, M., & Limperos, A. M. (2013). Virtual Justice: Testing Disposition Theory in the Context of a Story-Driven Video Game. Journal of Broadcasting & Electronic Media, 57(4), 526–542. doi:10.1080/08838151.2013.845828

§  Schneider, E. F., Lang, A., Shin, M., & Bradley, S. D. (2004). Death with a story: How story impacts emotional, motivational, and physiological responses to first-person shooter video games. Human Communication Research, 30(3), 361-375.

§  Stockburger, A. (2003). The game environment from an auditive perspective. In M. Copier, & J. Raessens (Eds.), Level Up, Digital Games Research Conference. Utrecht: The Netherlands: Faculty of Arts, Utrecht University.

§  Tamborini, R., Bowman, N. D., Eden, A. L., Grizzard, M., & Organ, A. (2010). Defining media enjoyment as the satisfaction of intrinsic needs. Journal of Communication, 60(4), 758-777. doi:10.1111/j.1460-2466.2010.01513.x

§  Trepte, S., & Reinecke, L. (2011). The pleasures of success: Game-related efficacy experiences as a mediator between player performance and game enjoyment. Cyberpsychology, Behavior, and Social Networking, 14(9), 555-557.

§  Van Looy, J. (2015). Online games characters , avatars, and identity. In The International Enceclopedia of Digital Communication and Society. doi:10.1002/9781118290743.wbiedcs106

§  Wollheim, R. (1974). Identification and Imagination: the Inner Structure of Psychic Mechanism. In R. Wollheim (Ed.), Freud – A Collection of Critical Essays (pp. 172–195). Garden City, NY: Anchor Books.

§  Zehnder, S. M., & Lipscomb, S. D. (2006). The Role of Music in Video Games. In P. Vorderer & J. Bryant (Eds.), Playing Video Games (pp. 241-258). Mahwah, N.J.: Lawrence Erlbaum Associations.


Musik und Sound in der Videospielerfahrung (Daniel Possler)

Education

Transcript of Musik und Sound in der Videospielerfahrung (Daniel Possler)