Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien;...

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Liebiggasse 5. Tel. +43 1/4277-29500; Fax +43 1/4277-9296; email: xxl@kfs.oeaw.ac.at; http://www.kfs.oeaw.ac.at

Masking, Maths, Marseille & More- An introduction to the phase vocoder, the phase, psychoacoustic masking and frame multipliers (an extension of the talk given at the HASSIP minischool 2003 in Marseille and at the LMA, CRNS 2004)

Peter Balazs

Acoustics Research Institute, Austrian Academy of Science, Vienna- http://www.kfs.oeaw.ac.at- Peter.Balazs@oeaw.ac.at

• Phase Vocoder • Phase in STFT

• Masking • Frame Multiplier

CONTENT

SHORT TIME FOURIER TRANSFORMATION

The phase vocoder is an algorithm whose first part of analysis is just the discrete STFT.

Short Time Fourier transformation, STFT

INTERPRETATION OF THE PHASE VOCODER (STFT)

Fourier-transform

Windowed signal

mathematically equivalent

Filterbank

A channel of the filterbank

Gabor projection

Shifted atoms

Uncertainty:

FROM FOURIER TO STFT

Non-uniqueness:

overlap addoscillator bankprojection on dual atoms

SYNTHESIS

REDUNDANCYSTFT

PERCEPTUAL REDUNDANCY

masking

Basis or frame

SYNTHESIS AND REDUNDANCY

Gabor frame :

PHASE VOCODER

Low pass filter

Phase calculation

Filterbank

A channel of the filterbank

AUDITORY PERCEPTION

In the human ear the sound wave excitates the basilar membrane and activates the nerve cells. Nearer to the window they react to high, farther away to low frequencies. This correlation between frequency and point on the membrane is called tonotopy.

The human ear

AUDITORY PERCEPTION

Bark :

AUDITORY MASKING

Spectrum and relevance threshold

Masking : the presence of one stimulus, the masker, decreases the response to another stimulus, the target.

Thresholding = Gabor Multiplier

http://www.mmk.ei.tum.de/~tal/demos/demos_content.html

Psychoakustik (Zwicker) - Examples

IMPLEMENTATION OF MASKING FILTER IN STX

output signal

Bark scale transformationspreading function

convolution

inverse bark scale transformation and

compensation

power spectrum [dB/Hz]

power spectrum [dB/Bark]

auditory filter

threshold spectrum [dB/Bark]

threshold spectrum [dB/Hz]

analysis section of the phase vocoder

synthesis section of the phase vocoder

phase spectrum

offset level [dB]

filter: remove spectral components lower than threshold

filtered power spectrum [dB/Hz]

input signal

For the analysis and re-synthesis the atoms PVANAand PVSYN are used.

IRRECKEL: Module for computation of relevance threshold and filtering

Original

Relevant

Irrelevant

APPLICATIONS

Sound / Data Compression : MP3

Sound Design

Background – Foreground Separation: over-masking

Contrast Increase

CURRENT IMPROVEMENT / DEVELOPMENT

• Improvements of the current algorithms .

• Newer psychoacoustical knowledge

• Description of hearing and masking in the context of Gabor or wavelets

•Time-Frequency Masking

• Eigenfunctions

TEMPORAL MASKING

TIME FREQUENCY MASKING

Acoustics Research Institute, Austrian Academy of Science

LMA, CNRS Marseille

LATP, CMI, Marseille

Laback / Balazs:

Basic:

Use simple modell for simultaneous and temporal masking

Use excitation pattern (Heijden)

“Extended”:

Use newer psychoacoustical knowledge (Laback)

Use algorithm to speparate signal in tonal, transient and noise parts (Jaillet)

Use STX spreading function

FILTER

Thresholding:

Gabor Multiplier: irregular grid (bark)

Time Frequency localization operator (continuous)

Wavelet Multiplier ?

Multiple Gabor Extension Multiplier ?

(Or something completely different:) Auditory Filter Multiplier ?

Gamma-tone Filter Multiplier?

Spectrum and relevance threshold

FRAME MULTIPLIER

Frame Multiplier:

FRAME MULTIPLIER

REFERENCES:

[1] S.S. Abeyseker, K.P. Padhi et al, Investigation Of Different Freqeuncy Estimation Techniques Using The Phase Vocoder , Circuits and Systems, 2001. ISCAS 2001. The 2001 IEEE International Symposium on, Volume: 2 ,(2001)[2] P.Balazs, H. Waubke, W.A. Deutsch, Phasenanalyse mit akustischen Anwendungsbeispielen, Proceedings DAGA 2003 - Fortschritte der Akustik, Aachen (2003)

[3] O. Christensen, An Introduction To Frames And Riesz Bases , Birkhäuser Boston (2003)[4] W.A. Deutsch, A. Noll, Simulation auditorischer Signaltrennung in komplexen musikalischen Signalen durch Übermaskierung, Fortschritte der Akustik 'DAGA'93 (1993) [5] M. Dolson, The Phase Vocoder: A Tutorial, Computer Musical Journal, Vol. 10. No. 4 (1986)[6] G. Eckel, Ein Modell der Mehrfachverdeckung für die Analyse musikalischer Schallsignale, PhD Thesis, Universität Wien (1989)[7] H. Fastl, Beschreibung dynamischer Hörempfindungen anhand von Mithörschwellen-Muster, HochschulVerlag Freiburg (1982)[8] H.G. Feichtinger, T. Stromer, Gabor Analysis and Algorithms, Theory and Applications, Birkhäuser Boston (1998)[9] H. G. Feichtinger, T. Strohmer, Advances in Gabor Analysis , Birkhäuser Bosten (2003)[10] S. A. Gelfand, Essentials of audiology, Thieme New York. (1997)[11] K. Gröchenig, Foundations of Time-Frequency Analysis, Birkhäuser Boston (2001)[12] B. Laback, Effekte der Simultanmaskierung auf die Musikperzeption bei sensorineuralen Hörschäden und ihre Anwendung für Signalverarbeitungsalgorithmen in Hörgeräten, PhD Thesis, Universität Wien (1998)[13] B. Moore, Perceptual Consequences of Cochlear Damage, Oxford Medical Publications (1995)[14] A. Noll, J. White, P. Balazs, W. A. Deutsch, STX - Intelligent Sound Processing, Programmer's Reference, http://www.kfs.oeaw.ac.at[15] Zwicker E, Fastl H, Psychoacoustics, Springer-Verlag, Berlin, Germany, 1990

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien;...

Documents

Transcript of Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien;...

1 Ordinariat für Privat- und Wirtschaftsrecht Universität Wien Brünner Straße 72 1210 Wien Telefon: +43-1- 4277- 38991 Telefax: +43-1- 4277- 38999 EMail:

Heimspiel 43/2013

Sportwoche (43)

Singet dem Herrn ein neues Lied - MIDIS Corales y ... 225-singet-de… · Johann Sebastian Bach sin sin sin sin get, get, get, 43 43 43 8 43 43 43 43 8 43 SOPRAN II BASS II ... 50

Institut für Schallforschung der Österreichischen Akademie der Wissenschaften: A-1010 Wien; Reichsratsrasse 17. Tel. +43 1/4277-29500; Fax +43 1/4277-9296;

43-2010, Gemeindespalten

Einführung in die Neutronenstreuung Dr. M. Rotter, Inst. f. Phys. Chemie, Zi 2245 rotter@ap.univie.ac.at Tel. 4277 52469 Materialchemie VI,Vorlesung SS.

I. STRINDBERG ALS V BSTRAKTIONarchiv.ub.uni-heidelberg.de/artdok/4277/1/Petri_August_Strindbergs... · Strindberg hatte offenbar weit vor seiner Zeit gemalt – und das auch noch

Seite 1Unternehmenspräsentation SPORTEC AG SPORTEC AG Hofstrasse 17 CH-8181 Höri b. Bülach / ZH Schweiz Fon +41 (0)43 411 43 00 Fax +41 (0)43 411 43 01.

140 Jahre Deutsche Hypo. Eine Zeitreise. · rating 41 nachtragsbericht 42 risikobericht 43 Aktuelle entwicklungen 43 risikomanagement 43 kreditrisiko 49 marktpreisrisiko 61 liquiditätsrisiko

INFOS INSOS 43

ZÜRCHER DENKMALPFLEGE - are.zh.ch · Höri 41 Hombrechtikon 42 Horgen – Dampfschiffsteg 42 – Zentrales Klärwerk 43 Hüntwangen 43 Illnau 43 Kappel a. A. 43 Kloten – Dorfstrasse

AutoFoto #43

Blickpunkt Kw 43,

powalter 43

Universität Wien, Dr.-Karl Lueger-Ring 1, A-1010 Wien Tel.: 43-1-4277-41301, -41303; Fax: 43-1-4277-9413 E-Mail: wirtschaftsgeschichte@univie.ac.at wirtschaftsgeschichte@univie.ac.at.

Beamforming Holger Waubke, Piotr Majdak, Michael Mihocic, Anton Noll Österreichische Akademie der Wissenschaften Institut für Schallforschung.

03 41 / 8 65 43 43 - Ortsblatt Leipzig

Kulturexpress 43 2014

alberta bike stare info@albertobikestore.ch Tel: 0041 (0 ...€¦ · bosch lpt+cx614 bosch bosch uc-cx512 43 43 .48, 43 48 43, 48, 43 43 48 43, 43 53 53 53 53 53 63 53 53 (elektrofahrrÀder)