GDNÄ 2012: Prof. Heinz Gerhäuser über die "Faszination MP3"
-
Upload
gdnae-die-wissensgesellschaft -
Category
Education
-
view
1.072 -
download
0
description
Transcript of GDNÄ 2012: Prof. Heinz Gerhäuser über die "Faszination MP3"
© Fraunhofer IIS
127. Versammlung der Gesellschaft Deutscher Naturforscher und Ärzte (GDNÄ)
14. Bis 18. September 2012 Georg-August-Universität Göttingen
Faszination mp3 – Wie ein Audiocodierverfahren die Welt verändert hat
Prof. Dr. Heinz Gerhäuser, Institutsleiter (i. R.) Fraunhofer-Institut für Integrierte Schaltungen IIS
n Die Fraunhofer-Gesellschaft und das Institut Fraunhofer IIS
n Am Anfang war die Idee
n Grundlegende Untersuchungen
n Ein langer steiniger Weg
n Der Durchbruch
n Spektakulärer Erfolg
Inhalt
© Fraunhofer IIS 2 2
Fraunhofer in Deutschland
n Gegründet 1949, Zentrale in München
n 60 Institute plus Forschungsinstitutionen, Arbeitsgruppen, Außenstellen und Anwendungszentren an 40 Standorten
n Mehr als 20.000 Mitarbeiter
n Budget: 1,8 Milliarden €
n ca. 2/3 der Finanzierung durch Vertragsforschung und öffentliche Projekte
München
Holzkirchen
Freiburg
Efringen- Kirchen
Freising Stuttgart
Pfinztal Karlsruhe Saarbrücken
St. Ingbert Kaiserslautern
Darmstadt Würzburg
Erlangen
Nürnberg
Ilmenau
Schkopau
Teltow
Oberhausen
Duisburg
Euskirchen Aachen St. Augustin Schmallenberg
Dortmund
Potsdam Berlin
Rostock
Lübeck Itzehoe
Braunschweig
Hannover
Bremen
Bremerhaven
Jena
Leipzig
Chemnitz
Dresden
Cottbus Magdeburg
Halle
Fürth
Wachtberg
Ettlingen
Kandern
Oldenburg
Freiberg
Paderborn
Kassel
Gießen Erfurt
Augsburg
Oberpfaffenhofen
Garching
Straubing
Bayreuth
Bronnbach
Prien
Hamburg
© Fraunhofer IIS 3 3
Fraunhofer-Institut für Integrierte Schaltungen IIS
Gegründet: 1985
Standorte in Erlangen, Fürth, Nürnberg, Dresden, Ilmenau, Würzburg, Bamberg, Waischenfeld
Mitarbeiter: > 750
Budget: ca. € 95 Mio. Finanzierung > 75% Projekte < 25% Grundfinanzierung
www.iis.fraunhofer.de
© Fraunhofer IIS 4 4
Geschäftsfelder am Fraunhofer IIS
n IC-Design und Entwurfsautomatisierung
n Audio/Video/Multimedia
n Digitale Rundfunksysteme
n Kommunikationsnetze
n Bildsysteme und Qualitätssicherung
n Navigation, Lokalisierung und Robotik
n Eingebettete Systeme
n Logistik
n Medizintechnik
n Energiemanagement
© Fraunhofer IIS 5 5
Hervorragende technische Ausstattung
Schalllabor, digital ausgestattetes Kino, Bildaufnahmestudio, Rundfunkstudio, Antennenmessraum, Antennenmast 50 m, Satellitenradio Uplink-Station, ...
© Fraunhofer IIS 6 6
Ende der 70er Jahre, Anfang der 80er Jahre
Idee von Prof. Seitzer, Friedrich-Alexander- Universität Erlangen-Nürnberg, Musiksignale über Telefonleitungen zu übertragen
1411 kbit/s
Unkomprimierte Musik: 1411 kbit/s würde ca. 22 Telefon- leitungen belegen
2 x 64 kbit/s 2 ISDN-B Kanäle
?
Prof. Dr.-Ing. Dieter Seitzer Gründungsdirektor des Fraunhofer IIS
© Fraunhofer IIS 7 7
Vorarbeiten an der Universität Erlangen-Nürnberg n Forschung auf dem Gebiet der digitalen
Signalverarbeitung in Echtzeit startete 1978. Ein Bit-Slice-Signalprozessor wurde 1979 realisiert (Gerhäuser)
n Forschung auf dem Gebiet von Algorithmen für die Audiocodierung begann 1980 an der Universität Erlangen-Nürnberg (Brandenburg)
n Die Algorithmen wurden am Anfang per Computersimulation an einem Laborrechner entwickelt (für 15 Sekunden Musik war eine Rechenzeit von mehr als 5 Stunden notwendig)
n Signalverarbeitung in Echtzeit spielte eine Schlüsselrolle
n Am 1985 gegründeten Fraunhofer IIS begannen die Forschungsarbeiten auf dem Gebiet der Audiocodierung 1986
1979: Erste Hardware für die Audiocodierung am Lehrstuhl für Technische Elektronik, Universität Erlangen-Nürnberg
© Fraunhofer IIS 8 8
Integrierte Schaltung für den ersten MP3-Spieler
Layout des ersten Single-chip Decoders MAS3503C für das Audiocodierverfahren MPEG 1 Layer 3 (mp3) von Intermetall von 1994
Quelle: Micronas
4k Worte RAM
4k Worte ROM
1 Wort = 20 Bit
CPU
Prozess: 0,8 µm CMOS Chipfläche: ca. 50 mm2,
Verlustleistung: 200 mW @ 3V
Firmware von Fraunhofer IIS
© Fraunhofer IIS 9 9
Fraunhofer IIS »Home of mp3«
Entwicklung der Audiocodierung in Erlangen:
n seit 1981 Forschungsthema an der Uni Erlangen
n seit 1986 Audio-Codierung am Fraunhofer IIS
n 1992: MPEG-1 Layer 3 wird Internationaler Standard
n 1997: der mp3-Internet Boom beginnt
n 1997: der Nachfolger MPEG-2 AAC wird internationaler Standard
n 1999: mp3 ist de-facto Standard für Musik im Internet
n 2000: Zukunftspreis des Bundespräsidenten für mp3
1987: der erste echtzeitfähige Stereo-Audio-Codec
2007: 20 Jahre später
© Fraunhofer IIS 10 10
About 30-times data reduction and compression by the same quality
Ori
gin
al
Verringerung der Bitraten für eine Audioqualität nahe an CD-Qualität für verschiedene Audiocodecs
1411
192 160 128 96 64 24 0
200 400 600 800
1000 1200 1400 1600
PCM MPEG-1 L2
AC-3 MP3 MPEG-2 AAC
MPEG-4 AAC
HE-AAC v2
Mehr als 50-fache Reduktion und Kompression der anfallenden Datenmenge bei nahezu gleich bleibender Qualität!
Ori
gin
al
Datenraten in kbit/s, Stereo
© Fraunhofer IIS 11 11
Wie funktioniert Audiocodierung?
© Fraunhofer IIS 12 12
Schallwellen
Schallwellen entstehen wenn bei der Klangerzeugung eines Objektes die umgebende Luft verdrängt und dadurch der Luftdruck verändert wird.
Zeit
Dieser Abstand wird Amplitude genannt
Dieser Abstand bestimmt die Frequenz der Welle
© Fraunhofer IIS 13 13
Eine einzelne Welle ist ein einzelner Ton
Musik als Zusammensetzung von Tönen und Geräuschen
www.lehrklaenge.de
Schallwellen
© Fraunhofer IIS 14 14
Universalität durch Digitalisierung
Analoge Anzeige: • unendlich viele Zeitpunkte • fließende Übergänge
Digitale Anzeige: • endlich viele
Zustände • Übergänge in diskreten Stufen
Bedeutung von »Digital« in der Technik:
n Umwandlung und Darstellung von analogen Signalen (z. B. Zeit, Temperatur, Spannung, …) als wert- und zeitdiskrete Zahlenfolgen
22:09:37
n Weiterverarbeitung, Speicherung und Übertragung meist als Binärfolge von Nullen und Einsen durch digitale Elektronik in Geräten und Systemen
n Darstellung im Computer:
Bit (0 oder 1) und Bytes (1 Byte = 8 Bit, 28 = 256 mögliche Kombinationen)
n Beispiel: Umwandlung einer Dezimalzahl in eine Dualzahl
[173]10 = [1010 1101]2 = 1·27 + 0·26 + 1·25 + 0·24 + 1·23 + 1·22 + 0·21 + 1·20
n Größere Einheiten: 1 KiloByte, 1 MegaByte, 1 GigaByte, 1 TeraByte
© Fraunhofer IIS 15 15
Binäre Informationsdarstellung (0, 1) erlaubt:
n Einheitliche Verwendung von Bits und Bytes unabhängig von der Art der Information (Text, Sprache, Musik, Grafik, Bilder, Videos)
n Einheitliche Technik für die digitale Signalverarbeitung (digitale Schaltkreise, Prozessoren)
n Verlustfreies Kopieren, Speichern und Übertragen
n Vielfältige Verarbeitungsmöglichkeiten
n Verschlüsselung und elektronische Signatur
n Qualität wird nur durch den Aufwand begrenzt
Digitale Darstellung der Information
© Fraunhofer IIS 16 16
Analoges Signal:
Die Anzahl der Abtastwerte (Samples) pro Sekunde ist die »Sample-Rate«
Audio-CD hat 44.100 Abtastwerte pro Sekunde
Kleinster Wert ist -32,768
Diskretes, digital dargestelltes Signal:
Größter Wert: 32,767
Abtastung und Quantisierung von Musik
© Fraunhofer IIS 17 17
CD: Bandbreite: 16 Hz – 20 kHz Abtastfrequenz: 44,1 kHz (44.100 Abtastwerte pro Sekunde)
Digitales Signal Abtastrate: Anzahl der Abtastwerte pro Sekunde
Telefon: Bandbreite: 300 Hz - 3,4 kHz Abtastfrequenz: 8 kHz (8.000 Abtastwerte pro Sekunde)
© Fraunhofer IIS 18 18
Telefon: Bandbreite: 300 Hz - 3,4 kHz Abtastfrequenz: 8 kHz (8.000 Abtastwerte pro Sekunde)
Digitales Signal Abtastrate: Anzahl der Abtastwerte pro Sekunde
CD: Bandbreite: 16 Hz – 20 kHz Abtastfrequenz: 44,1 kHz (44.100 Abtastwerte pro Sekunde)
© Fraunhofer IIS 19 19
Digitales Signal Quantisierung: Bit pro Abtastwert (Sample)
16 Bit 8 Bit 4 Bit
Beispiel: CD 16 Bit = 65.535 mögliche Werte für jeden Abtastwert 8 Bit: 256 Werte, 4 Bit: 16 Werte
© Fraunhofer IIS 20 20
Digitales Signal Quantisierung: Bit pro Abtastwert (Sample)
16 Bit 8 Bit 4 Bit
© Fraunhofer IIS 21 21
16 Bit 8 Bit 4 Bit
Digitales Signal Quantisierung: Bit pro Abtastwert (Sample)
© Fraunhofer IIS 22
n Nur ein Bruchteil der Information ist tatsächlich nötig für guten Klang!
n Kernideen: »Redundanzreduktion« und »Irrelevanzreduktion«
Warum funktioniert Datenreduktion?
Max. 10% relevant Redundanz
Irrelevanz
Redundante Signalanteile kann man ohne Informationsverlust entfernen
è verlustlose Audiocodierung
è Mittlere Reduktion auf die Hälfte
Irrelevante Signalanteile sind für den Empfänger ohne Bedeutung;
Reduktionsfaktor: 8...32 bei sehr guter Tonqualität erreichbar
Reduktion ist - obwohl nicht hörbar – ein Informationsverlust (verlustbehaftete Audiocodierung)
© Fraunhofer IIS 23 23
Musik
Sprache
Was hören wir eigentlich? - Die Ruhehörschwelle Alles, was unterhalb der Ruhehörschwelle liegt, ist unhörbar
Ruhehörschwelle
© Fraunhofer IIS 24 24
Verschiebung der Ruhehörschwelle durch Lautsignal (Maskierung)
Wie hören wir? - Die Mithörschwelle
Der Mensch hört nicht alles gleich gut, es gibt »Maskierungseffekte«
Musik
© Fraunhofer IIS 25 25
Was überhören wir? - »Maskierte Töne«
Der Mensch hört nicht alles gleich gut, es gibt »Maskierungseffekte«
Musik Sprache
© Fraunhofer IIS 26 26
1000 Frequenz [Hz]
Lautstärke [dB] 160 Hz
Verdecker
0 -10 -20 -30
1200
7
Serie von Sinustönen mit der selben Frequenz und ansteigender Lautstärke
-40 -50 -60 -70 -80
6 5 4 3 2 1
Hörschwelle
Beispiel: Verdeckung im Frequenzbereich
© Fraunhofer IIS 27 27
MPEG-1 »Stammbaum«
IRT (MASCAM)
Philips
CCETT
Thomson Brandt (MSC)
AT&T (PXFM)
Fraunhofer-IIS Uni-Erl.(OCF)
MUSICAM
ASPEC
LAYER 1
LAYER 2
LAYER 3
Psychoacoustic model 2 (optional)
simplified version
CNET
(mp3)
© Fraunhofer IIS 28
Blockdiagramm MPEG-1 Layer 3 („mp3“) Encoder
Source: Herre, J.: Lecture „Advanced Topics in Perceptual Audio Coding”, FAU Erlangen, SS 09
© Fraunhofer IIS 29 29
Erste Einschätzungen zur Hardwarekomplexität von der amerikanischen Halbleiterindustrie 1990: »Complexity to high, to expensive!«
Blockdiagramm MPEG-1/2 Layer-3 („mp3“) Decoder
© Fraunhofer IIS 30 30
Status 1992:
Professionelle Anwendungen:
n MPEG Layer-2 (Jingle-Abspieler, ISDN)
n MPEG Layer-3 (nur einzelne Geräte)
n Dolby AC-2 und andere
Consumeranwendungen:
n MPEG Layer-1 (DCC)
n MPEG Layer-2
n DAB
n CD-I (mit Video)
n Dolby AC-2
n kein MPEG Layer-3
© Fraunhofer IIS 31 31
FhG-Strategie 1993
Setzen auf den Markt für Profigeräte
Beginn der Zusammenarbeit mit Micronas (damals Intermetall)
Firma Telos Systems USA setzt auf Layer-3:
n Kleine amerikanische Firma
n Eigene Kapazität zur Entwicklung von Hardware
n Sehr gutes Marketing im Rundfunkbereich
n Wichtigste Person: Steve Church
Dialog-4 (Ludwigsburg) setzt auf Layer-3
Konferenz der Audio Engineering Society in New York 1993: Stimmungsumschwung
© Fraunhofer IIS 32 32
Sysiphus hatte es auch nicht schwerer :-)
Internes Meeting am Fraunhofer IIS 1995 »wir haben die Chance, Layer-3 zu dem Internet-Audio-Standard zu machen«
Jedoch:
n 1995: RealNetworks beginnt den Siegeszug, ohne mp3
n 1996: RealNetworks lizensiert eine Variante von Dolby AC-3
n 1997: Liquid Audio lizensiert Dolby Digital
n 1998: Lucent macht viel Werbung für EPAC
n 1999: Microsoft startet mit WMA ein eigenes Verfahren in Konkurrenz zu mp3 und AAC
n 1999: Sony verwendet ATRAC-3
Viele der genannten Firmen lizenzieren heute unsere Patente
© Fraunhofer IIS 33 33
1994 / 1995:
n FAQ (Harald Popp), Internet als Vertriebsweg
n Shareware als Marketinginstrument: gute Encoder/Decoder zum Testen für alle
n Erste Pläne zu Echtzeitdecodierung auf PC’s
n Weitere Anwender im Profibereich, Telos erreicht erheblichen Marktanteil
n MPEG-2 Audio LSF-Erweiterungen werden fertiggestellt (LSF = low sampling frequency)
n Der erste MASC Layer 3 - Decoderchip funktioniert
© Fraunhofer IIS 34 34
Wie mp3 sich im Internet durchsetzte:
n Winplay3 als Demo, Name mp3 (14.7.95) Registriercodes bald im Netz verfügbar
n l3enc / l3dec eigentlich nur für Profinutzer oder Bastler, Encoder sind teuer
n Macromedia lizensiert Layer-3 n Andere Decoder werden programmiert n Erste Lizenz an Microsoft
n Ein Windows-Encoder wird gestohlen, der Kopierschutz
entfernt und und kostenlos als Download-Software im Internet angeboten
n mp3.com startet
n Apple startet die Musik-Internet-Handelsplattform iTunes (verwendet AAC, die Nachfolgegeneration von mp3)
1995
1996
1997
2003:
© Fraunhofer IIS 35 35
Wesentliche Elemente des Erfolges:
Durchhalten: Eine Kerngruppe hat immer an den letztendlichen Erfolg geglaubt
Die »good guys«:
n Wissenschaftlich korrekte Darstellung
n Im Zweifel immer mit anderen zusammenarbeiten hat langfristig Freunde gebracht
n Präsenz auf Tagungen und Messen: Wirkung manchmal erst nach langer Zeit
n Ruf als führende Forscher lange vor dem wirtschaftlichen Erfolg
n Vision mit Intuition kombinieren
n Fehler vermeiden (z. B. Copyright-Diskussion)
n Richtige Wege gehen (z. B. Bedeutung d. Internet)
© Fraunhofer IIS 36 36
Probleme der Musikindustrie mit mp3:
n Folgendes wurde plötzlich um den Faktor 12 (die typische Kompressionsrate) billiger:
n Kosten der Speicherung von Musik am PC
n Kosten des Transfers von Musik über CD-ROM
n Kosten der Übertragung von Musik über Internet
n Beginnend mit amerikanischen Studenten, wurde der Austausch von mp3-Musik zum Volkssport
n Analoge Kassetten erlauben keine Kopie der Kopie, mp3's behalten ihre Qualität (solange nicht zwischendurch decodiert/encodiert wird)
n Die Herkunft von mp3's ist nicht feststellbar (anonymes Veröffentlichen ist möglich)
© Fraunhofer IIS 37 37
Piraten und die Musikindustrie
Erste mp3-Websites Ende 1996 / Anfang 1997 Sommer 1997: Gerichtsbeschlüsse, Bekanntmachung in USA Today
n Reaktion: mehr Piraten
Rio PMP300 von Diamond (erster mp3-Player in den Läden) wird im Sommer 1998 angekündigt
Herbst 1998: Gerichtsverfahren gegen Diamond
Die RIAA (Recording Industry Association of America (RIAA - Verband der Musikindustrie in den USA) verliert das Gerichtsverfahren
n Reaktion: mehr Piraten
Ende 1999: Napster tritt auf ...
Weltweit wird mp3 ein Thema für die Medien
© Fraunhofer IIS 38 38
Reaktionen der Musikindustrie
Zunächst: »geht uns nichts an«
Ab 1997: langsames Verstehen der Situation, Versuch durch Schließung von Web-Sites .mp3 zu verbannen
Bis heute ist es schwierig, legale elektronische Vertriebsrechte zu bekommen:
n Wer soll in Zukunft das Geschäft betreiben ?
n Oft ist die Rechtslage völlig unklar
Seit Ende 1997: Entstehen einer »alternativen« Musikverlagsbranche:
n Elektronischer Vertrieb ohne Sicherheitssysteme
Gesicherte Systeme haben es bis jetzt doppelt schwer: wenig Content, Konkurrenz zu .mp3
© Fraunhofer IIS 39 39
Lizensierung im Internetzeitalter
Lizensierung über Thomson Multimedia
n Seit 1999 in San Diego, Kalifornien
Fraunhofer war wesentlich an der Entwicklung der Lizenzmodelle beteiligt (1995 - 2000)
n z. B. Verhandlungen bei Microsoft
Was nicht funktioniert hat:
n Gebühr pro Decoder auch bei Software
n Kopplung freier Decoder an Kopierschutz
n Kein Content im geschützten Format
n Konkurrenz durch andere Decoder
Was funktioniert:
n Flexibilität, eingehen auf viele Geschäftsmodelle
© Fraunhofer IIS 40
Mitgliedschaft in Standardisierungsgremien und Organisationen
© Fraunhofer IIS 41 41
5 Generationen erfolgreicher Audio Codecs
1992 1997 2003 2007
mp3, mp3 Surround, mp3HD
AAC, AAC Low Delay
HE-AAC, HE-AACv2
MPEG Surround, AAC-ELD
xHE-AAC, -ELDv2
2012
© Fraunhofer IIS 42 42
Apple Facetime nutzt Fraunhofer-Codec AAC-ELD für beste Kommunikationsqualität
n Apple Facetime ist die neue VoIP-Anwendung von Apple für iPhone, iPad und Mac OSX
n Apple Facetime nutzt den Kommunikations-Codec Enhanced Low Delay AAC (AAC-ELD) für die Übertragung von Sprache in CD-Qualität
n Das Fraunhofer IIS war maßgeblich an der Entwicklung von AAC-ELD beteiligt
Fraunhofer-Technologie in allen iPhone4, iPad2 und Mac OS X Lion Computern
© Fraunhofer IIS 43 43
MP3: Eine deutsche Erfolgsgeschichte!
n MP3 sichert mehr als 10.000 Arbeitsplätze in Deutschland
n MP3 garantiert 300 Millionen Euro an Steuereinnahmen pro Jahr
n MP3 sichert der Fraunhofer-Gesellschaft jährlich Einnahmen in Millionenhöhe
n Erster MP3-Decoderchip stammt aus Deutschland
n Über 1000 Lizenznehmer von Audio-Patenten und hunderte erfolgreiche Produkte mit Fraunhofer- Software
© Fraunhofer IIS 44 44
Mehr als 1000 Lizenznehmer unserer Audiocodecs
© Fraunhofer IIS 45 45
International Audio Laboratories Erlangen
Einzigartige Konzeption und Struktur: Gemeinsame Forschungseinrichtung des Fraunhofer IIS und der Universität Erlangen-Nürnberg
n Finanzierung vom Fraunhofer IIS für zunächst 10 Jahre (15 angestrebt)
n Ziel: Top-Forschung im Gebiet Audio & Multimedia
Fraunhofer IIS Uni / FAU
Technische Fakultät Department EEI
Abteilungen Audio & Multimedia Echtzeitsysteme
(»IIS Labs«) 40 MA
(»AudioLabs-FAU«) 6 Professoren + 6 x 2 wiss. MA
International Audio Laboratories Erlangen
© Fraunhofer IIS
Erfolgsgeschichte MP3 – Am Fraunhofer IIS arbeiten heute mehr als 200 Experten auf dem Gebiet der Audiotechnik
© Fraunhofer IIS 47
Vielen Dank für Ihre Aufmerksamkeit
Viele in diesem Vortrag nicht genannte Kollegen des Fraunhofer IIS und von anderen Organisationen haben zum Erfolg von MP3 beigetragen. Ihnen danke ich an dieser Stelle ausdrücklich. Besondere Anerkennung gebührt: Bernd Edler, damals an der Universität Hannover James D. Johnston, damals bei den Bell Laboratories, USA Ernst Schroeder, damals bei Thomson Consumer Electronics in Deutschland