Anwendung des Messverfahrens PEAQ bei Produkttests und...
2
Anwendung des Messverfahrens PEAQ bei Produkttests und Audiocodecs Eva-Maria Ascherl 1 , Gregor Feneberg 2 , Gerhard Krump 3 1 M¨ uller-BBM GmbH, 82152 Planegg, Deutschland, Email: [email protected] 2 BBM Testlab, 82152 Planegg, Deutschland, Email: [email protected] 3 Hochschule Deggendorf, 94469 Deggendorf, Deutschland, Email: [email protected] Motivation Eine messtechnische Beurteilung der von Menschen wahrgenommenen Audioqualit¨ at von Komplettsyste- men w¨ are w¨ unschenswert. Aufbauend auf der Er- stuntersuchung [1] werden objektive Ergebnisse von PEAQ (Perceptual Evaluation of Audio Quality) [2] mit H¨ orvergleichen zur Beurteilung der Audioqualit¨ at anhand zweier Produktgruppen (20 TV-Lautsprecher und 21 mitgelieferte Kopfh¨ orer von Mobiltelefonen) verglichen. Die Erstuntersuchung mit Ger¨ aten stark unterschiedlicher akustischer Eigenschaften zeigte eine ausreichend hohe Korrelation nach Modifikation des Messverfahrens. Vorliegende Untersuchung beschr¨ ankt sich auf zwei Produktgruppen mit qualitativ ¨ ahnlichen Pr¨ ufmustern, also geringeren akustischen Unterschieden, um das Differenzierungsverm¨ ogen von PEAQ zu ermit- teln. Zus¨ atzlich werden Untersuchungsergebnisse vor- gestellt, welche die Beurteilung von unterschiedlichen hochaufl¨ osenden Audiocodecs objektiv durch PEAQ und H¨ orvergleiche gegen¨ uberstellen. Messverfahren PEAQ PEAQ arbeitet auf der Basis psychoakustischer Erkennt- nisse. Dabei steht immer der Vergleich zwischen Refe- renzsignal und dem Testsignal im Vordergrund. Beide Signale durchlaufen ein psychoakustisches Modell und ein Wahrnehmungsmodell (Abb. 1). Der Reiz wird objek- tiv in eine Empfindungsgr¨ oße transformiert und abschlie- ßend in MOV-Werte (Model Output Variables) zusam- mengefasst. Die kontinuierlichen Ausgabewerte DI (Dis- tortion Index) und ODG (Objective Difference Grade) werden auf Basis der MOV-Werte berechnet und ent- sprechen der f¨ unfstufigen Skala nach ITU-R BS.1116 ei- nes H¨ orvergleichs [2]. Die objektiven Kenngr¨ oßen (DI und ODG) werden f¨ ur die Gegen¨ uberstellung laut ITU- Empfehlung zu einem PEAQ-Wert zusammengefasst. Je nach Anforderung und Genauigkeit kann zwischen Abbildung 1: Prozessstadien des Messverfahrens PEAQ, nach [2] und [3] zwei verschiedenen Versionen ( ” basic“ oder ” advanced“) der Messung gew¨ ahlt werden. In der Untersuchung mit Pr¨ ufmustern wird mit der ” basic“-Version und einem nat¨ urlichen Messsignal (Vokalst¨ uck), welches die Anfor- derungen des Systems nach [2] erf¨ ullt und schon in der Erstuntersuchung [1] die besten ¨ Ubereinstimmung zwi- schen subjektiven und objektiven Qualit¨ atseindurcks lie- ferte, gearbeitet. Messtechnische und subjektive Bewertung Die zu testenden Ger¨ ate werden mittels analoger und digitaler Ein- und Ausg¨ ange direkt mit dem Audio- messger¨ at ( ” UPV“ von Rohde und Schwarz) verbun- den. Das Referenzsignal wird ¨ uber das Messger¨ at abge- spielt, im Gegenzug aufgezeichnet und auf die Audio- qualit¨ at untersucht. Die TV-Lautsprecher werden ¨ uber ein 1-Zoll-Messmikrofon im Abstand von 40 cm vor einer reflektierenden Wand im reflektionsarmen Halb- Freifeldraum abgenommen. F¨ ur die Kopfh¨ oreraufnahmen steht ein Kunstkopf mit ITU-T 3.3 Ohrtypen nach ITU- T P.57 zur Verf¨ ugung. Nach der objektiven Audioqua- lit¨ atsmessung durch PEAQ k¨ onnen die Aufnahmen im WAV-Format exportiert werden. Eventuell mitaufgenom- mene Trittschallger¨ asche werden aus den Testsignalen entfernt. Nachdem die Testsignale auf ann¨ ahernd glei- che Lautst¨ arke gebracht werden stehen die Signale f¨ ur den H¨ ortest zur Verf¨ ugung. Anstelle der in der PEAQ- Norm beschriebenen Verfahren wird die bei Produkttests g¨ angige Methode verwendet, indem die Testsignale auf der Skala von 5,5 (sehr gut) bis 0,5 (mangelhaft) in 0,5- Schritten bewertet werden. Die Erfahrung der Proban- den mit dieser Bewertungsweise sowie die relativ leichte Durchf¨ uhrbarkeit zeichnen diese Methode aus. Gegen¨ uberstellung der Bewertungen Vor der ersten Gegen¨ uberstellung der objektiven und subjektiven Bewertungen bedarf es einer Anpassung der Skalen. Die PEAQ-Werte werden auf der Skala des H¨ ortests abgebildet. Der PEAQ-Wert sollte m¨ oglichst genau dem ermittelten ZW (Zentralwert) aus dem H¨ orvergleich entsprechen. Aus den Graphiken (Abb. 2 und 3) geht hervor, dass der PEAQ-Wert und der ZW bei manchen Ger¨ aten korrelieren, bei anderen Ger¨ aten die Vergleichbarkeit der beiden Noten eher gering bleibt. Zudem ist auff¨ allig, dass die Wahrscheinliche Schwan- kung bei den Kopfh¨ orern gr¨ oßer ist als bei den TV- Lautsprechern. Mittels einer weiteren Darstellung, in wel- cher man die subjektiven und objektiven Noten in ei- nem x-y-Diagramm in Relation setzt, lassen sich genaue- DAGA 2012 - Darmstadt 599
Transcript of Anwendung des Messverfahrens PEAQ bei Produkttests und...
Anwendung des Messverfahrens PEAQ bei Produkttests und Audiocodecs
Eva-Maria Ascherl1, Gregor Feneberg2, Gerhard Krump3
1 Muller-BBM GmbH, 82152 Planegg, Deutschland, Email: [email protected] BBM Testlab, 82152 Planegg, Deutschland, Email: [email protected]
3 Hochschule Deggendorf, 94469 Deggendorf, Deutschland, Email: [email protected]
Motivation
Eine messtechnische Beurteilung der von Menschenwahrgenommenen Audioqualitat von Komplettsyste-men ware wunschenswert. Aufbauend auf der Er-stuntersuchung [1] werden objektive Ergebnisse vonPEAQ (Perceptual Evaluation of Audio Quality) [2]mit Horvergleichen zur Beurteilung der Audioqualitatanhand zweier Produktgruppen (20 TV-Lautsprecherund 21 mitgelieferte Kopfhorer von Mobiltelefonen)verglichen. Die Erstuntersuchung mit Geraten starkunterschiedlicher akustischer Eigenschaften zeigte eineausreichend hohe Korrelation nach Modifikation desMessverfahrens. Vorliegende Untersuchung beschranktsich auf zwei Produktgruppen mit qualitativ ahnlichenPrufmustern, also geringeren akustischen Unterschieden,um das Differenzierungsvermogen von PEAQ zu ermit-teln. Zusatzlich werden Untersuchungsergebnisse vor-gestellt, welche die Beurteilung von unterschiedlichenhochauflosenden Audiocodecs objektiv durch PEAQ undHorvergleiche gegenuberstellen.
Messverfahren PEAQ
PEAQ arbeitet auf der Basis psychoakustischer Erkennt-nisse. Dabei steht immer der Vergleich zwischen Refe-renzsignal und dem Testsignal im Vordergrund. BeideSignale durchlaufen ein psychoakustisches Modell undein Wahrnehmungsmodell (Abb. 1). Der Reiz wird objek-tiv in eine Empfindungsgroße transformiert und abschlie-ßend in MOV-Werte (Model Output Variables) zusam-mengefasst. Die kontinuierlichen Ausgabewerte DI (Dis-tortion Index) und ODG (Objective Difference Grade)werden auf Basis der MOV-Werte berechnet und ent-sprechen der funfstufigen Skala nach ITU-R BS.1116 ei-nes Horvergleichs [2]. Die objektiven Kenngroßen (DIund ODG) werden fur die Gegenuberstellung laut ITU-Empfehlung zu einem PEAQ-Wert zusammengefasst.Je nach Anforderung und Genauigkeit kann zwischen
Abbildung 1: Prozessstadien des Messverfahrens PEAQ,nach [2] und [3]
zwei verschiedenen Versionen (”basic“ oder
”advanced“)
der Messung gewahlt werden. In der Untersuchung mitPrufmustern wird mit der
”basic“-Version und einem
naturlichen Messsignal (Vokalstuck), welches die Anfor-derungen des Systems nach [2] erfullt und schon in derErstuntersuchung [1] die besten Ubereinstimmung zwi-schen subjektiven und objektiven Qualitatseindurcks lie-ferte, gearbeitet.
Messtechnische und subjektive Bewertung
Die zu testenden Gerate werden mittels analoger unddigitaler Ein- und Ausgange direkt mit dem Audio-messgerat (
”UPV“ von Rohde und Schwarz) verbun-
den. Das Referenzsignal wird uber das Messgerat abge-spielt, im Gegenzug aufgezeichnet und auf die Audio-qualitat untersucht. Die TV-Lautsprecher werden uberein 1-Zoll-Messmikrofon im Abstand von 40 cm voreiner reflektierenden Wand im reflektionsarmen Halb-Freifeldraum abgenommen. Fur die Kopfhoreraufnahmensteht ein Kunstkopf mit ITU-T 3.3 Ohrtypen nach ITU-T P.57 zur Verfugung. Nach der objektiven Audioqua-litatsmessung durch PEAQ konnen die Aufnahmen imWAV-Format exportiert werden. Eventuell mitaufgenom-mene Trittschallgerasche werden aus den Testsignalenentfernt. Nachdem die Testsignale auf annahernd glei-che Lautstarke gebracht werden stehen die Signale furden Hortest zur Verfugung. Anstelle der in der PEAQ-Norm beschriebenen Verfahren wird die bei Produkttestsgangige Methode verwendet, indem die Testsignale aufder Skala von 5,5 (sehr gut) bis 0,5 (mangelhaft) in 0,5-Schritten bewertet werden. Die Erfahrung der Proban-den mit dieser Bewertungsweise sowie die relativ leichteDurchfuhrbarkeit zeichnen diese Methode aus.
Gegenuberstellung der Bewertungen
Vor der ersten Gegenuberstellung der objektiven undsubjektiven Bewertungen bedarf es einer Anpassung derSkalen. Die PEAQ-Werte werden auf der Skala desHortests abgebildet. Der PEAQ-Wert sollte moglichstgenau dem ermittelten ZW (Zentralwert) aus demHorvergleich entsprechen. Aus den Graphiken (Abb. 2und 3) geht hervor, dass der PEAQ-Wert und der ZWbei manchen Geraten korrelieren, bei anderen Geratendie Vergleichbarkeit der beiden Noten eher gering bleibt.Zudem ist auffallig, dass die Wahrscheinliche Schwan-kung bei den Kopfhorern großer ist als bei den TV-Lautsprechern. Mittels einer weiteren Darstellung, in wel-cher man die subjektiven und objektiven Noten in ei-nem x-y-Diagramm in Relation setzt, lassen sich genaue-
DAGA 2012 - Darmstadt
599
re Aussagen treffen. Das bei dieser Untersuchung ermit-telte Bestimmtheitsmaß (bei idealer Ubereinstimmunggleich 1) von 0,1 bei den TV-Lautsprechern und von 0,27bei den Kopfhorern ist nicht geeignet, um die ublichenHortests zu ersetzen.
Abbildung 2: Vergleich der subjektiven und objektiven Be-wertung bei TV-Lautsprechern
Abbildung 3: Vergleich der subjektiven und objektiven Be-wertung bei Kopfhorern
Mit zusatzlich gemessenen Faktoren (Frequenzgangbe-wertung und A-bewertetem Maximalpegel) kann dasMessverfahren modifiziert werden und eine positive Aus-wirkung auf die Korrelation erreicht werden. Auch diestarkere Einbeziehung einzelner Modellausgangsvaria-blen optimieren das Messverfahren.
Beurteilung von Audiocodecs
Uber den eigentlichen Zwecks hinaus, Signale mitniedrigen Bitraten mittels PEAQ zu prufen [2], wer-den in dieser Untersuchung hochauflosende Codecs wieDolby Digital und DTS getestet und Horvergleichengegenubergestellt. Das Ziel des Versuchs bestehthauptsachlich darin, die Eignung von PEAQ fur solcheAudiocodierungen und deren Aussagekraft hinsichtlichAudioqualitat festzustellen. Fruhere Studien [1] zur Mes-sung der Signalqualitat mit PEAQ erzielten plausible Er-gebnisse mit Sequenzen bis einschließlich 256 kbit/s. AlsMesssignal dient das Vokalstuck aus der ersten Untersu-chung und ein Klavierausschnitt. Das objektive Ergebniswird wie in der ersten Untersuchung auf die Horvergleich-Skala abgebildet und in Diagrammen gegenubergestellt.Die Aussagen beider Sequenzen und Versionen stimmengut uberein, so dass exemplarisch in Abb. 4 die Ergebnis-se der
”basic“-Version beim Vokalstuck dargestellt sind.
Die”advanced“-Version bewertet die Qualitat strenger
als die”basic“-Version. Starkere Pegeldifferenzen und
Abbildung 4: Gegenuberstellung des ermittelten Zentral-wertes aus dem Horvergleich und der PEAQ-Messung beimVergleich verschiedener auf der Abszisse aufgetragener Au-diocodecs mit zugehoriger Datenraten in kbit/s hinsichtlichQualitat
Kompressionen im Testsignal der Dolby-Codierungensind Ursache, dass die Dolby-Produkte sowohl objektivals auch subjektiv schlechter als die DTS-Signale bewer-tet werden. Die Bewertung der HD-Codierungen (DTS-HD Master Audio und Dolby TrueHD) fallt schlechter imVergleich zu den normalauflosenden DTS-Codierungenaus. Viele Signale werden objektiv mit der Note 5 be-urteilt, was eine Differenzierung ausschließt. Bei kleine-ren subjektiven Unterschieden zwischen dem unkompri-mierten Referenzsignal und dem Testsignal (wie z.B. Dol-by Digital mit 96 und 192 kbit/s) reagiert das PEAQ-Verfahren wiederum zu stark. Probanden beurteilen dieseSignalunterschiede deutlich milder.
Zusammenfassung
Bei den durchgefuhrten Untersuchungen bei TV-Lautsprechern und Kopfhorern kann die PEAQ-Beurteilung durch zusatzliche Faktoren, welche jedocheproduktspezifisch sind, angepasst werden. Jedoch reichtdas in der Untersuchung ermittelte Bestimmtheitsmaßnicht aus, ausfuhrliche Horvergleiche bei Produktver-gleichstest zu ersetzen. Bei der Untersuchung mit hoch-auflosenden Audicodecs bewertet PEAQ entweder zu un-differenziert oder zu streng im Vergleich zu den Proban-den. Grundsatzlich kann man hier von einem gelunge-nem Ergebnis sprechen, da die maximale Differenz zwi-schen subjektiver und objektiver Bewertung innerhalb ei-ner Kategorie liegt.
Literatur
[1] Fischer, J., Feneberg, G., Krump, G.: Vergleich desMessverfahrens PEAQ mit Horversuchen in Produkt-tests. in DAGA 2011, Dusseldorf, Verlag: DEGA, Ber-lin, 2011
[2] ITU-R Rec. BS.1387-1, Method for objective measu-rements of perceived audio quality. International Te-lecommunications Union 2001
[3] Th. Tiede et al. PEAQ - der kunftige ITU-Standardzur objektiven Messung der wahrgenommenen Audio-qualitat
DAGA 2012 - Darmstadt
600
