Modellbasiertes Testen Subjektivbewertung vs. … · • Dabei ist auf Vergleichbarkeit,...

© Niels Koch Altran 2013

Modellbasiertes TestenSubjektivbewertung vs. Meßbarkeit

• Niels Koch (Dipl.-Ing)

• Senior Consultant – Technical Expert• Altran GmbH Co.KG• München


Hörbeispiel

• Radio Empfang im Tunnel

Video Petuel-Tunnel München

• Subjektiver Höreindruch soll über ein gutes oder schlechtes Radio bzw. Antennensystem entscheiden.

• Ist das prozeßsicher ?

• Wie kann man eine subjektive Bewertung objektivieren ?


Problembeschreibung

• Neben Komponententests und Funktionstestswird häufig der Kundennutzen durchSubjektivtests dargestellt.

• Wie gestaltet man eine subjektive Bewertung so prozeßsicher, daß eine objektive Bewertungeiner Funktion gegeben ist ?

• Diskrepanz nur über Umwege lösbar !

• Schritt 1: Systemverständnis entwickeln

• Schritt 2: Umweg-Parameter finden


Beispiel Empfang DAB / DVB Systemverständnis

Empfangscharakteristik der Antenne im Fahrzeug


Systemverständnis

� Empfangssignal wird von Antenne

aufgenommen, verstärkt und an das Radio weitergeleitet.

� Audio Signal wird über Lautsprecheranlagefür den Fahrer / Beifahrer dargestellt

� Fahrer / Beifahrer bewertet den Sound inklusive aller Störquellen

� Sehr hohe Fehleranfälligkeit, da Störungen mit

in die Bewertung einfließen.

� Keine Klassifizierung der Störungen möglich.


Mehrwegeausbreitungsproblematik

Frequenzselektives Auslöschen von Informationen

auch frequenzselektiver Schwund (Fading) genannt.

Empfangszone

∑ +⋅

)2( idvj

i eAφπ

Bitfehler führt zu Bildfehlern


Abrupte Signal- und Tonänderungen durch

Bit- und Quantisierungsfehler

Bei DAB äußert sich das in Pfeifen, Zwitschern,

Gurgeln und Blubbern, bis hin zur

Unverständlichkeit und Unterbrechungen.

4 6 85 7 7 6 5 3 14 2 0 1 32 4 5 6 87 7 6 5 34

8 Bit

digitalisierter

Datenstrom

4 6 85 7 7 6 5 0 10 0 0 1 00 0 1 0 10 7 6 5 34

-1

-0,75

-0,5

-0,25

0

0,25

0,5

0,75

1

Bitfehlern

Auswirkungen von Bitfehlern bei der Übertragung

Hörbeispiel gestörter Empfang

BewertungsumwegBitfehler führen zu getrübten Hörvergnügen oder Bildfehler im DVB-T

Messung der Bitfehler

und Definition der Bewertungsschwellen

Pfeifen: Note 2

Gurgeln: Note 3Aussetzen: Note 4Unterbrechung: Note 5


Fahrtest: Datenaufzeichnung

-100

-90

-80

-70

-60

-50

-40

-30

Drive Time

Rec

epti

on

Lev

el i

n d

Bm

Feld-Stärke

Richtung

Geschwindigkeit

GPS-Position

Signal

QualitiätEMV

Störung

0

20

40

60

80

100

120

140

160

180

200

-2 0 -1 0

0 1 0 2 0 3 0 4 0 P e g e l [d B µ V ]

7 0 M 8 0 M 9 0 M 1 0 0 M 1 1 0 M 1 2 0 M F r e q u e n z [ H z ]

8091901A4801.0665N01156.2266E034.4153.10112052000000479091904A4801.0416N01156.2479E034.4150.6011205200000174

10091907A4801.0193N01156.2732E033.3140.201120520000017011091910A4801.0027N01156.3052E032.5121.1011205200000380

12091913A4800.9911N01156.3421E032.9114.7011205200000286

Trigger für simultane Messungen über Radsensor


Testaufbau mittels Referenzsystem

DABDetectors

1

AUT

REF

Reference

Audio

SD-CardDataStorage

GPS

synchronisierte & kalibrierte Messungen

Wheel/ABS Sensor


Fahrtest: Nachbearbeitung

-90

-85

-80

-75

-70

-65

-60

-55

-50

Fa hr z e i t Re f

-90

-85

-80

-75

-70

-65

-60

-55

-50

0,01

0,1

1

10

100

1000

Fahr z ei t Ref

0,01

0,1

1

10

100

1000

Signal Reference

BER Reference

Signal AUT

BER AUT

-90

-85

-80

-75

-70

-65

-60

-55

-50

Level HS E 90

-85

-80

-75

-70

-65

-60

-55

-50

0,01

0, 1

1

10

100

1000

0,01

0,1

1

10

100

1000


Korrelation der Empfangsdaten

0,01

0,1

1

10

100

1000

Fahr z ei t Ref

0,01

0,1

1

10

100

1000

Diese Darstellung ist wenig managementtauglich


Darstellung in geeigneter Form

0

20

40

60

80

100

120

140

160

180

200

-90 -85 -80 -75 -70 -65 -60 -55 -50

Recept i on Level i n dBm

Ref er ence Antenna

Limousine

Rear -WindowSchlechtes System

gutes System


Beispiel eines guten SystemsC o mpariso n o f a dif ferent A ntenna C o ncepts

0

50

100

150

200

250

300

350

400

450

500

550

-105 -100 -95 -90 -85 -80 -75 -70

Recept i on Level i n dBm

Ref er ence

AUT

Signal-to-Noise Ratio

zu bewertendes System ist fast identisch zum Referenzsystem -> guter Empfang


Ohne Mathematik geht es nicht

0 2 4 6 8 10 12 14 16 18 201 .10

211 .10

201 .10

191 .1018

1 .1017

1 .1016

1 .1015

1 .10141 .1013

1 .1012

1 .1011

1 .1010

1 .109

1 .1081 .107

1 .106

1 .105

1 .104

1 .1030.010.1

1BER Probability vs. SNR for QPSK

Signal to Noise Ratio (E/No)

Bit

Err

or

Pro

bab

ilit

y

BER4PSK SNR( )

5

SNR

BERQAM SNR m,( ) 1 1 22

m1−( )

2m

erfc3

2 2m

1−( )m⋅ 10

SNR

10⋅

⋅2m

1−

2m

erfc3m

2 2m

1−( )10

SNR

10⋅

⋅−

2

1

m

−

−:=

-20

-10

0

10

20

30

40

170 M 180 M 190 M 200 M 210 M 220 M 230 M 240 M

Frequenz (Hz)

Level ((dBuV))

Peak TV-Peak-GW

- 2 0 - 1 0

0 1 0 2 0 3 0 4 0 P e g e l [ d B µ V ]

7 0 M 8 0 M 9 0 M 1 0 0 M 1 1 0 M 1 2 0 M F r e q u e n z [H z ]


Vorausberechnung der Empfangsqualität bereits

während der Testfahrt

Calculated vs. Measured BER during Driving

1,E-07

1,E-06

1,E-05

1,E-04

1,E-03

1,E-02

1,E-01

1,E+00

0 0,5 1 1,5 2 2,5 3 3,5 4

SNR

BE

R P

rob

abil

ity

ERFC

Meas_BER

Vergleich der Meßwerte mit vorausberechneten Sollwerte führt zu unmittelbaren

Qualitätsaussagen noch während der Testfahrt


Hörbeispiel

• Guter Radioempfang im Tunnel

Video Petuel-Tunnel München

• Subjektiver Höreindruch wird mit Bewertungs-kriterienvergleichbar

• Zugleich wird Empfang über ein Meßsystem beweisbar

• Prozeßsicherheit ist hergestellt und wiederholbar


Zusammenfassung

• Auch schwierige, subjektiv geprägte Kundennutzentests müssenprozeßsicher durchgeführt werden.

• Dabei ist auf Vergleichbarkeit, Nachvollziehbarkeit und Wiederholbarkeitzu achten.

• Durch tiefes Systemverständnis ist man in der Lage, nicht-offensichtlicheParameter und Zusammenhänge zu erkennen und zu nutzen.

• Auch Umweg-Größen können zur Meßbarkeit des Systems führen.• Klassifizieren von Subjektiveindrücken mit diesen Meßgrößen fördert

Vergleichbarkeit.• Geeignete Darstellung fördert Akzeptanz und plausibilisiert

Abnahmekriterien

• besonderes Feature: bereits während der Testfahrt sind Bewertungenmöglich, indem erwarteter (vorausberechneter Wert) mit Istwert online verglichen werden.

• Prozeßsicherheit ist hergestellt, indem der Meßablauf definiert und, wenn möglich, automatisiert wird

• Subjektive Eindrücke sind meßbar, vergleichbar, wiederholbar und prozeßsicher.

Modellbasiertes Testen Subjektivbewertung vs. … · • Dabei ist auf Vergleichbarkeit,...

Documents

Transcript of Modellbasiertes Testen Subjektivbewertung vs. … · • Dabei ist auf Vergleichbarkeit,...