Monitoring and Performance Evaluation of RCSe (joyn) Video Communication Service · Native Joyn...

18
Monitoring and Performance Evaluation of RCSe (joyn) Video Communication Service Osnabrück, 16.05.2013 Forschungsprojekt AVQoX Andreas Grebe, Stephan Küffner, Oliver Portugall

Transcript of Monitoring and Performance Evaluation of RCSe (joyn) Video Communication Service · Native Joyn...

Page 1: Monitoring and Performance Evaluation of RCSe (joyn) Video Communication Service · Native Joyn Applikationen Page 3// 18 Deutsche Telekom • Native App nur Chat Funktion • Zuschalten

Monitoring and Performance

Evaluation of RCSe (joyn)

Video Communication Service

Osnabrück, 16.05.2013

Forschungsprojekt AVQoX

Andreas Grebe, Stephan Küffner, Oliver Portugall

Page 2: Monitoring and Performance Evaluation of RCSe (joyn) Video Communication Service · Native Joyn Applikationen Page 3// 18 Deutsche Telekom • Native App nur Chat Funktion • Zuschalten

Was ist Joyn?

Page 2// 18

Spezifikation von der GSMA - RCSe

• Gemeinsamer Standard für Nachrichten-, Sprach und

Videodienste

Providerübergreifende Funktionalität

Version 5.1

• Video Call

• Voice Call

• Chat

• Dateien Senden

• Video Share

Page 3: Monitoring and Performance Evaluation of RCSe (joyn) Video Communication Service · Native Joyn Applikationen Page 3// 18 Deutsche Telekom • Native App nur Chat Funktion • Zuschalten

Native Joyn Applikationen

Page 3// 18

Deutsche Telekom

• Native App nur Chat Funktion

• Zuschalten von Video Share

während eines Gesprächs

durch Overlay Buttons

Vodafone

• App mit Voice und Video Funktion nach RCSe 5.1

• Voice-over-IP und Video-over-IP

• Video Call “+g.gsma.rcs.bevoicevideo”

• Standalone App (Video Call) & Overlay Buttons (Video Share)

Page 4: Monitoring and Performance Evaluation of RCSe (joyn) Video Communication Service · Native Joyn Applikationen Page 3// 18 Deutsche Telekom • Native App nur Chat Funktion • Zuschalten

AV QoX Probe - Netzwerkansicht

Page 4// 18

Endgeräte unabhängig

• Messungen auf Android SmartPhones ab Android 2.2 (API 8)

Providerübergreifende Messungen möglich

Page 5: Monitoring and Performance Evaluation of RCSe (joyn) Video Communication Service · Native Joyn Applikationen Page 3// 18 Deutsche Telekom • Native App nur Chat Funktion • Zuschalten

AV QoX Probe - Detailansicht

Page 5// 18

Zeitgesteuerte Messungen über USB

Volle Kontrolle über die Native Joyn

Applikation

Video Calls initiieren

Video Calls beenden

Kamera wechseln

Passiver AVQoX Messkopf

Joyn Applikation kommuniziert mit

Provider IMS

Berechnung und Speicherung der

Messdaten auf externen Servern

Page 6: Monitoring and Performance Evaluation of RCSe (joyn) Video Communication Service · Native Joyn Applikationen Page 3// 18 Deutsche Telekom • Native App nur Chat Funktion • Zuschalten

Messablauf - Manuell

Page 6// 18

Öffnen der AVQoX App & starten des Messkopfes

Joyn Video Call initiieren

Joyn Video Call beenden & stoppen der AVQoX App

Zur Ergebnis- seite wechseln

Messdaten im Webfrontend auswerten

Messdaten betrachten

”Standalone App” mit GUI zum Starten/Stoppen des Messkopfes

Page 7: Monitoring and Performance Evaluation of RCSe (joyn) Video Communication Service · Native Joyn Applikationen Page 3// 18 Deutsche Telekom • Native App nur Chat Funktion • Zuschalten

Messablauf - Automatisch

Page 7// 18

Homescreen

Automatisiert Joyn Video Call initiieren

Joyn Video Call beenden

Messdaten im Webfrontend auswerten

”Background Service” für automatisierte Messungen in Android

Page 8: Monitoring and Performance Evaluation of RCSe (joyn) Video Communication Service · Native Joyn Applikationen Page 3// 18 Deutsche Telekom • Native App nur Chat Funktion • Zuschalten

AV QoX Probe

Page 8// 18

Page 9: Monitoring and Performance Evaluation of RCSe (joyn) Video Communication Service · Native Joyn Applikationen Page 3// 18 Deutsche Telekom • Native App nur Chat Funktion • Zuschalten

Messergebnisse

Page 9// 18

Messzeitpunkt Richtung des Netzwerkverkehrs GPS Position Zellen Informationen - ID/LAC/Signalstärke/Provider

Ethernet IP UDP/TCP RTP

Page 10: Monitoring and Performance Evaluation of RCSe (joyn) Video Communication Service · Native Joyn Applikationen Page 3// 18 Deutsche Telekom • Native App nur Chat Funktion • Zuschalten

Messergebnisse - Variabel

Page 10// 18

Call Duration Bitrate Profile / Level Picture size Slices Loss Media Quality Score

Subjective Quality Score

Page 11: Monitoring and Performance Evaluation of RCSe (joyn) Video Communication Service · Native Joyn Applikationen Page 3// 18 Deutsche Telekom • Native App nur Chat Funktion • Zuschalten

Video QoE basiert auf Bitstream Layer Model

Keine Beeinflussung (non-intrusive)

Keine Referenz (non-reference)

Live Analyse (in-service)

Video QoX Model

Page 11// 18

Page 12: Monitoring and Performance Evaluation of RCSe (joyn) Video Communication Service · Native Joyn Applikationen Page 3// 18 Deutsche Telekom • Native App nur Chat Funktion • Zuschalten

Messergebnisse - Joyn Streams

Page 12// 18

Joyn Video Codec: H.264 / Baseline / Level 1.1-1.3

Resolution: 320 x 176

Datenrate Video Stream: ~300kBit/s

Anzahl I-Slices: ~4%

Anzahl P-Slices : ~96%

Example

Netzwerk Typ: HSPA

MQS: 4.233

Paketverlust : ~0.678%

Page 13: Monitoring and Performance Evaluation of RCSe (joyn) Video Communication Service · Native Joyn Applikationen Page 3// 18 Deutsche Telekom • Native App nur Chat Funktion • Zuschalten

Messergebnisse - Joyn Streams Details

Page 13// 18

H.264 Baseline Profile

Level Parameters Vodafone Telekom

1.1 320x240 / 10FPS / max 192 kbps 6.9% 100%

1.2 320x240 / 20FPS / max 384 kbps 89.3% 0%

1.3 320x240 / 30FPS / max 768 kbps 3.8% 0%

Level Provider Video bitrate Resolution

1.1 Telekom 55 – 161 kbps 320x176 / 176x144

1.1 Vodafone 26 – 130 kbps 320x176

1.2 Vodafone 22 – 341 kbps 320x176

1.3 Vodafone 17 – 659 kbps 320x176

Signalisiertes H.264 Profil und Level

Verwendete H.264 Parameter

Page 14: Monitoring and Performance Evaluation of RCSe (joyn) Video Communication Service · Native Joyn Applikationen Page 3// 18 Deutsche Telekom • Native App nur Chat Funktion • Zuschalten

Messergebnisse - Joyn Streams Details

Page 14// 18

Paketverlust in % - Telekom

Media Quality Score - Telekom

Page 15: Monitoring and Performance Evaluation of RCSe (joyn) Video Communication Service · Native Joyn Applikationen Page 3// 18 Deutsche Telekom • Native App nur Chat Funktion • Zuschalten

Messergebnisse - Joyn Streams Details

Page 15// 18

Paketverlust in % - Vodafone

Media Quality Score - Vodafone

Page 16: Monitoring and Performance Evaluation of RCSe (joyn) Video Communication Service · Native Joyn Applikationen Page 3// 18 Deutsche Telekom • Native App nur Chat Funktion • Zuschalten

Messergebnisse - Joyn Streams Details

Page 16// 18

Statistische Verteilung Media Quality Score

• 1800 Messungen - Messintervall 15 Sekunden

• > 50 % - MQS von 4.4

• 73 % - MQS > 4.0

• 19 % - MQS < 3.7

Page 17: Monitoring and Performance Evaluation of RCSe (joyn) Video Communication Service · Native Joyn Applikationen Page 3// 18 Deutsche Telekom • Native App nur Chat Funktion • Zuschalten

Ausblick

Page 17// 18

Benchmarking

• Automatisiert

• Vergleichende Messungen mit Video Share

• Messungen zwischen den Providern

O2 veröffentlicht Joyn App Mitte 2013

Page 18: Monitoring and Performance Evaluation of RCSe (joyn) Video Communication Service · Native Joyn Applikationen Page 3// 18 Deutsche Telekom • Native App nur Chat Funktion • Zuschalten

Vielen Dank für Ihre Aufmerksamkeit

Page 18// 18

Kontakt

[email protected]

• stephan.kü[email protected]

[email protected]

Webseite

• www.avqox.de