Mobile App Testing -Mit der richtigen Strategie zum Erfolg

bbv Software Services AG | www.bbv.ch | 03.09.2015 | Q-Event 2015 – Erfolgsfaktor Testing 1

Thomas Rieger

Aus dem Alltag eines Mobile App Users…

2

Zu meiner Person

• Thomas Rieger, wohnhaft in Schönbühl bei Bern

• Seit 4 Jahren Testmanager bei bbv Software Services in Bern

• Betriebswirtschaft und Wirtschaftsinformatik studiert

• Rund 12 Jahre Erfahrung im Testing-Umfeld als Testengineer und

Testmanager

• Leitung bbv Kompetenz-Center Mobile App Testing

• Hobby: Tennis

3

Agenda

• Herausforderungen im Mobile App Testing

• Wichtige Fragen zu Beginn eine Mobile App Projekts

• Testumgebungen und Tools

• Fragen

4

Herausforderungen im Mobile App Testing

5

Gerätevielfalt iOS

6

Quelle: http://jamesdempsey.net/ios-device-summary/ Quelle: OpenSignal August 2015

Gerätevielfalt Android

7

Quelle: OpenSignal August 2015 Quelle: OpenSignal August 2015

Die optimale Geräteabdeckung

8

Quelle: Perfecto Mobile, Device Coverage Deutschland

Stand: August 2015

Betriebssystem Vielfalt

iOS

iOS 8

iOS 7

frühereVersionen

Android

5.1 Lollipop

5.0 Lollipop

4.4 Kitkat

4.3 Jelly Bean

4.2 Jelly Bean

4.1 Jelly Bean

4.0.0-4.0.4 ICS

2.3.3-2.3.7Gingerbread2.2 Froyo

9

Quelle: OpenSignal, August 2015

Verschiedene Mobile App Architekturen

10

Native App Web App Hybrid Apps

Code Portabilität Gering Hoch Hoch

Hardware Zugriff Hoch Gering Mittel

Performanz Hoch Mittel Mittel

Entwicklungskosten Hoch Gering Mittel

Unterschiedliche Verbindungstypen

• Unterschiedliche Netzbetreiber

• Protokollumwandlung

• Netzwerkwechsel

• Netzwerkabbruch

• Unterschiedliche Bandbreiten

11

Mobile App Testumgebungen und Tools

Testumgebungs-Varianten

Testautomatisierung

12

Bitte nicht so…

13

Einsatz von Desktop Browsern

• Für Mobile Web Apps geeignet

• Günstige Variante

• Verschiedene Gerätetypen simulieren

• Gute Debugging Möglichkeiten

• Ladeverhalten bei unterschiedlichen

Verbindungen simulieren

14

Einsatz von Emulatoren/Simulatoren

• Virtuelle Nachbildung von Endgeräten

• Günstige Variante

• Funktionale Tests in früher Testphase

• Kein vollständiger Ersatz für physische

Geräte

• Keine Aussage über Performance möglich

15

Aufbau eines eigenen Gerätelabors

• Hohe Kosten je nach Ausstattung

• Realitätsnahe Tests

• Einsatz von Geräteverwaltungs-

Software empfohlen

• Open Device Labs auch in der

Schweiz

16

Einsatz einer Device Cloud

• Fernzugriff auf echte Endgeräte oder

Emulatoren

• Sofort einsatzbereit

• Capture / Replay Funktion

• Interrupt Tests möglich

• Verschiedene Gerätestandorte wählbar

• Bezahlung nach Dauer der Nutzung

• Grosse Anzahl Geräte/OS Kombinationen

17

Crowd Testing

• Unvoreingenommene Tester

• Grosse Gerätevielfalt

• Zielgruppen können definiert werden

• Ad hoc verfügbar

• Gut geeignet für Beta Tests

• Security / Datenschutz beachten

18

Quelle: Beispiel von Testbird.de

Überfordert beim manuellen App Testing…

19

Automatisieren Sie Ihre Tests!

• Kürzere Testzyklen

• Cross-Plattform Testing möglich

• Zeitliche Unabhängigkeit bei der Testausführung

• Freie Testressourcen für andere Testaktivitäten

• Testscripts mit jeder Version nachziehen

• Anbindung an Device Cloud und Integration in CI Umgebung

• Toolevaluation

20

Führende Mobile App Test Automatisierungs-Tools:

Zusammenfassung

21

Testen Sie sowohl auf Emulatoren als auch auf physischen Endgeräten. Führen

Sie vor der Einführung einen Beta-Test mit «richtigen» Endbenutzern durch, evtl.

mit Hilfe der Crowd.

Automatisieren Sie die funktionalen GUI-Tests und führen Sie diese mit jedem

Sprint aus. Optimaler weise integrieren Sie die Testscripts in eine CI Umgebung.

Definieren Sie zu testende Geräte- und Betriebssystem-Kombinationen. Die

Anzahl Testfälle können somit erheblich reduziert werden.

Zufriedene Mobile App User!

22

Merci

Fragen

23

Thomas Rieger

bbv Software Services AG

Sulgenauweg 31

3000 Bern 23

bbv Software Services AG | www.bbv.ch | 03.09.2015 | Mobile App Testing - Mit der richtigen Strategie zum Erfolg 24

MAKING VISIONS WORK.

Thomas.rieger@bbv.ch

Telefon +41 31 378 08 33

www.bbv.ch

Kontakt

• bbv Software Services berät Sie gerne bei Ihren Mobile App Vorhaben, von

der Idee bis zur Einführung. Treten Sie mit uns in Kontakt!

• Interessiert an der Cross-Plattform Entwicklung mit Xamarin? bbv Academy

bietet demnächst eine 2-tägige Schulung zu diesem Thema an.

25

Quellen und Links

Device Clouds:

http://www.perfectomobile.com/

http://developer.samsung.com/remotetestlab/rtlFAQ.action

http://www.keynote.com/solutions/testing/mobile-testing#realdevices

https://saucelabs.com/ (nur Emulator Cloud)

http://xamarin.com/test-cloud

Mobile App Testautomatisierung:

http://www.appium.io (Open Source Mobile Test Framework)

http://www.ranorex.com (Commercial)

Mobile Security Testing:

http://www-03.ibm.com/software/products/en/appscan-mobile-analyzer

26