Mobile Testing @ STUGHH

Alles was Ihr schon immer über Mobile Testing wissen wollt

Daniel Knott

@dnlknttwww.adventuresinqa.com

2www.handsonmobileapptesting.com https://leanpub.com/smartwatchapptestinghttp://bit.ly/2bUasW8

Warum ist Mobile Testing sowichtig?

3

4

5

https://twitter.com/_adrianhinojosa/status/757015786057641985

6

Pokémon Go

7

Jede App kann über Nacht zum Hype werden!

8

Und dann sollte die Appstabil sein!

http://www.trustedreviews.com/opinions/how-to-fix-common-pokemon-

go-problems-bugs-issues

http://www.gameswelt.de/pokemon-go/special/die-5-nervigsten-

bugs,261518

9

Eine Technologie kann unser Leben und die Art wie wir kommunizieren grundlegend verändern.

10

11

Mobile Devices & Apps werden überall verwendet

12

Author: Ian Britton, http://www.flickr.com/photos/freefoto/728651045/

13

Author: Dan Levy, http://www.flickr.com/photos/danlevy/5607259711/

14

https://pixabay.com/static/uploads/photo/2015/04/22/09/21/barcelona-734422_960_720.jpg

15

Author: Moyan Brenn, https://www.flickr.com/photos/aigle_dore/5626341059/

16

© Daniel Knott

17

https://upload.wikimedia.org/wikipedia/commons/3/3c/Blick-ins-Buero.jpg

18

Und je nach Use Case sollten Apps auch in der

echten Umgebung getestet werden

Eure Fragen

19

20

Welches minimal Set an nicht funktionalen Tests

siehst du als absolut notwendig an?

21

1. Usability Tests2. Security Tests3. Performance Tests4. Update Test5. Check Log Files

22

Kann man eine spezielle Kategorie von

funktionalen Tests definieren, wo ein Test

mit verschiedenen Devices ein Muss ist?

23

Ja, immer dann wenn gerätespezifische

Hardwarekomponenten genutzt werden.

24

Author: amateur_photo_bore, http://www.flickr.com/photos/andresv/233667770/ Author: Rain Rabbit, http://www.flickr.com/photos/37996583811@N01/8033259053/

Author, Daniel Sancho, http://www.flickr.com/photos/teclasorg/2852716491/Author: Juan de Dios Santander Vela, http://www.flickr.com/photos/juandesant/209098053

25

https://fscl01.fonpit.de/userfiles/6727621/image/2016/HeroS-random/AndroidPIT-android-uis-4371-w782.jpg

26

Was sind die aktuellen Trends an

Toolunterstützung?

27

Github

HockeyAppLint

PMDFindBugs

CheckStyleRobolectric

Espresso

UIAutomator

KIF CalabashCocoapods

ExpectaXCTest

FBSnapshot

openSTF

...Appium Crashlytics

EarlgreyOCUnit

Robotium monkey

Chaos monkey

adb

Charles Proxy

28

Calabash

monkey

HockeyApp

Espresso

adb

Charles Proxy

29

Mobile Testing==

manuelles Testen

30

Tools sollten das Testen unterstützen

31

Calabash

monkey

HockeyApp

adb

Charles Proxy

32

Wie sieht eine angemessene Strategie für die Testautomatisierung mit Blick auf die hohe

Fragmentierung im Bereich Android aus? Oder anders herum: Vorausgesetzt, es gibt eine

Testsuite für automatisierte Tests (sagen wir 400 TCs), auf wie vielen Geräten kommt die dann

tatsächlich zur Anwendung ?

33

Antwort: Es kommt drauf an J

34

http://opensignal.com/reports/2015/08/android-fragmentation/

35

36

Wichtig sind Nutzerdaten- Tracking

37

38

Group 1, Prio A

- High End Devices- Quad Core CPU- RAM >2048MB- Full HD Display >= 5“

Group 2, Prio B

- Mid-range devices- Dual Core CPU- RAM <1024MB- Screen size <= 4“- Software not older than 1 year

Group 3, Prio C

- Small devices- Single Core- RAM < 512MB- Low screen size and resolution

- Older OS, older browser

Basierend auf den Nutzerstatistiken

39

Aus jeder Gruppe 3-4 Geräte= 9 bis 12 Geräte für die Automatisierung nutzen

40

Kleine Testsuites

41

Was glaubst Du, wie stark manaufgrund der hohen

Fragmentierung der Geräte im Androidsegment auf A/B-Tests bei Endusern setzen sollte bzw. machst Du das viel und nimmt

dies an Testcases zu?

42

Antwort: Ja und Ja J

43

Problem: Der Nutzer

44

Ich nehme an, man kommt nichtumher, sich auch echte Geräte

anzuschaffen. Welche Tipps hast Du für ein Lab Management?

45

Wichtig sind Nutzerdaten- Tracking

46

47

48

Geräte aus den Gerätegruppen kaufen

49

Top 15 Geräte der Nutzer kaufen

50

Geräte gruppieren

51

Mobile Device Management sehr wichtig

52

Mobile Rental Tool

53

Internal App Store

54www.openstf.io

Android Test Farm

55

DEMO

https://medium.com/xing-engineering/android-smartphone-test-farm-66f28f9bc73d#.oejn8d1jl

56

Welche Art von (technischem) Monitoring scheint sinnvoll,

nachdem die App in Gebrauch ist? Und wie kann man die App

Store Bemerkungen sinnvoll nutzen?

57

Crash Reporting Tools

58

HockeyAppTestflight

Crashlytics...

59

60

61

62

Eigenes Monitoring / TrackingGraylog 2

...

63

- Review der Reviews- Antworten & Nachfragen- Nicht alles zu ernst

nehmen

64

65

66

Habt ihr eine sinnvolle Strategie für die Verzahnung der

Ergebnisse aus manuellen und automatisierten Tests für den Report oder liefern die beiden

Testarten mit Hilfe unterschiedlicher Tools

unterschiedliche Reports?

67

Nein, Keine Strategie

68

Statische Code Analyse == GrünTest Automation == Grün

6+ Augen Prinzip bei Code Review

Manuelle Tests == OKCommit auf Master Branch

69

Manuelle Tests werden nicht in einem TM Tool gelistet.

Exploratives TestenContext Driven Testing

Mind Maps sind unsere Freunde

70

Welche Android Versionen sind denn interessant?Halten sich gewisse ältere Minor Versionen, obwohl es schon längst neuere Versionen gibt? (Also z.B. 4.3 - obwohl 4.4 schon länger veröffentlicht ist)

71

Antwort: Es kommt drauf an J

72

Unterschiedlich je nach Appund Land in

denen die App verfügbar ist

73

https://developer.android.com/about/dashboards/index.html

74

75

Alles unter Android 4.0 wird meist nicht mehr unterstützt

76

Viele App Hersteller unterstützen nur noch ab

Android 4.4

Weitere Fragen?

77

Vielen Dank für IhreAufmerksamkeit!www.xing.com

Daniel Knott@dnlknttdaniel@adventuresinqa.com