Mobile Testmöglichkeiten Qualitätssicherung & Testdienstleistungen (QATS)
-
Upload
ivonne-kehler -
Category
Documents
-
view
103 -
download
0
Transcript of Mobile Testmöglichkeiten Qualitätssicherung & Testdienstleistungen (QATS)
Mobile TestmöglichkeitenQualitätssicherung & Testdienstleistungen (QATS)
2© Hexaware Technologies. All rights reserved.
Agenda
• QATS Mobile-Testangebote• Mobile-Testautomationsframeworks• Mobile-Anwendungstestarten• Mobile-Teststrategien• Möglichkeiten zur Wiederverwendbarkeit der Mobile-
Testlösungen • Fallbeispiele – Mustererfahrung beim Testen von
Mobilen
3© Hexaware Technologies. All rights reserved.
Mobile Testangebote von Hexaware
Kernmobilanwendungsprüfung• Funktions-, Verträglichkeits-, Nutzungs-,Stresstestmethodologien• Generische Verwendbarkeitstestfallsuite für iOS und
Androidanwendungen
Funktionelle Testautomation• AutomationsbeschleunigerFramework unterstüzt für Android, iOS,
Blackberry und Windows Mobile mithilfe von HP QTP und QC• Automation Implementation Frameworks für kaufmännische Tools
wie ZAPfix, eggPlant, SeeTest, Perfecto Mobile, usw
Leistungsprüfung• Möglichkeiten zur serverseitigen Prüfung der Mobile-Portal-Server• Verprobung von Speicher/ Einheit Ressourcennutzungsmerkmalen
der Anwendungsszenarien
Mobile Cloud Testing• Cloudbasierte Prüfung von Applikationen auf verschiedenen
Mobile-Plattformen und Einheiten mittels professionellen Dienstleistungen wie Perfecto Mobile.
Open Source Testlösungen• Testautomationsframeworks gebaut mittels Open –
Source.Lösungen wie Robotium (für Android), Selenium (Mobile Web Apps Automation für iOS und Android – dies ist in der Umsetzung).
Platform Expertise
Solution Partners
4© Hexaware Technologies. All rights reserved.
Mobile Testautomationsangebote von Hexaware
• Unterstüzt Automation mithilfe von tradionellen Testautomationstools (HP QC und QTP)
• Nutzt Tools und Funktionen aus unserer bestehenden ‘BPT Accelerator-Framework’
• Unterstüzt auf allen Haupt-Mobile-Plattformen(iOS, Android, BlackBerry, Windows Mobile)
• Guter Einrichtungsgegenstand für Kunden,die günstige Lösungen suchen-keine Investition in Werkzeuge
• Unterstüzt systemeigene und webbasierte Anwendungen
• Kann als Erweiterung der Einheit-Testing-Framework für Mobile- Anwendungen genutzt werden
• Nutzung der Modular Hybrid Rahmen für kommerzielle Lösungen wie ZAPfix,Perfecto,EggPlant, usw
• Bietet Möglichkeiten zur Bildschirmerkennung basiert auf virtuellen Objekten
• Bietet Unterstützung für eine große Vielfalt von OS Plattformen (iOS, Android, BlackBerry Windows Mobile, usw) und Wertebereichen von OS versions.
BPT Automation Framework
Open Source
Automation Framework
KaumännischeAutomation Frameworks
5© Hexaware Technologies. All rights reserved.
BPT Akzelatoren
Business Komponenteponents
Business Prozess
Mobile Emulatorkomponente (Aktionen, Events, GUI Komponente, etc)MobileApp Testfälle/Szenarien angelegt als Business Prozess Tests als Kombination von Business-Komponenten
Framework Characteristics
BPT Mobilautomationsframework
Emulator/Simulator/Mobile Devices• iOS• Windows Mobile• BlackBerry• Android
Agent
Anwendung
M-eux Test Device Manager
QTP
‘M-eux Test’ Add In
QC
► Erweiterbarkeit auf verschiedene Versionen von der Mobil/OS/Familie von Handgeräten(iOS, Android, BlackBerry, Win Mobile)
► Effizienz Effiziente Testskriptentwicklungsansatz unter Nutzung der Vorteile von BPT Akzelatoren
► Pflegbarkeit/Wederverwendbarkeit Reduktion der Test folgepflegelesitung durch ortsgebundene wiederverwendbare mehrereTestskripte übergreifende BPT Komponente wobei RoI schneller realisiert wird.
► Skalierbarkeit Möglichkeiten zur Erweiterung des Rahmens auf andere Mobile-Betriebssysteme
► Datenbetriebene Testdatenabzug aus Testskripten (Business Prozess -Tests)
6© Hexaware Technologies. All rights reserved.
SeeTest automationsframework
Siehe Test antrieb <-> QTP
Testeingangstabelle
• . TC1
• . TC 2
• .
• .TC n
Testskripte
(Siehe Testbefehl entsprechend der Aktionen und Verifikation je nach dem Testfall)
Basisfunktionsbibliothek
- Nutzung/Funktionen App (Initializierung Objekt -interakionen)
- Verpackungen um to SeeTest methoden
- Verifikations funktionen (Text überprüfen, Image überprüfen, App Objekt übrtprüfen)
Log ergebnisse / Ausnahmen
Reporting -modul (mit Logs/Screenshots, usw
Durchführung/ Log ergebnisse undAusnahmen
App Objektbehälter
Virtuelle Objekte angelegt durch SeeTest im Objektbehälter
Wiederverwendbare Elemente des Framework
Anwendungsspezi-fische Elemente
Definiert Testdaten für einzelne Testfälle
7© Hexaware Technologies. All rights reserved.
Vorgaben AutomationslösungEinrichtungsgegenstand
Typische Automationsanforderungen /
Attribute
Open Source Lösung
Kommerzielle Lösungen
BPT Mobile Accelerator
s
Selenium
Robotium
ZAP-fix SeeTest PerfectoEggPlan
t
Unterstützung aller Hauptplattformen (iOS, Android, BlackBerry, WinMobile) ü ü ü ü ü
Unterstützung der Emulatoren/Simulatoren ü ü ü ü ü ü üUnterstützung der systemeigene Anwendungstechnologie ü ü ü ü ü üUnterstützung der webbasierten MobileAnwendungen ü ü ü ü ü üUnterstützung der RIA (Rich Internet Applications) ü ü üGünstige Lösungen ü ü üIntegration mit traditonellen Automationsframeworks (HP QC/ QTP, etc) ü ü ü ü
Leichte Testskriptanlegung ü ü ü ü üLeichte Testskriptpflege üPlattformübergreifende Wiederverwendbarkeit der Testskripte (zuzätzliche Frameworkerweiterungen dürften erforderlich sein)
ü ü ü ü
Testentwicklung & Durchführung unterstützen Funktionen (Gerätbidschirmbetrachtungsprogramm, Erweiterte Logfunktionen – Screenshots, usw)
ü ü ü ü ü
8© Hexaware Technologies. All rights reserved.
Herausforderungen beim Testen der Mobile-Anwendung
• Die Mobile-Anwendung muss für verschiedene Geräte mithilfe des Mobile- Betriebssystems, auf dem sie basiert, getestet werden. (Bitte bedenken ,daß es Hunderte von Handgeräten gibt,die Android benutzen!)
• Eine sich einem neuen Mobile-Betribessystem anschließende Anwendung soll nicht nur die Funktionen intakt haben,sondern auch mit den neuen Funktionen des Betriebssystems verträglich sein
• Ist die Anwendung verträglich mit verschiedenen Funktionen der Region,für die sie vorgesehen ist?
• Welche Erfahrung macht der User mit der Anwendung? Es gibt keine Standardverwendbarkeitsvorgaben,die in den funktionellen/ Businessvorgaben definiert sind.
• Mobile Anwendungsleistungsprüfung is nicht einfach Kunden-Server-Rückmeldungsbewertung.
9© Hexaware Technologies. All rights reserved.
Mobile-Anwendungstestarten
Testarten
% Alter der betreffenden
Gesamtprüfung
Coverage Scenarios
Funktionstest 35-40%
• Anwendung Funktionsbereiche• Interaktion von Anwendungsfunktionen mit Mobil OS Merkmalen• Interoperabilität mit anderen Mobilanwendungen (System und User
Apps)• Navigationstests
Verträglichkeitstest 20-25%
• Anwendungsverträglichkeit mit unterstützten Mobile OS Familien und Versionen.
• Verträglichkeit mit unterstützten OS Geräten (Telefone,Kennzeichen,Tabletten,handgeräte ,usw)
Leistungstest 20-25%
• Systemleistung• Speicherlecks• Stress test• Adverse Betriebeszuständenrückmeldung
Verwendbarkeitstest
5-10% • Leichte Verwendbarkeit der Anwendungsfunktionen• Verträglich mit den Anwendungsnutzungsstandards
Gerätetest <5%• Prüfung der Grundmerkmale des Geräts beim Lauf • Auswirkung der Anwendungsnutzung auf das
Gerät( Batterielebensdauer,Speicherung,Speicherverwendung)
Fabriktest <5%• Reset von Anwendungsanpassungen• Installation / Deinstallationtests• Hardware, Signalempfang, Batterieladungstests
10© Hexaware Technologies. All rights reserved.
Strategie zur Prüfung von Verträglichkeit.
Testszenarien identifizieren
Anwendungs- funktionen
Netzwerkauswirkung
Geräteinteraktionen
Leistung
Ausnahmen
Verwendbarkeit
Parameter & Variablen
identifizieren
OS
Geräte
Browser (für web basierte Apps)
Gerätearten
Geräteeinstellung
Test Tools/Dienstprogramme identifizieren
OS Emulatoren
Gerätemulatoren / eigentliches Gerät
Testtools / Plug-ins
InteractingDevices
Einrichtung der Testumgebung
Einrichtung der Geräte
Testharnische und Tools
Testdateneinstellung
11© Hexaware Technologies. All rights reserved.
Strategie zur Prüfung von Verträglichkeit...
Test-Matrix Verträglichkeit
iOS
iPhone
safari
Geräteein-
stellung1
Symbian
Nokia 7740
Nokia SeriesOperaPolaris
Geräteein-stellung 1,
2
Android
HTC, Samsung
AndroidOpera
Geräteein-stellung 2,
3
Windows Mobile
Toshiba, HTC
OperaIEIris
Geräteein-stellung 1,
2, 3
WebOS
Palm
Blazer
Geräteein-stellung 2
Betriebs-system
Handgeräte
Browser (für Web- basierte Apps)
Geräteein-
stellungen
• OS, Geräte,usw basiert auf Aktien und regionaler Popularität (wenn die Anwendung regionspezifisch ist)
• Die Kombinationen von Testmatrix mittels Ansätze wie Orthogonal Array optimieren
• Das Testen kann mithilfe von einer Kombination von Geräten und Simulatoren/Emulatoren durchgeführt werden.
12© Hexaware Technologies. All rights reserved.
MobilAnwendungsleistungstest
• Business-User -Last für mobile Transaktionen identifizieren
• Anwendungsszenarien kritisch für die Leistungsaspekte des Mobile- Servers identifizieren
• Lesitungstestskripte,die den Szenarien entsprechen ,mittels traditionellen Tools HP LoadRunner generieren , indem die im Kopf der Anforderung eingebettete User-Agent-Kette in die Kette modifiziert wird,die dem Mobil- User-Agent für das Gerät entspricht,das zur Simulation der Anforderung benutzt wird.
• Die Arbeitslast mit variierenden Lastsätzen ausführen,um die Leistungsmerkmale des MobilAnwendung zu messen.
Mobiler Portal Server
LoadRunner Simulation von Apple únd AndroidgeräteAnforderung
iPAD Tx AnforderungMobiler Server Rückmeldung
iPhone Tx Anforderung
Mobile Server Rückmeldung
Android Gerät Tx Anforderung
Mobiler Server Rückmeldung
13© Hexaware Technologies. All rights reserved.
Testart Geräte Simulatoren/Emulatoren
Business-Funktionstest a a
Verwendbarkeitstest a
Verträglichkeitstest a (Verwendbarkeitstest) a (Business-Funktionstest)
Leistungstest (Stress Testing)
a
Sicherheitstest a a
Gerätetest a
Fabriktest a
Gerät vs. Simulator Nutzungsstrategie
14© Hexaware Technologies. All rights reserved.
MobilAnwendungstestausführungsstrategie
Phase
1
Standard Mobil Test
Business-Funktions test
Verwendbarkeitstest
Phase
2
Verträglichkeitstest
Phase
3
StresstestMobilserver-leistungstest
Potententieller Umfang für TestautomationsnutzungMarktanalyse und Kundenanforderungen treiben die Ausführungskonfigurationen (OS/Version/Gerät)
15© Hexaware Technologies. All rights reserved.
MobiltestlösungenMoglichkeiten zur Wiederverwendbarkeit
Mobiltest-Lösungen
Wiederverewndbare Assets Lösungsvorteile
Mobiltest Estimations
vorlage(inkl.Anforderungsumfr
age)
• Vorlage mit Eingangsparameter basiert auf verschiedene Szenarien für Mobiltest,die benutzt werden kann,um Kundenanforderungen an Mobiltest zu schätzen
• Wurden benutzt ,um Testschätzungen zur Anlegung von Kundenanträgen zu erstellen,Schätzungen für den Test bei Durchführung des Projekts zu erstellen. zu erstellen
• Bietet Richtlinien zur Definition von Testanforderungen für Infrastruktur (Plattforms,Geräte,Browser,usw), Testarten und Produktivitäten basiert auf Anwendungsartentest
• Potential zur Reduktion von Testplannungsaufwand um 30-40%
Vorlage Mobiltest-Strategie
• Teststrategie inkl. Implementationsrichtlinien für verschiedene Testarten (Funktional, Verwendbarkeit, Verträglichkeit,Sicherheit,Leistung)
• Kann für Projekte maßgeschneidert werden
• Vorlagenstrategie kann den Teststrategieplannungsaufwand um 50-60% reduzieren
Verwendbarkeitstestest -
suiten
• Generische Verwendbarkeitstestfälle (ca.140 Test- szenarien) für Android und iOS (iPhone und iPad) die zu jeder Anwendung auf iOS oder Android benutzt werden kann
• Testfäll basieren auf Verwendbarkeitsrichtlinien zu are iOS und Android Entwicklungsrahmen
• Kann als Checkliste fungieren,um Testszenarien für Verwendbarkeitstest aufzunehmen
• Potential zur Reduktion von Testplannungsaufwand um 10% (Typischer Aufwand benötigt in Mobilverwendbarkeitstest beträgt 10-15%)
16© Hexaware Technologies. All rights reserved.
Mobile-TestlösungenMöglichkeiten zur Wiederverwendbarkeit
Mobiltest-lösungen Wiederverewendbare Assets
Lösungsvorteile
Test- automations framework(kommezielle
Tools & Open Source)
• Rahmenkomponente für BPT Mobilautomations-und Modularframework für SeeTest, Eingangsfunktion & Test Reporting und Anmelddungsroutine für ZAPfix und EggPlant
• Open Source Automationsframework für Robotium (Android) und Selenium (Web Apps für Android) – Elemente inkl. allgemeine GUI Objektfuntionen (Objekt aktionen und Verifizierungsfunktionen), Test
• Wiederverwendbarer Rahmen reduziert die Testimplementationszeit,erhöht dabei das RoI potential um:
20-25% - Kommerzielle Automationsrahmen
10-15% - Open Source Rahmen
Leistungstest-
methodologie
• Ansatz zum Serverleistungstest auf Mobilplattformen• Algorithmen & Codebasis für Paketdekodierung und Dekompression für SAP Mobilleistungstest – Ein Ergebnis unserer erfolgreichen Leistungstestaktivität bei AES Eletropaulo.
• Möglichkeit 25-30% des Gesamtaufwands zu sparen oder 50-60% in der Skriptvorbereitungsphase
Mobilsicher-heitsframew
ork
• Framework zur Ausführung von Sicherheitstest für Mobile-Anwendungen
• Wird Möglichkeiten zum Angebot von Sicherheitstestdienste als Teil des Servicestacks bereitstellen.
17© Hexaware Technologies. All rights reserved.
Mustererfahrung
18© Hexaware Technologies. All rights reserved.
Mobiltesterfahrung Beispiel. Kunde Angebotene Lösungen/ Dienstleistungen Geschäftsnutzen
Führende Brauerei in Mexico
•Regressionstestautomation für ein Mobile SAP Auftragsmanagementsystem auf Windows Mobile (6.X) Plattform
• Identifizierung von Kernregressionstestszenarien (~66 Testfälle) für End-to-End Testing
•Erweitert um BPT Beschleunigerrahmen um Testautomation auf mobilem Plattform zu unterstützen
•Tools & Technologie
BPT Beschleuniger (HP QC - BPT/QTP) mit M-eux Plug-in
Windows Mobile 6.1 SDK (Microsoft-Geräteemulator V2)
•100% Regressionstestabdeckung
•Testfalldurchführungszeit um 50-70% reduzieren
•Gesamttestkosten wird um 50% reduziert.
• Return On Investment von Automation wird bis 6. Durchführungszyklus wiedergewonnen
•Null-Businesszeit verbracht mit Regressionstest.
Führende Privatbank, US
•Funktions-,Verewendbarkeits-und Verträglichkeitstest in SCRUM von ‘Portfolio Management’ und ‘Client On-boarding’ Business- Mobilanwendungen
•Testsuite für Anforderungen ,die Funktions-,Verwendbarkeits-,Verträglichkeit und Userlevelsicherheitstest auf iOS Plattform (iPad und iPhone)
•Testdurchführung während der designierten UAT Erstellungsprozesse
•Testautomationsmachbarkeit PoC und Implementationsplanung
Tools & TechnologieGeräte (iPhone, iPad)SeeTest für Testautomation
•Erstellung von konzernweitem Automationsrahmen mittels See Test,der die Testzykluszeit reduziert .
•Erstellung von wiederverwendbare Verwenbarkeitssuiten,die alle mobilen Anwendungen übergreifend repliziert wird.
•Reduzierte Leistungskosten durch Darstellung von Ausführung der Mobilleistungen in Scrum-Modell mittels ein Offshore-Team im Gegensatz zu ihrer früheren Onsite-Modell
•Verbesserte Qualität aufgrund umfangreicher Abdeckung
19© Hexaware Technologies. All rights reserved.
Mobiltesterfahrung Beispiel.Kunde Angebotene Lösungen/Dienstleistungen Geschäftsnutzen
Großes Strom- verteilungs-unternehmen in Brazil
• Leistungstest für mobile Zählerablesung SAP Implementation um sicherzustellen,dass das System mit den erwarteten SLAs unter Business-Userlast operiert
• End to End Leistungsprüfung von Testplan, Entwurf, Ausführung und Ergebnisanalyse
• Erstellung von Dummy-Subprogramme um die Umstellung von verschlüsselten Anfrage-und Rückmeldungspakete verarbeitet durch SAP Server,um LR Leistungstestskripte zu verbessern
• Installations-und Konfigurationstool
Tools & Technologie•SAP ECC 6.0 / R 3.4.7•F5 Lastausgleichsgerät / WinMobile Geräte•HP Leistungszentrum 11
• Die Kodierungs-/ komprimierte Methode aufgelöst durch Entwicklung von Java Code innerhalb des vorgegebenen Zeitrahmens
• Dieses Problem war die größte Herausforderung betreffs einer Leistungstestaktivität und hätte das Go-Live für die Implementation verhindert
• SAP und der Kunde konnten die erste SAP Mobile-Lösung erfolgreich in Brasilien einsetzen
• 0% Terminabweichung
Großes Schienentransportationsverwaltungsunternehmen in UK
• Funktions-,Regressions-, Automations- und Leistungstest von einem iOS basierten Ticketbuchungsanwendung in Agile Model
• Ca.50 End-to-End Businesstestszenarien wiederholbar für alle Freigabeniterationen entwickelt
• 60% der Szenarien (25-30) automatisiert mittels SoapUI.
• Leistungstest an kritischen Geschäftsvorgängen mittels HP LoadRunner.
Tools & Technoloie
•SoapUI
•HP LoadRunner
• Serverseitige Leistungstest stellte Userskalierbarkeitsaspekte der entwickelten Mobilanwendung
• 0% Maengelleck (Schwere 1 & 2) an Produktion
• 0% Terminabweichung (vom geplannten auf eigentlichen) bei der Nachrüstungsaktivität. Geschäfte wie immer nach Nachrüstung der Infrastruktur.
20© Hexaware Technologies. All rights reserved.
Mobiltesterfahrung Beispiel. Kunde Lösungen/angebotene Dienstleistungen Geschäftsnutzen
Führender Anbieter von qualitativ hochwertige Bildungsdienstleistungen mit berufsorientiertem Lernsystem in den USA
• Funktions-,Regressions-und Verträglichkeitstest auf Virtuellem Campus und Student-Management-Anwendungen auf iPhone, iPad und Androidgeräte in Agile- Scrum-Modell
• Testanforderungen bei Story-Testing von jeder Iteration identifiziert
• Gerät wurde überall genutzt (Cloudbasiertes Modell) für Funktionstest an iPhone, iPad und Androidgeräten
• Rauchtestsuite zur Verprobung von Builds mittels MobiOne simulator für iPad/iPhone eingeführt
Tools & Technologie Tool (Gerät überall) Android Google EmulatorMobione für iPhone/iPad (Simulator)
• Adoptierte Methodologie für Verträglichkeitstest an Geräten bietet eine Vorlage- strategie zur Aufnahme von anderen Anwendungen im Umfang zum Testen
• 0% Mängelleck an Produktion
Führender Flugdienst-leister,Kanada
• Formulierung der Teststrategie und Planung zum Testen von mobilen Check in & Bordkarte –Anwendungen benutzt von Passagieren sich einzuchecken.
• Funktions-und Vertraglichkeitstest an Blackberry und iPhonegeräten
• Health –Check up für verschiedene Builds für die mobilen Anwendungen
Tools & TechnologieGeräte (iOS, BlackBerry)EggPlant für Testautomation (PoC in Arbeit)
• Wesentliche Reduktion des Testentwurfs aufwand und schnellere Implementeation von Änderungsanforderung aufgrund der gemeinsamen Nutzung des Testbehälters für Web-und Mobilanwendungstest
• Vorlagegetriebenes Testen das sich auf Anwendungsbuilds für eine wiederverwendbare Teststrategie an mobilen Geräten erstreckt
21© Hexaware Technologies. All rights reserved. www.hexaware.com
© 2012 Hexaware Technologies Limited. All rights reserved. For internal circulation only. Neither this publication nor any part of it may be reproduced, stored in a retrieval system or transmitted in any form or in any means, electronic, mechanical, photocopying, recording or otherwise, without prior permission of Hexaware Technologies Limited. Published by Corporate Marketing & Communications
Danke !