Post on 21-Jun-2020
Mobile „Real-World“ Protection Test Framework
Christoph Leitner
c.leitner(at)av-comparatives.org
7. Juni 2016
www.av-comparatives.org
Seite 2
Unsere Ziele
- Testen von IT-Sicherheitslösungen
- Detaillierte, qualitativ hochwertige
Testergebnisse
- Unabhängigkeit
- Kostenlos für Endbenutzer
http://www.av-comparatives.org
Mobile Security Reviews
Jährliche Tests von Sicherheits-Apps für
Mobilgeräte
Getestet unter anderem:
- Batterie-Verbrauch
- Funktionen
- Malware-Schutz
Seite 3
Mobile Malware Test
Auf echten Android Geräten
Mehrere tausend Malware Apps
- Erst On-Demand Scan
- Nicht erkannte Dateien manuell installieren
Seite 4
Seite 5
Anzahl der Samples
Mobile Malware Test – Zahlen 2014
Seite 6
Testset aus ca. 10.000 Samples
- 23 Produkte (einige in verschiedenen Varianten)
- Effektiv ca. 230.000 Samples zu testen
~16.000 Samples manuell zu installieren
- Je ca. 33h Arbeitszeit für 8 Mitarbeiter
- Also je etwa 4 volle Arbeitstage
Mobile Malware Test - manuelles Testen
Zeitintensiv
Monotone Arbeit
Ressourcenintensiv
Schulung der Tester
Nur bedingt synchronisierbar
- Nachteile für früher getestete Produkte
- Statistisch weniger aussagekräftig
Seite 7
Mobile Malware
Kaspersky Lab 2015: drei mal so viele
neue mobile Malware als im Vorjahr1
“Internet-of-Things” Geräte mit Android
- Uhren, Auto,TV, …
Tests für mobile Sicherheitslösungen
müssen mit der Malware Entwicklung
mithalten können
1https://securelist.com/analysis/kaspersky-security-bulletin/73839/mobile-malware-evolution-2015/
Seite 8
Mobile Real-World Protection Test - Ziele
Automatisierung
Tests auf physikalischen Geräten
Verhalten eines echten Benutzers
simulieren
Synchronisierung
Verschiedene Aspekte von AV Software
testen
- URL blocker, Real-Time /On-Access Schutz…
Sample Durchsatz erhöhen
Seite 9
Testvorgang (vereinfacht)
Seite 10
AV Software aktualisieren und Geräteabbild erstellen
Geräte mit dem Server verbinden und Monitor Tools starten
Geräte mit Malware infizieren
1. URL auf allen Geräten gleichzeitig öffnen
2. Malware herunterladen
3. Malware installieren
4. Malware ausführen
Geräte auf ihren Anfangszustand zurücksetzen
Architektur
Seite 11
Architektur - Server Anwendung
Fernsteuerung der Android Geräte
Interpretieren von Ergebnissen
Entscheidungen über Testverlauf
Speichern der Resultate
Seite 12
Architektur - Android Client
Aufzeichnen von Ereignissen
- Datei- & Prozessüberwachung
- App Monitor (Berechtigungen, …)
Erkennen von AV-Meldungen
Zurücksetzen
Seite 13
Architektur - AV-Software überwachen
Apps verwenden Funktionen des
Android Systems
- z.B. Anzeigen von Steuerelementen
Open-Source Framework
- Abfangen von Funktionsaufrufen
Seite 14
Architektur - AV-Software überwachen
Seite 15
view.setText(“Malware detected”);
Melde: “Malware detected”
Architektur - Zurücksetzen der Geräte
Malware geblockt:
- Deinstallieren/löschen
Malware ausgeführt:
- Snapshot wiederherstellen
Open-Source Recovery System
Seite 16
AVC UnDroid
Kostenloser Online Analyseservice für
Android Apps
Übermittlung von Apps über ein
Webinterface
Derzeit Weiterentwicklung
- Zusammenschließung mit dem mobilen
Testframework
- App zum Prüfen aller installierter Apps
Seite 17
AVC UnDroid - Analyse Bericht
Enthaltene Information:
- Prüfsummen
- Enthält die App Werbung?
- Berechtigungen
- Gespeicherte Webadressen
- …
Seite 18
AVC UnDroid – Vorteile für Nutzer
Für erfahrenere Nutzer:
- Detaillierte statische Analyse
Für weniger erfahrene Nutzer:
- Gefahrenpotenzial der App leicht
erkennbar
Seite 19
Fragen?
www.av-comparatives.org