![Page 1: Mobile „Real World“ Protection Test Framework · 2016-09-19 · Mobile „Real-World“ Protection Test Framework Christoph Leitner c.leitner(at)av-comparatives.org 7. Juni 2016](https://reader035.vdokument.com/reader035/viewer/2022070811/5f0a255c7e708231d42a3c0a/html5/thumbnails/1.jpg)
Mobile „Real-World“ Protection Test Framework
Christoph Leitner
c.leitner(at)av-comparatives.org
7. Juni 2016
www.av-comparatives.org
![Page 2: Mobile „Real World“ Protection Test Framework · 2016-09-19 · Mobile „Real-World“ Protection Test Framework Christoph Leitner c.leitner(at)av-comparatives.org 7. Juni 2016](https://reader035.vdokument.com/reader035/viewer/2022070811/5f0a255c7e708231d42a3c0a/html5/thumbnails/2.jpg)
Seite 2
Unsere Ziele
- Testen von IT-Sicherheitslösungen
- Detaillierte, qualitativ hochwertige
Testergebnisse
- Unabhängigkeit
- Kostenlos für Endbenutzer
http://www.av-comparatives.org
![Page 3: Mobile „Real World“ Protection Test Framework · 2016-09-19 · Mobile „Real-World“ Protection Test Framework Christoph Leitner c.leitner(at)av-comparatives.org 7. Juni 2016](https://reader035.vdokument.com/reader035/viewer/2022070811/5f0a255c7e708231d42a3c0a/html5/thumbnails/3.jpg)
Mobile Security Reviews
Jährliche Tests von Sicherheits-Apps für
Mobilgeräte
Getestet unter anderem:
- Batterie-Verbrauch
- Funktionen
- Malware-Schutz
Seite 3
![Page 4: Mobile „Real World“ Protection Test Framework · 2016-09-19 · Mobile „Real-World“ Protection Test Framework Christoph Leitner c.leitner(at)av-comparatives.org 7. Juni 2016](https://reader035.vdokument.com/reader035/viewer/2022070811/5f0a255c7e708231d42a3c0a/html5/thumbnails/4.jpg)
Mobile Malware Test
Auf echten Android Geräten
Mehrere tausend Malware Apps
- Erst On-Demand Scan
- Nicht erkannte Dateien manuell installieren
Seite 4
![Page 5: Mobile „Real World“ Protection Test Framework · 2016-09-19 · Mobile „Real-World“ Protection Test Framework Christoph Leitner c.leitner(at)av-comparatives.org 7. Juni 2016](https://reader035.vdokument.com/reader035/viewer/2022070811/5f0a255c7e708231d42a3c0a/html5/thumbnails/5.jpg)
Seite 5
Anzahl der Samples
![Page 6: Mobile „Real World“ Protection Test Framework · 2016-09-19 · Mobile „Real-World“ Protection Test Framework Christoph Leitner c.leitner(at)av-comparatives.org 7. Juni 2016](https://reader035.vdokument.com/reader035/viewer/2022070811/5f0a255c7e708231d42a3c0a/html5/thumbnails/6.jpg)
Mobile Malware Test – Zahlen 2014
Seite 6
Testset aus ca. 10.000 Samples
- 23 Produkte (einige in verschiedenen Varianten)
- Effektiv ca. 230.000 Samples zu testen
~16.000 Samples manuell zu installieren
- Je ca. 33h Arbeitszeit für 8 Mitarbeiter
- Also je etwa 4 volle Arbeitstage
![Page 7: Mobile „Real World“ Protection Test Framework · 2016-09-19 · Mobile „Real-World“ Protection Test Framework Christoph Leitner c.leitner(at)av-comparatives.org 7. Juni 2016](https://reader035.vdokument.com/reader035/viewer/2022070811/5f0a255c7e708231d42a3c0a/html5/thumbnails/7.jpg)
Mobile Malware Test - manuelles Testen
Zeitintensiv
Monotone Arbeit
Ressourcenintensiv
Schulung der Tester
Nur bedingt synchronisierbar
- Nachteile für früher getestete Produkte
- Statistisch weniger aussagekräftig
Seite 7
![Page 8: Mobile „Real World“ Protection Test Framework · 2016-09-19 · Mobile „Real-World“ Protection Test Framework Christoph Leitner c.leitner(at)av-comparatives.org 7. Juni 2016](https://reader035.vdokument.com/reader035/viewer/2022070811/5f0a255c7e708231d42a3c0a/html5/thumbnails/8.jpg)
Mobile Malware
Kaspersky Lab 2015: drei mal so viele
neue mobile Malware als im Vorjahr1
“Internet-of-Things” Geräte mit Android
- Uhren, Auto,TV, …
Tests für mobile Sicherheitslösungen
müssen mit der Malware Entwicklung
mithalten können
1https://securelist.com/analysis/kaspersky-security-bulletin/73839/mobile-malware-evolution-2015/
Seite 8
![Page 9: Mobile „Real World“ Protection Test Framework · 2016-09-19 · Mobile „Real-World“ Protection Test Framework Christoph Leitner c.leitner(at)av-comparatives.org 7. Juni 2016](https://reader035.vdokument.com/reader035/viewer/2022070811/5f0a255c7e708231d42a3c0a/html5/thumbnails/9.jpg)
Mobile Real-World Protection Test - Ziele
Automatisierung
Tests auf physikalischen Geräten
Verhalten eines echten Benutzers
simulieren
Synchronisierung
Verschiedene Aspekte von AV Software
testen
- URL blocker, Real-Time /On-Access Schutz…
Sample Durchsatz erhöhen
Seite 9
![Page 10: Mobile „Real World“ Protection Test Framework · 2016-09-19 · Mobile „Real-World“ Protection Test Framework Christoph Leitner c.leitner(at)av-comparatives.org 7. Juni 2016](https://reader035.vdokument.com/reader035/viewer/2022070811/5f0a255c7e708231d42a3c0a/html5/thumbnails/10.jpg)
Testvorgang (vereinfacht)
Seite 10
AV Software aktualisieren und Geräteabbild erstellen
Geräte mit dem Server verbinden und Monitor Tools starten
Geräte mit Malware infizieren
1. URL auf allen Geräten gleichzeitig öffnen
2. Malware herunterladen
3. Malware installieren
4. Malware ausführen
Geräte auf ihren Anfangszustand zurücksetzen
![Page 11: Mobile „Real World“ Protection Test Framework · 2016-09-19 · Mobile „Real-World“ Protection Test Framework Christoph Leitner c.leitner(at)av-comparatives.org 7. Juni 2016](https://reader035.vdokument.com/reader035/viewer/2022070811/5f0a255c7e708231d42a3c0a/html5/thumbnails/11.jpg)
Architektur
Seite 11
![Page 12: Mobile „Real World“ Protection Test Framework · 2016-09-19 · Mobile „Real-World“ Protection Test Framework Christoph Leitner c.leitner(at)av-comparatives.org 7. Juni 2016](https://reader035.vdokument.com/reader035/viewer/2022070811/5f0a255c7e708231d42a3c0a/html5/thumbnails/12.jpg)
Architektur - Server Anwendung
Fernsteuerung der Android Geräte
Interpretieren von Ergebnissen
Entscheidungen über Testverlauf
Speichern der Resultate
Seite 12
![Page 13: Mobile „Real World“ Protection Test Framework · 2016-09-19 · Mobile „Real-World“ Protection Test Framework Christoph Leitner c.leitner(at)av-comparatives.org 7. Juni 2016](https://reader035.vdokument.com/reader035/viewer/2022070811/5f0a255c7e708231d42a3c0a/html5/thumbnails/13.jpg)
Architektur - Android Client
Aufzeichnen von Ereignissen
- Datei- & Prozessüberwachung
- App Monitor (Berechtigungen, …)
Erkennen von AV-Meldungen
Zurücksetzen
Seite 13
![Page 14: Mobile „Real World“ Protection Test Framework · 2016-09-19 · Mobile „Real-World“ Protection Test Framework Christoph Leitner c.leitner(at)av-comparatives.org 7. Juni 2016](https://reader035.vdokument.com/reader035/viewer/2022070811/5f0a255c7e708231d42a3c0a/html5/thumbnails/14.jpg)
Architektur - AV-Software überwachen
Apps verwenden Funktionen des
Android Systems
- z.B. Anzeigen von Steuerelementen
Open-Source Framework
- Abfangen von Funktionsaufrufen
Seite 14
![Page 15: Mobile „Real World“ Protection Test Framework · 2016-09-19 · Mobile „Real-World“ Protection Test Framework Christoph Leitner c.leitner(at)av-comparatives.org 7. Juni 2016](https://reader035.vdokument.com/reader035/viewer/2022070811/5f0a255c7e708231d42a3c0a/html5/thumbnails/15.jpg)
Architektur - AV-Software überwachen
Seite 15
view.setText(“Malware detected”);
Melde: “Malware detected”
![Page 16: Mobile „Real World“ Protection Test Framework · 2016-09-19 · Mobile „Real-World“ Protection Test Framework Christoph Leitner c.leitner(at)av-comparatives.org 7. Juni 2016](https://reader035.vdokument.com/reader035/viewer/2022070811/5f0a255c7e708231d42a3c0a/html5/thumbnails/16.jpg)
Architektur - Zurücksetzen der Geräte
Malware geblockt:
- Deinstallieren/löschen
Malware ausgeführt:
- Snapshot wiederherstellen
Open-Source Recovery System
Seite 16
![Page 17: Mobile „Real World“ Protection Test Framework · 2016-09-19 · Mobile „Real-World“ Protection Test Framework Christoph Leitner c.leitner(at)av-comparatives.org 7. Juni 2016](https://reader035.vdokument.com/reader035/viewer/2022070811/5f0a255c7e708231d42a3c0a/html5/thumbnails/17.jpg)
AVC UnDroid
Kostenloser Online Analyseservice für
Android Apps
Übermittlung von Apps über ein
Webinterface
Derzeit Weiterentwicklung
- Zusammenschließung mit dem mobilen
Testframework
- App zum Prüfen aller installierter Apps
Seite 17
![Page 18: Mobile „Real World“ Protection Test Framework · 2016-09-19 · Mobile „Real-World“ Protection Test Framework Christoph Leitner c.leitner(at)av-comparatives.org 7. Juni 2016](https://reader035.vdokument.com/reader035/viewer/2022070811/5f0a255c7e708231d42a3c0a/html5/thumbnails/18.jpg)
AVC UnDroid - Analyse Bericht
Enthaltene Information:
- Prüfsummen
- Enthält die App Werbung?
- Berechtigungen
- Gespeicherte Webadressen
- …
Seite 18
![Page 19: Mobile „Real World“ Protection Test Framework · 2016-09-19 · Mobile „Real-World“ Protection Test Framework Christoph Leitner c.leitner(at)av-comparatives.org 7. Juni 2016](https://reader035.vdokument.com/reader035/viewer/2022070811/5f0a255c7e708231d42a3c0a/html5/thumbnails/19.jpg)
AVC UnDroid – Vorteile für Nutzer
Für erfahrenere Nutzer:
- Detaillierte statische Analyse
Für weniger erfahrene Nutzer:
- Gefahrenpotenzial der App leicht
erkennbar
Seite 19
![Page 20: Mobile „Real World“ Protection Test Framework · 2016-09-19 · Mobile „Real-World“ Protection Test Framework Christoph Leitner c.leitner(at)av-comparatives.org 7. Juni 2016](https://reader035.vdokument.com/reader035/viewer/2022070811/5f0a255c7e708231d42a3c0a/html5/thumbnails/20.jpg)
Fragen?
www.av-comparatives.org