Wenn Algorithmen entscheiden…
Hannover, 23.3.2018
CC BY-SA 3.0 DE
Prof. Dr. Mario Martini FÖV/Uni Speyer
29.03.2018 2
https://fsmedia.imgix.net/0c/d1/87/b2/7e6e/4d8a/998a/e99bf8144ba7/using-crispr-to-create-designer-babies-is-even-
more-controversial-now-that-genome-editing-in-human-e.jpeg https://c
dn.h
ob
byco
nsola
s.c
om
/sites/n
avi.a
xels
prin
ger.
es/p
ublic
/media
/im
ag
e/2
01
4/0
5/3
20
85
2-c
ine
-
cie
ncia
-fic
cio
n-c
ritica
-gattaca.jpg
A. Algorithmen
als DNA
3 CC BY-SA 3.0 DE 29.03.2018
https://static.interestingengineering.com/images/upl
oads/sizes/AI-diagnosis-1_resize_xs.jpg https://media.licdn.com/mpr/mpr/AAEAAQAAAAAAAAmWAAAAJGVlNmM1MmYyLTY4MmUtNDU1Yi04MWRhLWE0YmU5YTljZDBlZg.png
A. Algorithmen
als DNA
4 CC BY-SA 3.0 DE 29.03.2018
A. Algorithmen
als DNA
Privater Einsatz
Staatlicher Einsatz
© jinga80/thinkstock www.scinexx.de/wissen-aktuell-bild-22312-2018-01-18-35384.htmll
5 CC BY-SA 3.0 DE 29.03.2018
www.wiwo.de/finanzen/steuern-recht/steuererklaerung-so-vermeiden-sie-laestige-nachfragen/13442222.html
§ 155 IV 1 AO Die Finanzbehörden können Steuerfestsetzungen (…) ausschließlich automationsgestützt vornehmen (…).
A. Algorithmen
als DNA
Private Nutzung
Staatlicher Einsatz
6 CC BY-SA 3.0 DE 29.03.2018
B. Risiken
Intransparenz
A. Algorithmen
als DNA
www.wiwo.de/finanzen/steuern-recht/steuererklaerung-so-vermeiden-sie-laestige-nachfragen/13442222.html
7 CC BY-SA 3.0 DE 29.03.2018
https://www.datenschutz-praxis.de/fachartikel/datenschutz-maschinelles-lernen/
B. Risiken
Intransparenz
A. Algorithmen
als DNA
8 CC BY-SA 3.0 DE 29.03.2018
Diskrimi-nierung
Intransparenz
B. Risiken
A. Algorithmen
als DNA
www.netzwerk-gegen-diskriminierung-hessen.de
9 CC BY-SA 3.0 DE 29.03.2018
Diskrimi-nierung
Intransparenz
B. Risiken
Foto: DPA
A. Algorithmen
als DNA
https://www.runwaylive.com
10 CC BY-SA 3.0 DE 29.03.2018
Diskrimi-nierung
Intransparenz
B. Risiken
A. Algorithmen
als DNA
https://www.runwaylive.com
© The Ligthtwriter/Getty images/Istock
11 CC BY-SA 3.0 DE 29.03.2018
B. Risiken
A. Algorithmen als Schlüssel
C.
Bausteine einer Regulierung
I. Präventiv
II. Begleitend
III. Nachträglich
https://www.shutterstock.com/de/image-photo/find-way-43806565?src=ide
12 CC BY-SA 3.0 DE 29.03.2018
Art. 22 I DSGVO Die betroffene Person hat das Recht, nicht einer ausschließlich auf einer automatisierten Verarbeitung [...] beruhenden Entscheidung unterworfen zu werden […].
B. Risiken
A. Algorithmen als Schlüssel
C.
Bausteine einer Regulierung
I. Präventiv
http://footage.framepool.com/shotimg/604281218-datenstrom-netzwerk-hightech-computer.jpg
Automatisierte Entscheidungen
13 CC BY-SA 3.0 DE 29.03.2018
B. Risiken
A. Algorithmen als Schlüssel
C.
Bausteine einer Regulierung
I. Präventiv
Automatisierte Entscheidungen
https://blog.hubspot.com/marketing/lead-scoring-instructions
14 CC BY-SA 3.0 DE 29.03.2018
https://https://www.jugendhilfeportal.de/fileadmin/_processed_/csm_Infopoint_f_arthurdent_6e983abf62.jpg
I. Präventiv
Art. 13 Abs. 1 DSGVO [...], so teilt der Verantwortliche der betroffenen Person [...] Folgendes mit:
f) [….] das Bestehen einer automatisierten Entscheidungsfindung [...] und [...] aussagekräftige Informationen über die involvierte Logik sowie die Tragweite […] einer derartigen Verarbeitung für die betroffene Person.
Informations-pflichten
Allg. Begründungspflicht für persönlichkeitssensitive Entscheidungen (Vergleichsgruppe + Größenangaben)
B. Risiken
A. Algorithmen als Schlüssel
C.
Bausteine einer Regulierung
De lege lata De lege ferenda
Automatisierte Entscheidungen
15 CC BY-SA 3.0 DE 29.03.2018
https://t3.ftcdn.net/jpg/01/03/13/82/240_F_103138273_voatiwVGPXh2Hmr2gLivrNWz7VAX7mXs.jpg
Allgemeines Gleichbehandlungs
gesetz (AGG)
I. Präventiv
Automatisierte Entscheidungen
§ 2 Nr. 9 AGG (de lege ferenda) (1) Benachteiligungen aus einem in § 1 genannten Grund sind nach Maßgabe dieses Gesetzes unzulässig in Bezug auf: 9. Ungleichbehandlungen, die auf einer softwarebasierten Datenauswertung oder einem automatisierten Entscheidungsverfahren beruhen
Informations-pflichten
Trans-parenz Transparenz
Diskriminie-rung
B. Risiken
A. Algorithmen als Schlüssel
C.
Bausteine einer Regulierung
16 CC BY-SA 3.0 DE 29.03.2018
http://www.autofahrerseite.eu/images/Redaktion/Tipps_Trends/wie-lese-ich-die-tuev-plakette-richtig/TUEV-Rheinland_HU-Plaketten_2014_-_2018.jpg
Ex-ante-Kontrolle
Allgemeines Gleichbehandlungs
gesetz (AGG)
I. Präventiv
Automatisierte Entscheidungen
Transparenz
Transparenz
Diskriminie-rung
Insbes. Standardisierung von Trainingsprozessen bei maschinellen Lernverfahren
B. Risiken
A. Algorithmen als Schlüssel
C.
Bausteine einer Regulierung
17 CC BY-SA 3.0 DE 29.03.2018
http://www.mz-web.de/image/24685230/2x1/940/470/38edde63b6c793298a556fcf842d2911/rW/b-l-190-strasse-020916.jpg
I. Präventiv
II. Begleitend
B. Risiken
A. Algorithmen als Schlüssel
C.
Bausteine einer Regulierung
https://www.rubikon.news/artikel/kunstliche-intelligenz-als-gefahr/
18 CC BY-SA 3.0 DE 29.03.2018
http://www.digitalistbesser.org/wp-content/uploads/2013/01/20130121-the-great-crowdsourcing-tt-2011.jpg
I. Präventiv
II. Begleitend
• Kontroll-algorithmen
• Behördliche Auskunfts- u. Kontrollrechte
B. Risiken
A. Algorithmen als Schlüssel
C.
Bausteine einer Regulierung
Routinevalidierung
19 CC BY-SA 3.0 DE 29.03.2018
https://cdn.netzpolitik.org/wp-upload/2017/01/daten-programmieren-bildschirm.jpg
I. Präventiv
II. Begleitend
Routinevalidierung
Beweissicherung
Art. 30 DSGVO ergänzen
B. Risiken
A. Algorithmen als Schlüssel
C.
Bausteine einer Regulierung
Programmabläufe und Entscheidungsparameter
20 CC BY-SA 3.0 DE 29.03.2018
https://cdnde1.img.sputniknews.com/images/30375/34/303753484.jpg
I. Präventiv
II. Begleitend
III. Nachträglich
B. Risiken
A. Algorithmen als Schlüssel
C.
Bausteine einer Regulierung
21 CC BY-SA 3.0 DE 29.03.2018
https://www.dreikon.de/site/assets/files/1837/kontaktformular-datenschutz-abmahnung.jpg
I. Präventiv
II. Begleitend
III. Nachträglich
B. Risiken
A. Algorithmen als Schlüssel
C.
Bausteine einer Regulierung
Beweis-erleichterung
22 CC BY-SA 3.0 DE 29.03.2018
I. Präventiv
II. Begleitend
III. Nachträglich
Ergänzung des UWG
B. Risiken
A. Algorithmen als Schlüssel
C.
Bausteine einer Regulierung
Bidlquelle: Bildquelle: ChesiireCat/iStock
Abmahnung
Beweis-erleichterung
23 CC BY-SA 3.0 DE 29.03.2018
https://heise.cloudimg.io/width/332/tjpeg.q100.webp-lossy-100.foil1/_www-heise-de_/imgs/18/2/2/3/3/0/9/9/Menschenmenge8-3da873529f7dd5ae.jpeg
I. Präventiv
II. Begleitend
III. Nachträglich
Abmahnung
Beweis-erleichterung
Verbandsklage
Änderung des § 2 I 2 UKlaG
B. Risiken
A. Algorithmen als Schlüssel
C.
Bausteine einer Regulierung
https://pxhere.com/en/photo/913176
24 CC BY-SA 3.0 DE 29.03.2018
http://www.blockchaintechnologies.com/img/blockchain-consensus.jpg
Schlichtungsstelle
I. Präventiv
II. Begleitend
III. Nachträglich
Abmahnung
Beweis-erleichterung
Verbandsklage
B. Risiken
A. Algorithmen als Schlüssel
C.
Bausteine einer Regulierung
25 CC BY-SA 3.0 DE 29.03.2018
https://www.testbirds.de/fileadmin/_processed_/csm_code-of-conduct-illustration2_0108f3b061.jpg
Regulierte Selbstregulierung
I. Präventiv
II. Begleitend
III. Nachträglich
§ 161 I 1 Aktiengesetz Vorstand und Aufsichtsrat der börsennotierten Gesellschaft erklären jährlich, dass den […] Empfehlungen der „Regierungskommission Deutscher Corporate Governance Kodex” entsprochen wurde und wird oder welche Empfehlungen nicht angewendet wurden oder werden und warum nicht.
B. Risiken
A. Algorithmen als Schlüssel
C.
Bausteine einer Regulierung
26 CC BY-SA 3.0 DE 29.03.2018
https://algorithmenethik.de/2017/11/23/algorithmische-systeme-was-zu-tun-ist-um-teilhabe-zu-staerken/
Regulierte Selbstregulierung
I. Präventiv
II. Begleitend
III. Nachträglich
Anbieter algorithmenbasierter, persönlichkeitsensibler Telemedien erklären jährlich, dass sie den […] Empfehlungen der „Regierungskommission Algorithmic Responsibility Codex“ entsprechen oder welche Empfehlungen sie nicht anwenden und warum nicht.
B. Risiken
A. Algorithmen als Schlüssel
C.
Bausteine einer Regulierung
www.lto.de/recht/hintergruende/h/bverfg-richter-andreas-paulus-datenschutz-privatspaehre-nsa-snowden
27 CC BY-SA 3.0 DE 29.03.2018
D. Fazit
• Allg. Kennzeichnungs- und Begründungspflicht
• Anwendungserweiterung des AGG
• Verbandsklage- und Abmahnrechte
• Algorithmic Responsibility Codex nach dem Vorbild des § 161 Aktiengesetz
• Algorithmen-Prüfverfahren, insbes. - behördliche Auskunfts- und Kontrollrechte, - Protokollierung der Programmabläufe
B. Risiken
A. Algorithmen als Schlüssel
C.
Bausteine einer Regulierung
Nationale Kompetenz
Unionale Kompetenz
29.03.2018 28
Kontakt:
Prof. Dr. Mario Martini Freiherr-vom-Stein-Str. 2, 67346 Speyer 06232/645-403; [email protected]
Jüngere Veröffentlichungen zum Themenfeld: • Wenn Maschinen entscheiden... - vollautomatisierte Verwaltungsverfahren und der Persönlichkeitsschutz
(mit David Nink), NVwZ 2017, S. 681 f. • Die Blockchain-Technologie und das Recht auf Vergessenwerden, NVwZ 2017, S. 1251-1259 • Die Datenschutz-Grundverordnung: Revolution oder Evolution im europäischen und deutschen
Datenschutzrecht?, EuZW 2016, 448-454 (mit Jürgen Kühling). • Wie neugierig darf der Staat im Cyberspace sein? Social Media Monitoring öffentlicher Stellen – Chancen
und Grenzen, VerwArch. 3/2016, S. 307-358. • Do it yourself im Datenschutzrecht, NVwZ 2016, 353 f. (Kurzfassung); NVwZ-Extra 6/2016, 1-13
(Langfassung). • Wie werden und wollen wir morgen leben? - Ein Blick in die Glaskugel der digitalen Zukunft, in:
Hill/Martini/Wagner (Hrsg.), Die digitale Lebenswelt gestalten, Baden-Baden 2015, S. 9-56. • Kompendium Online-Bürgerbeteiligung - Rechtliche Rahmenbedingungen kommunaler
Beteiligungsangebote im Internet, München, 2015, 104 Seiten (mit Saskia Fritzsche). • Mitverantwortung in sozialen Netzwerken – Facebook-Fanpage-Betreiber in der datenschutzrechtlichen
Grauzone (mit Saskia Fritzsche), NVwZ-Extra 2015/23, S. 1-16. • Big Data als Herausforderung für den Persönlichkeitsschutz und das Datenschutzrecht, DVBl. 2014, 1481 ff.