Reichen Gesetze gegen trickreiche digitale Nutzerschnittstellen? – Politischer Handlungsbedarf bei Dark Patterns

Wer im Internet einkauft, der findet in vielen Shops Hinweise auf ein nur noch in begrenzter Zahl zwei Tage verfügbares Produkt, das zu den Top-Sellern mit Spitzenbewertungen früherer Käufer:innen gehört und sich x andere Personen gerade ebenfalls anschauen. Nimmt ein Besucher dann das Produkt in den Warenkorb auf, so erscheint nicht selten ein Abwahlkasten, der mit einer Formulierung wie „Ich verzichte darauf, die Vorteile einer Transportversicherung für meine Bestellung wahrzunehmen“ verknüpft ist. Solche Nutzeroberflächen sollen Interessierte zu Käufern von Basis- und Zusatzleistungen machen, um Absatz und Gewinn des Verkäufers zu steigern. Außerdem sieht man sich auf vielen Websites bei Cookie-Zustimmungsaufforderungen mit Varianten konfrontiert, die Nutzenden durch Farben, Schriftgröße und Platzierung von Schaltflächen nahelegen, in die Verarbeitung ihrer personenbezogenen Daten zum Zweck gezielter Werbung und von Inhaltsvorschlägen einzuwilligen. Stimmen Nutzende hier zu, dann tragen sie ebenfalls dazu bei, den betriebswirtschaftlichen Erfolg von Website-Betreibenden zu steigern.

Die skizzierten und von ihren Effekten her verwandten Spielarten der Gestaltung digitaler Nutzeroberflächen werden in Fachkreisen mit den Anglizismen „Dark Pattern“ (DP; geheimes Muster), „Nudging for Bad” (unethisches Anstupsen) oder „Malicious Interface Design“ (bösartige Schnittstellengestaltung) angesprochen. Sie werden seit rund 15 Jahren als unfaire Mittel zur Einschränkung der Entscheidungsautonomie von Website-Besucher:innen sowie in die Irre führende listige psychologische Fallen im digitalen Online-Raum gebrandmarkt (etwa Brignull, 2011; Conti und Sobiesk, 2010; Gerpott, 2022; Lupiáñez-Villanueva et al., 2022; Martini et al., 2022; Reisch, 2020). Ursprünglich ging es bei DP um Online-Dienste, die auf PCs oder Laptops über Webbrowser aufgerufen wurden. Später kamen digitale Angebote hinzu, die über Schnittstellen speziell für Betriebssysteme mobiler Geräte oder in Apps für solche Geräte realisiert wurden.

Allgemeine Merkmale von DP sind, dass sie (z. B. Kühling und Sauerborn, 2022, 4-19; Martini et al., 2022, 49-53):

• Nutzende zu einem Handeln, Dulden oder Unterlassen verleiten, das nicht im Einklang mit deren langfristigen Interessen und Präferenzen steht;
• Nutzende unfair sehr einseitig gegenüber mindestens einer anderen Transaktionspartei benachteiligen;
• auf das heimliche Ausschöpfen von Nutzenden in der Regel nicht bewussten, irrationalen Informationsverarbeitungs-, Urteils- und Entscheidungstendenzen zielen, die nicht bei jedem einzelnen, aber in einer Gruppe von Menschen im Durchschnitt zu beobachten sind.

Dark Patterns in der digitalen Welt bedeutender

Nun mag man entgegnen, dass solche Designs keine Besonderheit der digitalen Welt sind. Schließlich ist es auch in der analogen Welt üblich, Verbraucher:innen durch limitierte Editionen, nur kurze Zeit gültige Preissenkungen und Hinweise auf gute Testergebnisse renommierter Institutionen ohne Übertreten der Grenze zur betrügerischen Täuschung gemäß § 263 Abs. 1 StGB im Sinn der Verkäufer:innen zu beeinflussen. Doch dieser Einwand trägt nicht. Im digitalen Raum ist es Website-Betreibenden viel schneller und zu niedrigeren Kosten möglich, hinterhältige Nutzerschnittstellen empirisch fundiert in kurzen Abständen zu optimieren, indem sie die Wirkungen von Gestaltungsalternativen auf das Nutzerverhalten in Tests miteinander vergleichen (Kleinz, 2022, 136; Narayanan et al., 2020, 44; OECD, 2021, 13). Außerdem werden Nutzende im digitalen Raum nicht nur bei der seit Jahren rasch steigenden großen Zahl von entgeltpflichtigen Online-Vertragsabschlüssen DP ausgesetzt, sondern zudem bei vielen anderen Gelegenheiten, z. B., wenn sie sich eine Meinung zu politischen Themen bilden oder einem Hobby nachgehen.

Dafür, dass DP aktuell auf Websites global, in der Europäischen Union und in Deutschland weit verbreitet sind, gibt es zahlreiche wissenschaftliche Belege. Tabelle 1 fasst die Ergebnisse aus fünf breit angelegten empirischen Studien zum DP-Einsatz in der Praxis von 2018 bis 2021 zusammen. Die Angebotsanalysen zeigen, dass DP im Web und in Apps für mobile Endgeräte keine auf wenige „schwarze Schafe“ begrenzte Seltenheit sind. Auch die großen Betreibenden digitaler Plattformen Google, Amazon, Meta, Microsoft und Apple (GAMMA) setzen DP etwa zur Erschwerung von Dienstkündigungen ein. Darüber hinaus offenbaren etliche Untersuchungen, die auf Cookie-Platzierungen beschränkt sind, dass ein signifikanter Anbieteranteil DP einsetzt, um Zustimmungserklärungen der Nutzenden in die Verarbeitung ihrer personenbezogenen Daten zu erhalten. Gebräuchlich ist hier die Darbietung der Zustimmungsoption dergestalt, dass deren Anklicken provoziert wird (Graßl et al., 2021; Human und Cech, 2021; Machuletz und Böhme, 2020; Matte et al., 2020; Nouwens et al., 2020; Soe et al., 2020; Utz et al., 2019).

Bewusstsein und Wirksamkeit auf Nutzerseite

Website-Besucher:innen sind sich der Problematik unfairer digitaler Oberflächen durchaus bewusst. In aktuellen bevölkerungsrepräsentativen Umfragen in Deutschland stufen Verbraucher:innen „Internet und Digitalisierung“ als Bereich ein, auf dem (a) sie sich mit Abstand schlechter geschützt fühlen als in anderen Bereichen (z. B. Finanzen und Versicherungen) und (b) sich das empfundene Schutzniveau im Zeitablauf verschlechtert hat (VZBV, 2021, 9-10). Empirische Erhebungen zeigen zudem, dass die Teilnehmer:innen im Durchschnitt meinen, dass sie einen DP-Einsatz im Web erwarten würden, aber bei Zugrundelegung eines objektiven Maßstabs tatsächlich DP (insbesondere das Setzen von Bezugspunkten/Frames und das Darlegen von Entscheidungsalternativen, sodass die Wahl der für Verbraucher:innen nachteiligen Alternative wahrscheinlicher wird) oft nicht bemerken (Bongard-Blanchy et al., 2021). Dementsprechend belegen etliche wissenschaftliche Untersuchungen, dass DP, wenn sie nicht allzu aggressiv und plump angelegt sind, im Sinn der Website-Betreibenden wirken, weil Nutzer:innen aufgrund kognitiver Beschränkungen (z. B. Aufmerksamkeit, Erinnerungsfähigkeit, Ermüdung) – insbesondere sofern sie unter Zeitdruck agieren und Emotionen wie Begeisterung, Gier oder Neid im Spiel sind – es nicht schaffen, den psychologischen Fallen auszuweichen (jüngst etwa Lupiáñez-Villanueva et al., 2022, 95-108; Sin et al., 2022).

Von den Betreibenden angestrebte Effekte werden in jüngster Zeit dadurch noch besser erreicht, dass Nutzerschnittstellen zunehmend dynamisch über die Auswertung von Surfdaten auf Nutzersegmente, die im Extremfall nur noch eine Person einschließen, ausgerichtet werden (DP der zweiten Generation oder „Hypernudging“; Kitkowska et al., 2022, 4701; Lanzing, 2019, 553-555; Lupiáñez-Villanueva et al., 2022, 33; Marcellis-Warin et al., 2022, 260-262; Mendelsohn, 2021, 859; Mills, 2022, 152; Yeung, 2017, 122).

Juristische Interventionen

Direkte Verbote

Angesichts der starken Verbreitung und gefährlichen Wirkungen von DP beschäftigen sich Politiker:innen auf EU-Ebene und in den Mitgliedstaaten der EU seit längerem damit, wie sie Besucher:innen und lautere Betreibende von Websites vor Schäden durch DP bewahren können. Der typische Ansatz besteht darin, im Einklang mit Empfehlungen der wissenschaftlichen Politikberatung (z. B. Datenethikkommission, 2019, 102; Lupiáñez-Villanueva et al., 2022, 122), direkte Verbote irreführender Designmuster in EU- und nationale Rechtsakte aufzunehmen. Solche Untersagungen betreffen entweder sämtliche Anbietenden oder bestimmte Anbietertypen (z. B. Online-Vermittlungen). So verbietet die EU-weit gültige Richtlinie 2005/29/EG vom 11.5.2005 zu Zwecken des Wettbewerbs- und Verbraucherschutzes in Art. 8 generell „aggressive Geschäftspraktiken“ und definiert sie dergestalt, dass darunter auch viele digitale DP-Varianten fallen. In Deutschland wurde diese Vorschrift in § 4a Abs. 1 S. 1 Nr. 3 und S. 2 des Gesetzes gegen unlauteren Wettbewerb (UWG) umgesetzt. Darüber hinaus unterstützt in jüngster Zeit die Europäische Kommission speziell im digitalen Raum DP-Verbote beim Einsatz künstlicher Intelligenz im Artifical Intelligence Act, Teilen von Daten im Data Act, Begrenzen der Wettbewerbsmacht digitaler Gatekeeper (insbesondere GAMMA) im Digital Markets Act und beim Schutz von Nutzenden digitaler Online-Vermittlungsdienste im Digital Services Act.

Indirekte Eindämmung durch Daten- und Verbraucherschutz

Über direkte Verbote hinaus versucht man auf europäischer Ebene im Datenschutzrecht DP mit Hilfe von unabdingbaren Einwilligungen von Website-Besuchenden in die Verarbeitung ihrer personenbezogenen Daten und damit verbundene Informationsauflagen für Website-Betreibende der in jedem EU-Mitgliedstaat direkt anzuwendenden Verordnung (EU) 2016/679 vom 27.4.2016 (Datenschutz-Grundverordnung) allgemein einzudämmen (Kühling und Sauerborn, 2022, 48-56). Auf deutscher Ebene geht man gegen DP juristisch außerdem im Vertrags- und Wettbewerbsrecht vor. Einschlägige Normen befassen sich mit (Fellner, 2021, 1170-1171; Kühling und Sauerborn, 2022, 29-32; Kulke, 2022, 45-49; Schmidt, 2022, 132-138; Specht-Riemenschneider et al., 2020, 297-304):

• Transparenzpflichten für Rankings und Kundenbewertungen auf Online-Marktplätzen (Art. 246d EGBGB, § 5a Abs. 2, § 5b Abs. 2, 3 und Nr. 11a, 23b, 23c des Anhangs zu § 3 Abs. 3 UWG);
• Verzichtsgeboten bei Voreinstellungen als unabdingbare Voraussetzung für die Wirksamkeit von Verbrauchervertragsbestandteilen im elektronischen Geschäftsverkehr (§ 312a Abs. 3 BGB);
• Widerrufsrechten nach Fernabsatzverträgen zur Begrenzung finanzieller Schäden für Verbraucher:innen (§ 312g, § 355 BGB);
• Vorgaben zur Gestaltung von Online-Schaltflächen bei ent­geltpflichtigen Verbraucherverträgen (§ 312j Abs. 2, 3 BGB);
• Vorgaben zur Bereitstellung von Kündigungsschaltflächen bei auf Online-Marktplätzen geschlossenen entgeltlichen Dauerschuldverhältnissen wie einem Mobilfunkvertrag (§ 312k BGB).

Wirkungsgrenzen

Trotz des starken Ausbaus gesetzlicher Regelungen im Kontext von DP nimmt die Verbreitung solcher Designmuster nicht ab (vgl. Tabelle 1). Hierfür gibt es zwei Hauptgründe. Erstens ist es leicht, Nutzerschnittstellen so zu gestalten, dass kein offensichtlicher Verstoß gegen eine allgemein formulierte Rechtsnorm vorliegt. Für solche Fälle muss dann erst in langwierigen Gerichtsverfahren mit hoher Ergebnisunsicherheit für den Kläger eine Entscheidung herbeigeführt werden. Die geringe Wahrscheinlichkeit, mit der vor allem die zahlreichen in der Öffentlichkeit weniger beachteten, kleinen Website-Betreibenden für DP zur Rechenschaft gezogen und mit empfindlichen Geldbußen belegt werden, schafft gemeinsam mit erwarteten Gewinnsteigerungen durch DP Anreize, mit abstrakten gesetzlichen DP-Vorgaben „locker“ umzugehen. Zweitens sind die DP-Möglichkeiten so vielfältig, dass es selbst für kleine Website-Betreibende nicht schwierig ist, konkret verbotene DP-Varianten rasch durch subtilere Spielarten zu ersetzen. Ein Beispiel ist der Austausch von nicht klar formulierten Bestellschaltflächen durch Buttons, die anstreben durch Optionen wie „Ja, ich trage gern Kosten für den umweltfreundlichen Versand meiner Ware“ und „Nein, ich verzichte beim Versand meiner Bestellung auf Umweltschutz“ bei Buchungsverzicht Schamgefühle hervorzurufen.

Ergänzung juristischer Interventionen

Da eine enge legalistische Strategie zur DP-Bekämpfung nicht ausreicht, sollte man umdenken und wirksame Ergänzungen identifizieren. Bislang setzt die Politik mit Designauflagen und Strafen auf „negative Anreize“ für Website-Betreibende. Deshalb besteht eine naheliegende Politikveränderung darin, verstärkt positive Anreize zu schaffen.

Spezielle Dark-Pattern-Leitlinien als Bewertungsmaßstab

Hierzu sollte die Bundesregierung selbst oder von ihr beauftragte renommierte neutrale Institutionen (z. B. Verbraucherzentralen, Technische Überwachungsvereine) spezielle Leitlinien zu DP für kommerzielle Online-Verkäufer, -Intermediäre und Betreibende sozialer Medien erarbeiten. Solche Leitlinien müssen neben generellen Gestaltungsprinzipien für Nutzeroberflächen (z. B. Easy, Attractive, Social, Timely (EAST) oder Fairness, Openness, Respect, Goals, Opinions, Options, Delegation (FORGOOD); Lades und Delaney, 2022, 78; Sunstein und Reisch, 2019, 130) konkrete Fallbeispiele umfassen, die zeigen, welche Designs als gut und als noch gerade zulässig einzustufen sind. Die Bundesregierung kann sich dabei an etlichen DP-Empfehlungen, die EU-Behörden, nationale Behörden der EU-Mitgliedstaaten und zivilgesellschaftliche Organisationen bereits veröffentlicht haben (EDPB, 2022; Europäische Kommission, 2021; Information Commissioner’s Office, 2020; Netherlands Authority for Consumer and Markets, 2020), orientieren und sie auf deutsche Verhältnisse zuschneiden. Außerdem kann sie Anregungen aus freiwilligen Verhaltenskodizes von Internetanbietenden für den digitalen Raum wie dem von 34 Technologieunternehmen mit Wohlwollen der Europäischen Kommission unterzeichneten „Strengthened Code of Practice on Disinformation“ (European Commission, 2022) entnehmen.

Anreize zur Beachtung von Dark Pattern-Leitlinien

Damit solche Leitlinien rasch an Markt- und Techniktrends angepasst werden können, sollte es sich bei ihnen nicht um juristisch zwingend einzuhaltende Vorgaben handeln, die erst in einem zeitaufwändigen Gesetzgebungsprozess änderbar sind. Gleichzeitig ist aber darauf zu achten, dass sie aufgrund ihrer rechtlichen Unverbindlichkeit von Anbietenden nicht als bloßes Alibi für die vermeintliche Übernahme von Verantwortung für ihr Verhalten im Internet missbraucht werden, um den Eindruck von „DP Free Washing“ und eine Debatte analog zu den im Hinblick auf „Corporate Social Responsibility-“ und „Environmental, Social and Governmental”-Taxonomien geführten Diskussionen zu vermeiden. Dies lässt sich durch drei Maßnahmen erreichen, die es für Unternehmen attraktiv machen, DP-Leitlinien bei der Gestaltung ihrer Nutzerschnittstellen tatsächlich zu beachten.

1. Von einer im Auftrag des Bundes tätigen neutralen Organisation sind Software-Tools bereitzustellen und fortlaufend zu aktualisieren, die den Grad der Übereinstimmung der Nutzerschnittstellengestaltung einer Website mit den Soll-Ausprägungen gemäß DP-Leitlinien in quantifizierender und leicht verständlicher Weise abbilden (z. B. ähnlich wie eine Ampelkennzeichnung auf Lebensmittelverpackungen; Gerpott, 2020a, 656). Solche Tools sind erforderlich, um auch kleine Website-Betreibende in die Lage zu versetzen, ihre Webschnittstellen ohne großen Aufwand im Hinblick auf ihre DP-Leitlinien­konformität hin zu bewerten. Gegenüber einer Verlagerung der Verwendung der Software auf Nutzende hat die Selbstprüfung bei Anbietenden zwei Vorteile (Gerpott, 2020b, 742). Einmal ist sie unabhängig von der Kompetenz und Motivation der Nutzenden. Außerdem belastet sie diese nicht damit, bei Website-Besuchen Zeit für DP-Tests zu investieren. Bei der Tool-Entwicklung kann auf mehrere öffentlich finanzierte Forschungsprojekte¹ wie zum Beispiel „CLAUDETTE“, „DATENSCHUTZscanner“ oder „Dark Pattern Detection Project“ aufgesetzt werden (Kettner et al., 2019; Lagioia et al., 2022). Vor dem Hintergrund der Vielfältigkeit von DP ist zwar kurzfristig nicht damit zu rechnen, dass die Software nahezu fehlerfrei arbeitet (Kleinz, 2022, 138). Machbar sind aber schon heute Lösungen, die vor allem für Nutzende stark nachteilige DP unter Einsatz von Techniken des Maschinenlernens mit befriedigender Zuverlässigkeit identifizieren können (Micklitz et al., 2017, 377-383).
2. Es sind Aktionen notwendig, die öffentliche Aufmerksamkeit für von mit der Prüfsoftware erzielte Ergebnisse schaffen. So könnte die Bundesregierung Verbraucherschutzorganisationen damit beauftragen, DP-Top- und -Flop-Listen zu erstellen sowie breit zu kommunizieren. Der Reputationsgewinn bzw. -verlust, den Website-Betreibende über solche Listen erzielen bzw. erleiden können, hilft, Anbietende zu motivieren, DP-Leitlinien auch ohne juristischen Zwang umzusetzen.
3. Es sind Zahlungen – analog zu jüngst vorgeschlagenen Prämien für Verbraucher:innen oder Unternehmen, die in einer Energiekrise sparsam mit Gas umgehen – an kleine und mittelgroße Betreibende einzuführen, die der Bund bei Nachweis des Erreichens bestimmter DP-Qualitätsschwellenwerte mit der oben genannten zertifizierten Prüfsoftware vornimmt. Dem Einwand, dass damit Anbietende für eigentlich gesetzestreues Verhalten belohnt würden, ist entgegenzuhalten, dass sich Zahlungen auf „überobligatorisch“ gute Nutzerschnittstellen, die Gesetzesstandards deutlich überschreiten, begrenzen lassen. Zudem kann durch „helle“ Nutzeroberflächen das Verbrauchervertrauen so gestärkt werden, dass die öffentliche Hand im Fall höherer Transaktionsvolumina zumindest einen Teil der Zahlungen über gestiegene Steuereinnahmen kompensieren kann.

Maßnahmen der Bundesregierung ausbauen

Bis heute sind die Bemühungen der Bundesregierung(en), über legalistische Interventionen hinaus Nutzende vor DP zu schützen, unzureichend. Das Bundesjustizministerium hat zwar 2018 eine „Corporate Digital Responsibility-” (CDR-)Initiative ins Leben gerufen. Sie hat jedoch bis heute lediglich eher als Lippenbekenntnisse einzustufende und in der Öffentlichkeit kaum bekannte Selbstverpflichtungen weniger Konzerne mit Betonung von Nachhaltigkeitsthemen und ohne umfangreichere Konkretisierungen von DP hervorgebracht (BMJV, 2018, 2-8; Kettner und Thorun, 2021, 2). Mit dem Regierungswechsel im Dezember 2021 wurde der Verbraucherschutz und mit ihm die CDR-Initiative in das Bundesumweltministerium verschoben. Aber auch dort hat man es bei unverbindlichen isolierten Maßnahmenvorschlägen zu DP und allgemeinen Meinungsforen belassen. Weiter unterstützt das Bundesinnenministerium seit 2019 jährlich einen Digitaltag, der über eine reine PR-Veranstaltung mit folgenlosen Appellen wie, dass die Digitalkompetenz der Bürger:innen zu stärken sei, nicht hinaus kommt. Schlussendlich haben weder das Bundesdigitalministerium noch das Bundeswirtschaftsministerium Schritte in Richtung auf DP-Leitlinien/-Software sowie Anreize zur Leitlinienanwendung in der Praxis unternommen. Das Fehlen einer zentralen Instanz in der Bundesregierung, die sich nicht nur in ihrem Titel mit dem Verweis auf Digitales schmückt, sondern tatsächlich weitreichende Befugnisse für Digitalthemen hat, macht sich bei DP einmal mehr schmerzlich bemerkbar.

Die Bundesregierung hat derzeit mit Gasnotstand sowie drohender ernster Rezession infolge des Putinschen Angriffskriegs auf die Ukraine, Klimaschutz und Haushaltssanierung verständlicherweise dringende politische Themen vorrangig zu behandeln, die mit Nutzer- und Wettbewerbsschutz im Internet wenig zu tun haben. Im Sinn der langfristigen Sicherung eines fairen digitalen Internet-raums sollte sie aber jenseits juristischer Maßnahmen trotzdem spezielle Leitlinien, Software Tools, Informationskampagnen und Prämienzahlungen als Hebel zur DP-Bekämpfung ins helle Rampenlicht rücken.

• 1 Abzurufen unter folgenden Links: http://claudette.eui.eu/about/index.html, https://datenschutz-scanner.de/en/das-projekt und https://dapde.de/de/.

Literatur

BMJV – Bundesministerium der Justiz und für Verbraucherschutz (2018), Corporate Digital Responsibility-Initiative, 10. August, https://www.bmj.de/SharedDocs/Downloads/DE/News/Artikel/100818_CDR-Initiative.pdf?__blob=publicationFile&v=4 (7. Juli 2022).

Bongard-Blanchy, K., A. Rossi, S. Rivas, S. Doublet, V. Koenig und G. Lenzini (2021), „I am Definitely Manipulated, Even When I am Aware of it. It’s Ridiculous!“– Dark Patterns from the End-User Perspective, in W. Ju, L. Oehlberg und S. Follmer (Hrsg.), Designing Interactive Systems Conference 2021, 763-776, ACM.

Brignull, H. (2011), Dark Patterns: Deception vs. Honesty in UI Design. Interaction Design, Usability, 338, https://alistapart.com/article/dark-patterns-deception-vs-honesty-in-ui-design/ (7. Juli 2022).

Conti, G. und E. Sobiesk (2010), Malicious Interface Design: Exploiting the User, Proceedings of the 19th international conference on World ­Wide Web, 271-280, ACM.

Datenethikkommission (2019), Gutachten der Datenethikkommission, https://www.bmj.de/SharedDocs/Downloads/DE/Themen/Fokusthemen/Gutachten_DEK_DE.pdf?__blo=publicationFile&v=3 (7. Juli 2022).

EDPB – European Data Protection Board (2022), Guidelines 3/2022 on Dark patterns in social media platform interfaces: How to ­reco­gnize and avoid them, 14. März, https://edpb.europa.eu/system/files/2022-03/edpb_03-2022_guidelines_on_dark_patterns_in_social_media_platform_interfaces_en.pdf (7. Juli 2022).

Europäische Kommission (2021), Leitlinien zur Auslegung und Anwendung der Richtlinie 2005/29/EG des Europäischen Parlaments und des Rates über unlautere Geschäftspraktiken von Unternehmen gegenüber Verbrauchern im Binnenmarkt, Amtsblatt der Europäischen Union, 64(C526), 1-129.

European Commission (2022), Disinformation: Commission welcomes the new stronger and more comprehensive Code of Practice on disinformation, 16. Juni, https://ec.europa.eu/commission/presscorner/api/files/document/print/en/ip_22_3664/IP_22_3664_EN.pdf (7. Juli 2022).

Fellner, C. (2021), Änderungen des BGB und EGBGB zur besseren Durchsetzung und Modernisierung der Verbraucherschutzvorschriften, Monatsschrift für Deutsches Recht, 75(19), 1167-1173.

Geronimo Di, L., L. Braz, E. Fregnan, F. Palomba und A. Bacchelli (2020), UI Dark Patterns and Where to Find Them: A Study on Mobile Applications and User Perception, Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems, Paper 473, 1-14, ACM.

Gerpott, T. J. (2020a), Wirkungen von Formatvariationen bei Erklärungen zum Schutz personenbezogener Daten auf betroffene Personen, Computer und Recht, 36(10), 650-657.

Gerpott, T. J. (2020b), Datenschutzerklärungen – Materiell fundierte Einwilligung nach der DS-GVO, MultiMedia und Recht, 23(11), 739-744.

Gerpott, T. J. (2022), Das Gesetz über digitale Dienste nach den Trilog-Verhandlungen, Computer und Recht, 38, 534-544.

Graßl, P. A. J., H. K. Schraffenberger, F. J. Zuiderveen Borgesius und M. A. Buijzen (2021), Dark and bright patterns in cookie consent requests, Journal of Digital Social Research, 3(1), 1-38.

Gunawan, J., A. Pradeep, D. Choffnes, W. Hartzog und C. Wilson (2021), A Comparative Study of Dark Patterns Across Mobile and Web Modalities, Proceedings of the ACM on Human-Computer Interaction, 377, 1-29, ACM.

Human, S. und F. Cech (2021), A Human-Centric Perspective on Digital Consenting: The Case of GAFAM, in A. Zimmermann, R. J. Howlett und L. C. Jain (Hrsg.), Human Centred Intelligent Systems – Proceed­ings of KES-HCIS 2020 Conference, 139-159, Springer.

Information Commissioner’s Office (2020), Age appropriate design: a code of practice for online services, 2. September, https://ico.org.uk/for-organisations/guide-to-data-protection/ico-codes-of-practice/age-appropriate-design-a-code-of-practice-for-online-services (7. Juli 2022).

Kettner, S. E., C. Thorun, S. Ludwig, G. Heyer, W. Bolte, S. Wolters, F. Ingenrieth, C. Rost und J. Wittmann (2019), PGuard – Gemeinsamer Abschlussbericht, 25. Januar, https://datenschutz-scanner.de/fileadmin/pguard/files/Abschlussbericht_PGuard_publikation.pdf (7. Juli 2022).

Kettner, S. E. und C. Thorun, (2021), Corporate Digital Responsibility – Ergebnisse einer repräsentativen Verbraucherbefragung, 27. April, https://www.bmj.de/SharedDocs/Downloads/DE/PDF/Berichte/CDR_ConPolicy_Fact_Sheets.pdf?__blob=publicationFile&v=1 (7. Juli 2022).

Kitkowska, A., J. Högberg und E. Wästlund (2022), Barriers to a Well-Functioning Digital Market: Exploring Dark Patterns and How to Overcome Them, in T. X. Bui (Hrsg.), Proceedings of the 55th Annual Hawaii International Conference on System Sciences, 4697-4706, Shidler College of Business.

Kleinz, T. (2022), Klicken Sie hier!!!, c’t, 40(1), 136-139.

Kühling, J. und C. Sauerborn (2022), Rechtsgutachten über die „rechtlichen Rahmenbedingungen sogenannter ‚Dark Patterns’“, 14. Februar, https://www.bevh.org/fileadmin/content/04_politik/Europa/Kuehling-Gutachten-BEVH-Dark-pattern-22-02-16-final.pdf (7. Juli 2022).

Kulke, U. (2022), Neue Regelungen für faire Verbraucherverträge, Monatsschrift für Deutsches Recht, 76(3), 129-135.

Lades, L. K. und L. Delaney (2022), Nudge Forgood, Behavioural Public Policy, 6(1), 75-94.

Lagioia, F., A. Jablonokowska, R. Liepina und K. Drazewski (2022), AI in search of unfairness in consumer contracts, Journal of Consumer Policy, 45, im Druck.

Lanzing, M. (2019), „Strongly Recommended“ Revisiting Decisional Privacy to Judge Hypernudging in Self-Tracking Technologies, Philosophy & Technology, 32(3), 549-568.

Lupiáñez-Villanueva, F., A. Boluda, F. Bogliacino, G. Liva, L. Lechardoy und T. Rodríguez de las Heras Ballell (2022), Behavioural study on unfair commercial practices in the digital environment: dark patterns and manipulative personalisation, https://op.europa.eu/de/publication-detail/-/publication/606365bc-d58b-11ec-a95f-01aa75ed71a1 (7. Juli 2022).

Machuletz, D. und R. Böhme (2019), Multiple Purposes, Multiple Problems: A User Study of Consent Dialogs after GDPR, Proceedings on Privacy Enhancing Technologies, 6(2), 481-498.

Marcellis-Warin de, N., F. Marty, E. Thelisson und T. Warin (2022), Artificial intelligence and consumer manipulations: from consumer‘s counter algorithms to firm‘s self-regulation tools, AI and Ethics, 2(2), 259-268.

Martini, M., I. Kramme und P. Seeliger (2022), „Nur noch für 30 Minuten verfügbar“ – Scarcity- und Countdown-Patterns bei Online-Geschäften auf dem Prüfstand des Rechts, Verbraucher und Recht, 37(4), 123-131.

Mathur, A. (2020), Identifying and measuring manipulative user interfaces at scale on the web, Dissertation Princeton University, https://dataspace.princeton.edu/bitstream/88435/dsp012f75rc09f/1/Mathur_princeton_0181D_13506.pdf (7. Juli 2022).

Mathur, A., G. Acar, M. J. Friedman, E. Lucherini, J. Mayer, M. Chetty und A. Narayanan (2019), Dark Patterns at Scale: Findings from a Crawl of 11K Shopping Websites, Proceedings of the ACM on Human-Computer Interaction, 3(CSCW), Article 81, 1-32.

Matte, C., N. Bielova und C. Santos (2020), Do Cookie Banners Re­spect my Choice? Measuring Legal Compliance of Banners from IAB Europe’s Transparency and Consent Framework, 2020 IEEE Symposium on Security and Privacy, 791-809, IEEE.

Mendelsohn, J. K. (2021), Die „normative Macht“ der Plattformen – Gegenstand der zukünftigen Digitalregulierung? MultiMedia und Recht, 24(11), 857-861.

Micklitz, H. W., P. Pałka und Y. Panagis (2017), The Empire Strikes Back: Digital Control of Unfair Terms of Online Services, Journal of Consum­er Policy, 40(3), 367-388.

Mills, S. (2022), Personalized nudging, Behavioural Public Policy, 6(1), 150-159.

Moser, C., S. Y. Schoenebeck und P. Resnick (2019), Impulse Buying: Design Practices and Consumer Needs, Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems, Paper 242, 1-15, ACM.

Narayanan, A., A. Mathur, M. Chetty und M. Kshirsagar (2020), Dark Patterns: Past, Present, and Future – The evolution of tricky user interfaces, Communications of the ACM, 63(9), 42-47.

Netherlands Authority for Consumer and Markets (2020), Protection of the online consumer – Boundaries of online persuasion, 11. Februar, https://www.acm.nl/sites/default/files/documents/2020-02/acm-guidelines-on-the-protection-of-the-online-consumer.pdf (7. Juli 2022).

Nouwens, M., I. Liccardi, M. Veale, D. Karger und L. Kagal (2020), Dark Patterns after the GDPR: Scraping Consent Pop-ups and Demonstrating their Influence, Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems, Paper 194, 1-13, ACM.

OECD (2021), Roundtable on Dark Commercial Patterns Online – Summary of discussion, 19. Februar, https://www.oecd.org/officialdocuments/publicdisplaydocumentpdf/?cote=DSTI/CP(2020)23/FINAL&docLanguage=En (7. Juli 2022).

Reisch, L. A. (2020), Nudging hell und dunkel: Regeln für digitales Nudg­ing, Wirtschaftsdienst, 100(2), 87-91, https://www.wirtschaftsdienst.eu/inhalt/jahr/2020/heft/2/beitrag/nudging-hell-und-dunkel-regeln-fuer-digitales-nudging.html (8. Juli 2022).

Schmidt, P. (2022), Neue Anforderungen für Online-Marktplätze und Bewertungsplattformen im Zivil- und Lauterkeitsrecht, Verbraucher und Recht, 37(4), 131-138.

Sin, R., T. Harris, S. Nilsson und T. Beck (2022), Dark patterns in online shopping: do they work and can nudges help mitigate impulse buying?, Behavioural Public Policy, 6, im Druck.

Soe, T. H., O. E. Nordberg, F. Guribye und M. Slavkovik (2020), Circumvention by design – dark patterns in cookie consent for online news outlets, Proceedings of the 11th Nordic Conference on Human-Com­puter Interaction: Shaping Experiences, Shaping Society, Article 19, 1-12, ACM.

Specht-Riemenschneider, L., S. Riemenschneider und R. Schneider (2020), Internetrecht, Springer.

Sunstein, C. R. und L. A. Reisch (2019), Trusting Nudges – Toward a Bill of Rights for Nudging, Routledge.

Utz, C., M. Degeling, S. Fahl, F. Schaub und T. Holz (2019), (Un)informed Consent: Studying GDPR Consent Notices in the Field, Proceedings of the 2019 ACM SIGSAC Conference on Computer and Communications Security, 973-990, ACM.

VZBV – Verbraucherzentrale Bundesverband (2021), Verbraucherreport 2021 – Das meinen die Verbraucher:innen, 13. Oktober, https://www.vzbv.de/sites/default/files/2021-10/21_10_12_Verbraucherreport-Ergebnisse_Summary_FINAL_0.pdf (7. Juli 2022).

Yeung, K. (2017), ‘Hypernudge’: Big Data as a mode of regulation by design, Information, Communication & Society, 20(1), 118-136.