Artikel als PDF herunterladen

Künstliche Intelligenz (KI) scheint den derzeitigen Rechtsrahmen infrage zu stellen, wenn Regeln aus einer analogen Welt auf Rechtsfragen des digitalen Zeitalters angewendet werden. Dies macht sich insbesondere dann bemerkbar, wenn KI-Systeme Schäden verursachen. Die akademische Rechtsdiskussion beschäftigt sich aktuell damit, ob ein KI-System selbst haftbar gemacht werden soll. Dazu wurde das Rechtskonstrukt der e-Person entwickelt. Allerdings ist die Debatte in erster Linie von einem falschen Verständnis des technologischen Potenzials der künstlichen Intelligenz getrieben. Würde dies zur Grundlage einer Reform, ist mit schwerwiegenden wirtschaftlichen Auswirkungen zu rechnen.

Ein wenig wie bei „Zurück in die Zukunft“ kommt man sich dieser Tage vor, wenn man die juristischen Diskussionen über ein „Update des BGB“1 für das digitale Zeitalter verfolgt. Wie soll ein Gesetzestext aus der analogen Zeit im digitalen Zeitalter angewendet werden? Sind die rechtlichen Rahmenbedingungen noch zeitgemäß? Insbesondere die Entwicklungen hin zur sogenannten vierten industriellen Revolution und der Datengesellschaft scheinen diese Fragen zu verstärken. Zukunftsvisionen und Utopien von selbstständigen oder autonomen Maschinen, die durch künstliche Intelligenz ausgestattet, eigenständige Entscheidungen treffen, scheinen das gegenwärtige analoge Rechtssystem gar ad absurdum zu führen. Das gilt insbesondere für den Fall, wenn solche KI-Systeme Schäden hervorrufen und damit haftungsrechtliche Fragen auf die Tagesordnung treten sollten.

Einordnung der Haftungsdiskussion von KI-Systemen

Man stelle sich vor, dass unmittelbar vor einem mit autonomen Lenk- und Bremssystem ausgestatteten und in voller Fahrt befindlichen Fahrzeug ein Kind die Straße betritt. Ein Bremsen zur Vermeidung einer Kollision sei aus physikalischen Gründen nicht mehr möglich. Die dem Fahrzeug zugrundeliegende künstliche Intelligenz bzw. die Algorithmen erkennen drei Möglichkeiten.2 Das Fahrzeug kann geradeaus weiterfahren, was unmittelbar zum Tod des Kindes führt (Lösung 1). Das Fahrzeug kann nach links auf den Bürgersteig ausweichen, auf dem ein junges Pärchen spaziert und die in Folge einer Kollision mit dem Fahrzeug versterben (Lösung 2). Oder das Fahrzeug entscheidet sich nach rechts auszuweichen, wodurch das Fahrzeug gegen einen Baum fährt, wobei der Aufprall zum Tod des „Fahrers“ des autonom lenkenden und bremsenden Systems führt (Lösung 3). Neben der Tatsache, dass ein KI-System im Gegensatz zum Menschen in der Lage ist, die Informationen und Handlungsfolgen blitzschnell zu analysieren und sich für die „beste“ der drei tödlichen Lösungen zu entscheiden, stellt sich unmittelbar die Frage der Haftung für die entstandenen Schäden.

Drei Möglichkeiten sind denkbar: Zunächst könnte man an eine Haftung des Herstellers (und der Lieferanten) denken, insbesondere über die Produkthaftung. Daneben könnte eine Haftung des Nutzers (Betreiber oder Bediener) oder des Halters (Eigentümer) des autonomen Fahrzeugs in Betracht gezogen werden. Und schließlich könnte ein KI-System selbst haften. Letzte Möglichkeit ist in der Konzeption des „analogen“ Haftungsrechts allerdings bisher nicht vorgesehen. So setzt das gegenwärtige Haftungsrecht menschliches Verhalten voraus. Die Frage ist folglich, ob ein Update hin zu einem digitalen Haftungsrecht in Zukunft auch maschinelles Verhalten als Grundlage haben sollte. Die gegenwärtige juristische Diskussion überlegt dabei die Konzeption eines neuen Rechtskonstrukts in Form der sogenannten e-Person,3 d. h. man könnte autonomen KI-Systemen eine eigene Rechtspersönlichkeit zuordnen. Für unser Beispiel hieße das, dass das autonome Fahrzeug in jedem der drei Fälle für den entstehenden Schaden in vollem Umfang selbst haftet.

Utopie und technologische Wirklichkeit künstlicher Intelligenz

Das Vorhaben, einer künstlichen Intelligenz eine eigene Rechtspersönlichkeit zuzuordnen und die KI selbst für entstandene Schäden haften zu lassen, basiert letztlich auf einem falschen Verständnis über die technologischen Wirkungszusammenhänge einer solchen möglichen e-Person. Aus technischer Sicht sind Schäden in der Regel auf drei wesentliche Probleme zurückzuführen, die keineswegs aus vorsätzlichem oder fahrlässigem Verhalten eines absolut autonom handelnden KI-Systems hervorgehen, sondern menschliches Handeln erkennen lassen:

Schäden durch falsche oder schlechte Daten

Eine künstliche Intelligenz trifft datenbasiert Entscheidungen. Diese können für KI-verursachte Schäden verantwortlich sein. Insbesondere die sogenannten Entwicklungs- oder Trainingsdaten für eine künstliche Intelligenz können fehlerhafte Entscheidungen nach sich ziehen. So ist vorstellbar, dass für ein autonomes Fahrzeug der Kontext entscheidend ist, in der die künstliche Intelligenz eingesetzt wird. Hier kann es sein, dass eine künstliche Intelligenz Schafe oder anderes Groß- und Kleinvieh nur vor einer grünen Wiese erkennt, aber nicht auf der Straße. Solche Fehler können durch geeignete Trainingsdaten reduziert oder sogar vermieden werden. Neben fehlerhaften Daten spielt zudem die Qualität der Daten eine maßgebende Rolle bei der Funktionsfähigkeit einer künstlichen Intelligenz. Zudem ist die Menge der Daten elementar, woraus sich zum Teil Fragen zum Zugang zu Daten (insbesondere bei umfangreichen Datensätzen eines Branchenprimus, wie beispielsweise Google)4 sowie Fragen der Standardisierung und Interoperabilität ergeben. Daneben kann die Datenqualität durch fehlende Werte oder fehlerhafte Bearbeitung beeinträchtigt sein. Neben den Trainingsdaten können zudem die sogenannten Lauf- oder Produktionsdaten durch schlechte Qualität charakterisiert sein, d. h. die Daten, die nach der Inbetriebnahme der künstlichen Intelligenz gesammelt werden und die entsprechenden Updates (im Sinne eines Lernens) bei der künstlichen Intelligenz bewirken. In der Regel ist für die Datenqualität der Hersteller einer künstlichen Intelligenz oder ein Datenlieferant verantwortlich und es ergäben sich entsprechende haftungsrechtliche Ansprüche aus der Produkthaftung oder ein Regress (§ 823 BGB) gegenüber dem Hersteller.5 Je nach Autonomiegrad der künstlichen Intelligenz – inwieweit z. B. der Nutzer eines autonomen Fahrzeugs in das Fahrgeschehen eingreifen kann – könnten zudem haftungsrechtliche Ansprüche gegenüber dem Nutzer resultieren. Schließlich kann z. B. in Form eines Data-Poisoning ein externer Eingriff auf die Datenqualität erfolgen, woraus sich haftungs- und strafrechtliche Ansprüche an einen externen Dritten ergeben können.

Schäden durch falsche Entscheidungsprozesse

Grundlage für den Entscheidungsprozess einer künstlichen Intelligenz ist die Zielfunktion. Entsprechend könnte man bei einem autonomen Fahrzeug über Unfall- und/oder Schadensminimierung als Zielfunktion nachdenken. Ist ein Unfall nicht mehr zu vermeiden – wie in unserem einleitenden Beispiel –, so sollte der Schaden so gering wie möglich gehalten werden.6 Ist die künstliche Intelligenz also in ihrem Entscheidungsprozess durch eine andere Zielfunktion, wie z. B. Wirtschaftlichkeit, bestimmt, können Schäden durch falsche Motivation entstehen. Zudem kann bewusst durch das Setzen einer falschen Zielfunktion die Unfallwahrscheinlichkeit beeinflusst werden. Während im ersten Fall haftungsrechtliche Ansprüche gegenüber dem Hersteller der künstlichen Intelligenz erwachsen, ergeben sich aus dem zweiten Fall zusätzlich strafrechtliche Ansprüche gegenüber dem Hersteller oder einem externen Dritten.

Schäden durch Hardwarefehler

Ein Schaden kann beispielsweise entstehen, weil ein Sensor die notwendigen Umweltdaten für die Funktionsfähigkeit einer KI nicht aufnehmen kann. In diesem Fall kann der haftungsrechtliche Anspruch aus einer Gewährleistung gegenüber dem Hersteller erfolgen, oder aus einer Vernachlässigung der Sorgfaltspflicht des Nutzers, etwa bei unterlassenen Wartungs- und Inspektionserfordernissen.

Alle drei technologischen Fehlerketten zeigen, dass ein KI-induzierter Schaden sehr wohl auf menschliches Handeln zurückzuführen ist, das einen entsprechenden Schadensersatzanspruch definieren kann.

Externalitäten und weitere Marktversagen

Bei der Einführung einer e-Person kann die Begründung fehlerhaft sein. Eine entsprechende Reform des Haftungsrechts hätte zudem gravierende ökonomische Nebenwirkungen. Welche Anreizwirkungen gehen aus einer haftungsrechtlichen Regelung hervor, die sämtliche Verantwortlichkeiten für entstehende Schäden an eine e-Person weitergibt? Wer zahlt dann für die entstandenen Schäden? Aus ökonomischer Sicht begünstigt eine solche Reform insbesondere Marktversagen aufgrund von Externalitäten, aber auch Wettbewerbsverzerrungen und unerwünschte Verteilungswirkungen.

Externalitäten

Ein Haftungsrecht, dass einer künstlichen Intelligenz eine eigene Rechtspersönlichkeit zuordnet, hätte potenziell gravierende Anreizwirkungen auf die Produzenten und Entwickler von KI-Systemen. Aus ökonomischer Sicht kommt es zu einem „Moral Hazard“-Problem. Schließlich würden KI-verursachte Schadenskosten als Folge einer fehlerhaften künstlichen Intelligenz nicht mehr vom Hersteller, sondern von einer künstlichen Intelligenz getragen. Dies würde zu einer Art Risikopooling verschiedener Teilnehmer des Produktions- und Betriebsprozesses führen. Der Anreiz für weniger sorgfältiges Handeln würde so durch andere Versicherte (dem Pool), die sorgfältig handeln, mit aufgefangen. Die Hersteller könnten vor diesem Hintergrund potenzielle Schadensersatzansprüche externalisieren, weil die Schadenskosten von der Allgemeinheit oder einer entsprechenden Versicherungsgesellschaft getragen würden. Es kommt damit zur Externalisierung von Kosten, die eigentlich vom Verursacher und damit dem Hersteller einer künstlichen Intelligenz getragen werden sollten. In dieser Situation fallen die privaten und sozialen Kosten der KI-Produktion auseinander, mit unmittelbaren Konsequenzen für das Sorgfaltsniveau beim Programmieren einer künstlichen Intelligenz. Muss der Hersteller die Konsequenzen aus einer fehlerhaft produzierten oder mit schlechten Daten trainierten künstlichen Intelligenz nicht tragen, so wird er zwangläufig schlechtere Qualität bereitstellen.7 Man könnte sagen: Dem Sorgfaltsaufwand steht kein Mehrwert aus der Reduktion von Schadenskosten oder -wahrscheinlichkeit gegenüber. Das private Schadensniveau läge damit deutlich über dem sozial effizienten Niveau der Schädigung. Schließlich sollte aus ökonomischer Sicht ein KI-Entwickler zusätzlichen Sorgfaltsaufwand betreiben, solange der zusätzliche soziale Nutzen (Reduzierung der Schadenskosten) die zusätzlichen sozialen Kosten (Sorgfaltsaufwand) überwiegen. Ohne eine Verantwortlichkeit für die Höhe der Schadenskosten wird also kein Anreiz bestehen, in ein höheres Sorgfaltsniveau zu investieren. Entsprechend kann nur durch eine verursacherzentrierte Schadensbegleichung eine effiziente Sorgfaltsniveausteuerung ermöglicht werden.

Schaub betont in diesem Zusammenhang, dass bei privater Haftung der e-Person eine Schuld auch mit einer entsprechenden Haftungsmasse einhergehen müsse, um die gewünschten rechtlichen und ökonomischen Wirkungseffekte zu entfalten.8 Der Hersteller könnte zumindest teilweise in Verantwortung gezogen werden, zumal er eine entsprechende Haftungsmasse bereitstellen müsste. In diese Richtung geht auch die Forderung der Europäischen Union nach einem Haftungsfonds mit Versicherung und einer verpflichtenden Gefährdungshaftung als haftungsrechtliche Regelung,9 die auch eine Haftung ohne Verschulden vorsieht und davon ausgeht, dass das Betreiben bzw. in Verkehr bringen einer künstlichen Intelligenz bereits eine Gefährdung darstellt. Bei einer zwingenden Versicherung gegen KI-induzierte Schadenskosten ergäben sich zudem schwerwiegende Wettbewerbsverzerrungen und Verteilungswirkungen einer e-Person.

Wettbewerbsverzerrungen und Verteilungswirkungen

Insbesondere die geforderte Haftungsmasse könnte den Marktzutritt für kleine Unternehmen der KI-Entwicklung unmittelbar hemmen. Diese Unternehmen machen zudem einen bedeutenden Teil der deutschen und internationalen KI-Start-ups aus und sind mit geringen finanziellen Mitteln ausgestattet.10 Die potenziell horrenden Schadensersatzpflichten könnten auf diese Weise eine wesentliche Hürde für die Gründung neuer und Entwicklung bestehender KI-Start-ups darstellen. Die notwendige Versicherungspflicht einer e-Person könnte darüber hinaus zu einem Problem adverser Selektion führen, zumal eine Versicherung auch aufgrund der Komplexität von künstlicher Intelligenz kaum zwischen sorgfältigen und weniger sorgfältigen Entwicklern bei der Bemessung der Versicherungsprämie unterscheiden kann. Vor diesem Hintergrund könnte eine solche Informationsasymmetrie dazu führen, dass alle Versicherungen durchschnittliche Prämien anbieten (entsprechend dem durchschnittlichen Risiko), die für gute Risikotypen zu teuer sind. Man könnte auch von einer Quersubventionierung weniger sorgfältiger Versicherter durch sorgfältige Versicherte sprechen. Die Folge ist schließlich ein Crowding-out guter Risokotypen (Unternehmen mit hohem Sorgfaltsaufwand) zugunsten schlechter Risikotypen (Unternehmen mit niedrigem Sorgfaltsaufwand), sodass am Ende dieser Wirkungskette nur noch schlechte KI-Produkte übrigblieben – analog zum „Market for Lemmons“-Argument nach Akerlof.11

Fazit zu künstlicher Intelligenz und Haftungsrecht

Es wird deutlich, dass die Einführung einer e-Person und damit die Zuordnung einer eigenen Rechtspersönlichkeit für Systeme künstlicher Intelligenz nicht nur an der technologischen Wirklichkeit vorbeigeht, sondern darüber hinaus erhebliche Marktversagensprobleme zur Folge haben könnte. Nichtsdestotrotz bleibt zu betonen, dass gerade Systeme künstlicher Intelligenz haftungsrechtliche Probleme aufwerfen, die über das analoge Verständnis des gegenwärtigen Rechtssystems hinausgehen und die vor diesem Hintergrund Handlungsbedarf erkennen lassen. Neben den bereits veranlassten Schritten auf europäischer Ebene bleibt ein weiter Weg, um mit dem technologischen Fortschritt und der besonderen Komplexität autonomer Systeme schritthalten zu können. So betont beispielsweise Borges, dass eine Kombination einer Beweislastumkehr (vor dem Hintergrund der Komplexität algorithmenbasierter Entscheidungsprozesse) mit einer Kausalhaftung (gegebenenfalls mit Versicherungspflicht) notwendig ist.12

Unabhängig von der haftungsrechtlichen Dimension bei Systemen künstlicher Intelligenz stellt sich die Frage hinsichtlich klassischer Dilemmata wie in unserem Eingangsbeispiel. Ist es gesellschaftlich gewollt, dass sich eine künstliche Intelligenz durch Abwägung bewusst für eine der drei tödlichen Folgen entscheidet? Hier stellt sich unmittelbar die Frage, nach welchen Kriterien bzw. auf der Basis welchen Optimierungskalküls eine künstliche Intelligenz abwägen sollte, wenn das gleichrangige Rechtsgut „Leben“ mehrfach bedroht ist.13 Vor diesem Hintergrund wird die ethische Dimension autonomer Systeme deutlich. Solange allerdings die zivilrechtliche Verantwortlichkeit von KI-Systemen unklar bleibt, sollte man sich an den Vorgaben orientieren, die auch für den Menschen gelten: Bei ungleichen Rechtsgütern – wie bei der Entscheidung zwischen einem Menschenleben und einem Tier oder anderen beweglichen Sachgütern – sollte die künstliche Intelligenz die Wertigkeit erkennen und entsprechend entscheiden können. Bei gleichrangigen Rechtsgütern hingegen, wenn also das autonome Fahrzeug sich entscheiden soll, ob das Kind (Lösung 1), das vorbeispazierende Pärchen (Lösung 2) oder der Fahrer des autonomen Fahrzeugs (Lösung 3) sterben sollte, verbietet es ethischer und moralischer Anstand, eine „beste“ Entscheidung zu treffen. Vor dem Hintergrund der zahlreichen ethischen Fragestellungen – die es unter Umständen mit rechtlichen Normen zu begleiten gilt – hat die EU-Kommission mittlerweile eine Ethikleitlinie formuliert,14 die zumindest Orientierung geben kann, auch wenn viele Fragen weiterhin offen bleiben.

  • 1 Vgl. F. Faust: Gutachten Teil A: Digitale Wirtschaft – Analoges Recht – Braucht das BGB ein Update?, Verhandlungen des 71. Deutschen Juristentages, Essen 2016, Bd.1/A. Beck.
  • 2 Vgl. E. Awad et al.: The Moral Machine Experiment, in: Nature, 563. Jg. (2018), H. 7729, S. 59-64. Die Autoren analysieren die Ergebnisse eines Experiments, in dem sie über 40 Mio. Entscheidungsregeln von mehreren Millionen Teilnehmern aus 233 Ländern auswerten. Zum Experiment und für einen Eindruck, wie die Ethik in den Rechner kommt, geht es hier zum Experiment: http://moralmachine.mit.edu/ (5.6.2019).
  • 3 Vgl. G. Borges: Rechtliche Rahmenbedingungen für autonome Systeme, in: Neue Juristische Wochenschrift, 71. Jg. (2018), H. 14, S. 977-1048; vgl. R. Schaub: Interaktion von Mensch und Maschine. Haftungs- und immaterialgüterrechtliche Fragen bei eigenständigen Weiterentwicklungen autonomer Systeme, in: JuristenZeitung, 72. Jg. (2017), H. 7, S. 342-349; vgl. R. Schaub: Verantwortlichkeit für Algorithmen im Internet, in: InTeR, 2019, H. 1, S. 2-7; vgl. O. Keßler: Intelligente Roboter – neue Technologien im Einsatz, MultiMedia und Recht, 18. Jg. (2017), H. 9, S. 589-594.
  • 4 Hier wird deutlich, dass sich neben den haftungsrechtlichen Fragen im Kontext von KI auch zentrale wettbewerbsrechtliche Fragestellungen ergeben, die insbesondere den Zugang zu Daten regeln. Eng damit verbunden ist die Frage, wem Daten überhaupt gehören, zumal das Recht kein explizites Eigentum an Daten definiert. Vgl. C. Rusche, M. Scheufen: On (Intellectual) Property and other Legal Frameworks in the Digital Economy: An Economic Analysis of the Law, IW-Report, Nr. 48, 2018.
  • 5 Das Produkthaftungsgesetz (§ 2 Prod HG) definiert Produkt als „bewegliche Sache“. Insofern scheint derzeit rechtlich unklar, ob eine softwarebasierte künstliche Intelligenz ein Produkt im Sinne des Gesetzes und die Produkthaftung anwendbar ist. Deshalb könnte die Produkthaftung des Herstellers in vielen Fällen ausgeschlossen sein. Vgl. R. Schaub: Verantwortlichkeit für Algorithmen ..., a. a. O.
  • 6 Spätestens hier wird deutlich, dass der Entscheidungsprozess auch unmittelbar mit ethischen Grundmotiven und Werturteilen einhergeht. Schließlich ist zu fragen, welche der drei Lösungsoptionen im Einleitungsbeispiel mit dem geringsten Schaden verbunden ist. Werden materielle Schäden mit einem Menschenleben verglichen, ist unmittelbar klar, dass die KI sich für den materiellen Schaden entscheiden sollte. Vergleichen wir allerdings drei tödliche Lösungsoptionen miteinander, geraten wir an die Grenzen unserer ethischen Beratungsmöglichkeit. Für welche Option sich unsere KI entscheidet, wird allerdings unmittelbar von der Zielfunktion abhängen, die ihren Entscheidungen zugrunde liegt.
  • 7 In diesem Zusammenhang bleibt hervorzuheben, dass diese Qualität von den Konsumenten auch nicht richtig eingeschätzt werden kann, insbesondere vor dem Hintergrund der Komplexität des Produkts KI. Hier liegt eine asymmetrische Informationsverteilung vor.
  • 8 R. Schaub: Interaktion von Mensch und Maschine, a. a. O.
  • 9 Siehe hierzu insbesondere Punkt 58 im Official Journal of the European Union: European Parliament resolution of 16 February 2017 with recommendations to the Commission on Civil Law Rules on Robotics (2015/2103(INL)), 252, 18.7.2018, S. 239-257.
  • 10 Vgl. M. Schröder: So schneiden deutsche KI-Start-Ups im internationalen Vergleich ab, in: Handelsblatt vom 23.4.2019, https://www.handelsblatt.com/technik/vernetzt/kuenstliche-intelligenz-so-schneiden-deutsche-ki-start-ups-im-internationalen-vergleich-ab/24245034.html (7.5.2019).
  • 11 Vgl. G. A. Akerlof: The Market for Lemmons: Quality Uncertainty and the Market Mechanism, in: Quarterly Journal of Economics, 84. Jg. (1978), H. 3, S. 488-500.
  • 12 G. Borges, a. a. O.
  • 13 Vgl. O. Keßler: Intelligente Roboter – neue Technologien im Einsatz, MultiMedia und Recht, 18. Jg. (2017), H. 9, S. 589-594.
  • 14 Vgl. Europäische Kommission: Ethic Guidelines for Trustworthy AI, 2018, https://ec.europa.eu/digital-single-market/en/news/ethics-guidelines-trustworthy-ai (5.6.2019).

Title: Artificial Intelligence and Liability Law: The E-person from an Economic Point of View

Abstract: Artificial intelligence (AI) systems seem to challenge the current legal framework, as rules from an analogous world are being applied to legal matters of the digital age. This is especially noticeable when AI systems cause damage. In this context, the academic legal discussion currently asks whether or not an AI system should be liable itself. This article challenges that discussion, arguing that the debate is primarily driven by an incorrect understanding of the technological potential of AI. Finally, a reform that gives machines a legal personality would have serious economic effects such as externalities, the distortion of competition and distributional effects.

JEL Classification: K13, D62, D82

10.1007/s10273-019-2466-0

Im Umbau

Aufgrund technischer Umbauarbeiten im Archiv und damit auf den Artikel-Seiten des Wirtschaftsdienst kann es zu fehlerhaften Darstellungen kommen. Dies und auch das Fehlen von Funktionen (z.B. die Suche, die Kommentare, die Schlagwörter …) bitten wir kurzzeitig zu entschuldigen.