Blackbox Algorithmus – Grundfragen einer Regulierung künstlicher Intelligenz
Abstract
Dieses Buch liefert eine rechtswissenschaftliche Analyse der Chancen und Gefahren algorithmenbasierter Verfahren. Algorithmen, die im Maschinenraum moderner Softwareanwendungen werkeln, sind zu zentralen Steuerungsinstanzen der digitalen Gesellschaft avanciert. Immer nachhaltiger beeinflussen sie unser Leben. Ihre Funktionsweise gleicht aber teilweise einer Blackbox. Die in ihr schlummernden Risiken zu bändigen, fordert die Rechtsordnung heraus. Das Buch beleuchtet die gesellschaftlichen Gefahren einer zunehmenden gesellschaftlichen Steuerung durch Algorithmen und entwickelt erste Regulierungsideen, mit deren Hilfe sich die Wertschöpfungspotenziale automatisierter digitaler Prozesse mit den Grundwerten der Rechtsordnung versöhnen lassen.
... This effect can be explained by the perception of authoritative correctness of algorithms. Precise algorithms may generate the perception of correctness therefore human beings can feel inferior to algorithms (Martini, 2019). ...
... The social exchange theory states that the interaction between two humans is characterized by an exchange of costs and utilities. Utilities may be the effectiveness of the system (Goddard et al., 2012;Lee, 2018;Martini, 2019), psychological pleasure or the enjoyment of system usage (Waytz et al., 2010) and costs may be the perception of inferiority (Baumann-Habersack, 2021;Lee, 2018;Newman et al., 2020), possible detachment of decision making (Bader & Kaiser, 2019) in terms of involvement or the risk of failure due to data discrimination (Newman et al., 2020). Lawler and Thye (1999) show that emotion deepen the nature of the relationship between humans. ...
This thesis explores the acceptance of decision-aiding technologies in management, which is a challenging component in their use. To address the lack of research on algorithmic decision support at the managerial level, the thesis conducted a vignette study with two scenarios, varying the degree of anthropomorphizing features in the system interface. Results from the study, which included 281 participants randomly assigned to one of the scenarios, showed that the presence of anthropomorphized features did not significantly affect acceptance. However, results showed that trust in the system was a crucial factor for acceptance and that trust was influenced by users' understanding of the system. Participants blindly trusted the system when it was anthropomorphized, but the study emphasized that system design should not focus on the benefits of blind trust. Instead, comprehensibility of the system results is more effective in creating acceptance. This thesis provided practical implications for managers on system design and proposed a structural model to fill a research gap on acceptance at the managerial level. Overall, the findings may assist companies in developing decision support systems that are more acceptable to users.
... Denn Transparenz ist ein Relationsbegriff, der u. a. von dem Kenntnisstand der Nutzenden und dem jeweiligen Handlungskontext abhängt (Koska 2023, 153-155). Aus der Perspektive von Mediennutzenden, die KI-basierte Assistenzsysteme über adaptive Mensch-Maschine-Schnittstellen bedienen, ist es entscheidend, dass die für ihren spezifischen Handlungskontext relevanten Aspekte des Systems verständlich und nachvollziehbar sind (Martini 2019). Überzogene Transparenzanforderungen könnten den Mehrwert solcher Systeme dagegen schnell ad absurdum führen. ...
Der Beitrag untersucht die Transformation des Vertrauensbegriffsdurch Künstliche Intelligenz. In aller Regel ist das Vertrauen in technische Artefakteeng mit deren Verlässlichkeit verbunden. Während diese Form der (technischen) Verlässlichkeit letztlich zumeist auf ein menschliches Gegenüber (z. B. auf die Herstellenden, die Betreibenden oder die Auditierenden) zurückgeführt wird, erfordert die zunehmende Präsenz von KI-Systemen eine Neubetrachtung dieses Zusammenhangs. Insbesondere bei selbstlernenden Systemen (wie der konnektivistischenKI), die ihre Auswahlkriterien und Selektionsmechanismen durch die Interaktionmit der Umwelt kontinuierlich verändern, zeichnet sich eine graduelle Verschiebungdes Vertrauens ab: Vertrauen wandert, so lautet die These im Anschluss an Hartmann (2022), Schritt um Schritt vom Menschen zur Maschine. Der Beitrag zielt auf eine problemorientierte Beschreibung der damit verbunden Chancen und Herausforderungen.
The ‘black box issue’ is one of the biggest problems with algorithmic management. The lack of transparency in the operation and decision-making of AI is of greatest concern to those whose data is being processed (including employees). Trade unions, as the organisations that most represent the interests of workers, can play a big role here; however, they need to be empowered. There is a lack of legislation at EU and Member State level to set norms for this issue; the only country that has already introduced such legislation is Spain. The draft Polish regulation refers to the Spanish solutions and seems to be very interesting. It introduces the possibility for trade unions to obtain data from an employer on the operation of AI in relation to the algorithmic management of employees. The authors present this regulation against the background of EU recommendations and previous Polish legislation on the employer’s obligation to provide information. They also identify elements that need to be refined during the parliamentary process in order to make the regulation more effective in protecting workers’ rights.
Der Einsatz von ADM-Systemen stellt das Antidiskriminierungsrecht, allen voran das Allgemeine Gleichbehandlungsgesetz (AGG), vor Herausforderungen, denen es in seiner jetzigen Ausgestaltung nur bedingt gewachsen ist.
Die Hauptaufgabe dieser Systeme besteht darin, mithilfe statistischer Methoden eine Vielzahl von Korrelationen zu identifizieren, um Beziehungen zwischen Variablen herzustellen. Mit ADM-Systemen wird trotz ihres unumstrittenen Diskriminierungspotenzials die Vorstellung verbunden, objektive und neutrale, von menschlichen Vorurteilen unbeeinflusste sowie effizientere und bessere Entscheidungen treffen zu können, nicht zuletzt deshalb, weil menschliche Fehlleistungen, Vorurteile und kognitive Beschränkungen ausgeschlossen oder wenigstens verringert werden könnten (Abschnitt 1 des Gutachtens).
Der Einsatz solcher Systeme erfasst nahezu alle Bereiche des privaten und öffentlichen Lebens: Preisbildung, Zugang zu und Teilhabe an öffentlichen und privaten Leistungen, Marketing, Vertragsbedingungen, Diagnostik- und Therapieentscheidungen oder Verteilungsentscheidungen bei knappen Ressourcen.
Die Funktionsweise von ADM-Systemen ermöglicht unter anderem Wahrscheinlichkeitsaussagen über Personen. Durch die Zuschreibung von Gruppenmerkmalen werden in großer Zahl automatisierte (Auswahl-)Entscheidungen getroffen oder mithilfe massenhafter Individualisierung Vertragsabschlüsse optimiert, effizienter gestaltet. Unter antidiskriminierungsrechtlichen Gesichtspunkten ist gerade diese Gruppenzuschreibung problematisch.
Diskriminierung durch Statistik ist das Resultat einer mit statistischen Mitteln gewonnenen Zuschreibung von Merkmalen, die auf (tatsächlichen oder angenommenen) Durchschnittswerten einer Gruppe beruhen. Der Bezug auf diese durchschnittlichen Gruppenmerkmale soll über Unsicherheiten bezüglich der individuellen Merkmalsausprägungen einer einzelnen Person hinwegverhelfen. Der einer solchen Einschätzung zugrunde liegende soziale Mechanismus interessiert dabei nicht, eine Kausalität wird nicht behauptet oder nachgewiesen. Dadurch werden (historische) strukturelle Ungleichheiten perpetuiert und neue geschaffen.
Die Qualität der Entscheidung eines ADM-Systems ist wesentlich abhängig von der Menge, Qualität, Modellierung und Bewertung der verwendeten Daten. Dadurch kann das Diskriminierungspotenzial von ADM-Systemen bereits im System selbst angelegt sein. Zudem ist ADM-Systemen Intransparenz in ihrer Funktionsweise inhärent. Die Bestimmung der Verantwortlichkeit für diskriminierende Elemente in ADM-Systemen ist aufgrund der Vielfalt der Beteiligten an ihrer Programmierung, Fortentwicklung, Verwendung und weiteren Nutzung, zum Beispiel in Netzwerkstrukturen und individuell variierten Standardalgorithmen, problematisch. Faktisch können sich die potenziell Verantwortlichen oftmals exkulpieren. Der technologische Fortschritt digitaler Auswertungsmethoden und -technologien setzt dem Teilen, der Weiterverwendung und dem Zusammenführen von großen Datenmengen praktisch keine technischen Grenzen mehr und macht damit diskriminierende Datensätze unkontrollierbar in der Weitergabe und Verwendung. Es kann nicht davon ausgegangen werden, dass Diskriminierung einzelfallspezifisch identifiziert werden kann.
Die größte Herausforderung für einen rechtlich geprägten effektiven Schutz vor Diskriminierung durch ADM-Systeme stellen die Defizite des AGG bei der Rechtsdurchsetzung dar. Diese grundsätzlichen Defizite sind bekannt und zunächst kein spezifisches Problem der Diskriminierung gerade durch ADM-Systeme. Durch die besonders ausgeprägte Macht- und Informationsasymmetrie potenzieren sich diese Wirkungen aber: Unter anderem der häufig anzutreffende Black-Box-Charakter der ADM-Systeme und die Unfähigkeit, von den Entscheidungen auf den Einsatz solcher Systeme und ihre Funktionalitäten zurückzuschließen, machen es für Betroffene praktisch mangels Ressourcen unmöglich, den Ursachen einer Benachteiligung auf die Spur zu kommen (Abschnitt 2 des Gutachtens).
Es fehlen:
im AGG eindeutige Diskriminierungstatbestände, die auch ADM-System-spezifische Diskriminierungen, insbesondere Gruppendiskriminierungen, erfassen;
im AGG Auskunfts- und Offenlegungspflichten, die Einblick in die konkreten Funktionsweisen und Daten eines ADM-Systems ermöglichen;
im AGG effektive Maßnahmen zur inhaltlichen und institutionellen Unterstützung der Betroffenen bei der Detektion und Rechtsverfolgung von potenziellen Fehlerquellen von ADM-Systemen;
im Entwurf der KI-VO klassische Regelungen effektiver Rechtsdurchsetzung (zum Beispiel Beweislastumkehr, Kausalitätserleichterungen).
Um einen wirkungsvollen Schutz vor Diskriminierung durch ADM-Systeme zu gewährleisten und die unionsrechtswidrigen Defizite der Rechtsdurchsetzung zu überwinden, sollten daher folgende Maßnahmen erwogen werden (Abschnitt 3 des Gutachtens):
grundsätzliche Neuausrichtung des AGG in Bezug auf die Rolle der ADS:
Einräumung umfassender Auskunfts- und Untersuchungsrechte;
Gewährung eigener Klagerechte durch ein Verbandsklagerecht;
Errichtung einer unabhängigen Schlichtungsstelle bei der ADS;
Einräumung einer Prozessstandschaft für Antidiskriminierungsverbände;
Erweiterung der geschützten Merkmale des § 1 AGG um das Merkmal Beziehungen;
Ergänzung der Legaldefinition des § 3 Absatz 2 AGG;
Erweiterung des Adressatenkreises des Erweiterung des Adressatenkreises des AGG auf die Entwickler*innen und Dienstleister*innen der ADM-Systeme;
Anpassungen bei der Auslegung der Beweislastumkehr des § 22 AGG;
Inklusion der ADS in den Anwendungsbereich der KI-VO.
Zusammenfassung
Der vorhergegangene Abschnitt hat eine allgemeine Definition des Begriffs Preisdiskriminierung entwickelt, welche auf der Definition von Stigler aufbaut und diese konkretisiert. Zudem wurden die in der ökonomischen Literatur beschriebenen allgemeinen Voraussetzungen für die erfolgreiche Umsetzung von Preisdiskriminierung sowie die drei traditionell unterschiedenen Grade beschrieben, voneinander abgegrenzt und mit Blick auf ihre datenschutzrechtliche Relevanz analysiert.
The following article deals with the topic of discrimination “by” a recommender system. Several reasons can create discriminating recommendations, especially the lack of diversity in training data, bias in training data or errors in the underlying modelling algorithm. The legal frame is still not sufficient to nudge developers or users to effectively avoid those discriminations, especially data protection law as enshrined in the EU General Data Protection Regulation (GDPR) is not feasible to fight discrimination. The same applies for the EU Unfair Competition Law, that at least contains first considerations to allow an autonomous decision of the subjects involved to know about possible forms of discrimination. Furthermore, with the Digital Service Act (DSA) and the AI Act (AIA) there are first steps into a direction that can inter alia tackle the problem. Most effectively seems a combination of regular monitoring and audit obligations and the development of an information model, supported by information by legal design, that allows an autonomous decision of all individuals using a recommender system.
Wie kann das Aufwachsen von Kindern möglichst gut geschützt werden? Wann und wie muss der Sozialstaat eingreifen, wenn Eltern mit der Verantwortung für die Erziehung ihrer Kinder überlastet sind oder dieser Aufgabe aus anderen Gründen nicht gerecht werden können und damit das Kindeswohl gefährdet ist? Wie können kind- und elterngerechte Entscheidungen für bestimmte Maß-nahmen, beispielsweise der ambulanten Unterstützung oder der zeitweiligen oder überdauernden Herausnahme aus der Familie, getroffen und legitimiert werden? Sind technische, algorithmengestützte Hilfsmittel geeignet, um der hohen Verantwortung in der Einschätzung und Entscheidungsfindung in Fragen des Kindeswohls besser gerecht zu werden? Diese Fragen machen deutlich, dass Kinderschutz als besonders prominentes Beispiel aus dem Kontext Sozialer Arbeit für den vorliegenden Sammelband zu Technik und Verantwortung gelten kann.
Zusammenfassung
Nachdem die gesamte Ausarbeitung die aufgeworfenen Fragen jeweils punktuell beleuchtet hat, ist im folgenden letzten Teil ein Gesamtresümee zu ziehen. Zunächst werden die grundlegenden Forschungsfragen beantwortet und die gefundenen Ergebnisse beleuchtet, um sodann Schlüsse für die Verwaltung, insbesondere die vorherrschende Einstellungspraxis, und für die nachfolgende Forschung zu ziehen.
Der Einsatz von künstlicher Intelligenz im Gesundheitsbereich verspricht besonders großen Nutzen durch eine bessere Versorgung sowie effizientere Abläufe und bietet damit letztlich auch ökonomische Vorteile. Dem stehen unter anderem Befürchtungen entgegen, dass sich durch den Einsatz von künstlicher Intelligenz das Arzt-Patienten-Verhältnis verändern könnte, Arbeitsplätze gefährdet seien oder die Ökonomisierung des Gesundheitswesens einen weiteren Schub erfahren könnte. Zuweilen wird die Debatte um diese Technologie, zumal in der Öffentlichkeit, emotional und fern sachlicher Argumente geführt. Die Autorinnen und Autoren untersuchen die Geschichte des KI-Einsatzes in der Medizin, deren öffentliche Wahrnehmung, Governance der KI, die Möglichkeiten und Grenzen der Technik sowie Einsatzgebiete, die bisher noch nicht oder nur wenig im Fokus der Aufmerksamkeit waren. Dabei erweist sich die KI als leistungsfähiges Werkzeug, das zahlreiche ethische und soziale Fragen aufwirft, die bei der Einführung anderer Technologien bereits gestellt wurden; allerdings gibt es auch neue Herausforderungen, denen sich Professionen, Politik und Gesellschaft stellen müssen.
Algorithmic systems are increasingly used by state agencies to inform decisions about humans. They produce scores on risks of recidivism in criminal justice, indicate the probability for a job seeker to find a job in the labor market, or calculate whether an applicant should get access to a certain university program. In this contribution, we take an interdisciplinary perspective, provide a bird’s eye view of the different key decisions that are to be taken when state actors decide to use an algorithmic system, and illustrate these decisions with empirical examples from case studies. Building on these insights, we discuss the main pitfalls and promises of the use of algorithmic system by the state and focus on four levels: The most basic question whether an algorithmic system should be used at all, the regulation and governance of the system, issues of algorithm design, and, finally, questions related to the implementation of the system on the ground and the human–machine-interaction that comes with it. Based on our assessment of the advantages and challenges that arise at each of these levels, we propose a set of crucial questions to be asked when such intricate matters are addressed.
Zusammenfassung
Gehirn-Computer-Schnittstellen beflügeln die Hoffnung auf übermenschliche Kräfte: Sie versetzen Nutzer in die Lage, Prothesen und sonstige Geräte allein mit ihren Gedanken zu steuern. Je weiter die Entwicklung der neuen Technologie voranschreitet und in marktfähige Produkte mündet, desto sichtbarer rücken auch potenzielle Sicherheitsrisiken in den Fokus. Denn Angriffe auf Gehirn-Computer-Schnittstellen können neurologische Daten erspähen oder Gehirnaktivitäten manipulieren und dadurch verheerende Schäden verursachen. Der Beitrag geht der Frage auf den Grund, wie die Rechtsordnung den Risiken eines Angriffs auf Gehirn-Computer-Schnittstellen bislang begegnet – und wie sie ihnen künftig begegnen sollte.
ResearchGate has not been able to resolve any references for this publication.