Komplexe automatisierte Systeme und künstlichen Intelligenz (KI) finden zunehmend Eingang in den Konsumkontext. Nutzer ohne Fachkenntnisse werden mit diesen Systemen konfrontiert, wobei die Transparenz und das Verständnis für die Technologie unterschiedlich ausgeprägt sind. Den meisten ist unklar, wie sich die Interaktion mit diesen Systemen auf ihr Leben auswirken kann, ob in positiver oder in negativer Hinsicht. In einer idealen Welt stellen wir uns vor, dass wir die Vorteile von KI nutzen und gleichzeitig die Risiken minimieren können. Aus diesem Grund wurde das IEEE Trust and Agency Committee gegründet. Insbesondere im Verbraucherkontext und in dieser Übergangsphase der Innovation, wird das Vertrauen des Endnutzers und die Handlungssouveränität des Endnutzers (und das Zusammenspiel mit der Handlungsfähigkeit von Maschinen) eine Schlüsselrolle spielen, ob diese komplexen Systeme effektiv, nachhaltig und sicher genutzt werden können.

Das englische Wort Agency hat keine klare Übersetzung im Deutschen und wird hier Handlungssouveränität genannt. Vertrauen und Handlungssouveränität im Zusammenhang mit Technologie werden in verschiedenen Bereichen diskutiert, z.B. Mensch-Roboter-Interaktion, Human Factors, User Experience (UX) durch die Perspektive verschiedener Disziplinen, wobei Philosophie, Psychologie, Soziologie und Ethik im Vordergrund dieser Diskussionen stehen. Allerdings scheint es wenig Übereinstimmung bei den Definitionen und Methoden zu geben, die in der Forschung und Praxis verwendet werden.

Ein ähnliches Problem gibt es bei der Interpretation von Vertrauen (engl. Trust) und der Art und Weise, wie sich Menschen auf Maschinen verlassen (engl. Reliance). Das englische Wort lautet hier ‘reliance’, was auch oft mit Vertrauen übersetzt wird, wobei eine andere Bedeutung dahintersteht. Vertrauen wird im Mensch-Maschine Kontext sogar von Vertrauensskeptikern insgesamt in Frage gestellt, die behaupten, dass man KI-Systemen nicht trauen kann – oder, in den berühmten Worten von Joanna Bryson: AI is nothing to be trusted!

Das IEEE Trust and Agency Committee versucht eine Grundlage für eine offene Diskussion und Neubewertung der Begriffe Vertrauen, Reliance und Handlungssouveräntät (Agency) im Zusammenhang mit KI zu schaffen. Das Verständnis dieser Konzepte und ihrer Beziehung zu anderen Faktoren (eine grosse Bandbreite von dispositionellen bis hin zu situativen Variablen wartet darauf, erforscht zu werden) soll zu Entwickler wich auch Nutzer positiv beeinflussen. Der Artikel soll auch die Designer solcher Systeme positiv inspirieren, z. B. ob und wie sie Design for Agency umsetzen können und ihre Nutzer in der Verwendung ihrer Systeme schulen wollen. Genauer gesagt, wie sie Produkte genauer vermarkten können oder noch genauer gesagt, ethischer. Letztendlich möchte das Kommittee zu den ersten gehören, die Standards entwickeln, welche die Handlungssouveränität der Endnutzer fördern.

Vertrauen versus Vertrauenswürdigkeit

Lee & See haben bedeutende, weitreichende Erkenntnisse zum Thema Vertrauen in Automatisierung geliefert, wobei sie sich auf (mindestens) drei Komponenten konzentrieren: (1) Vertrauen ist eine Einstellung, (2) Vertrauen ist auf ein Ziel gerichtet und (3), zu vertrauen beinhaltet das Risiko verletzt zu werden. Das bedeutet die Situation ist durch Ungewissheit gekennzeichnet, die den Vertrauensgeber gegenüber dem Vertrauensnehmer verwundbar macht. Können wir menschliches Vertrauen und Vertrauenswürdigkeit direkt auf die Interaktion zwischen Mensch und Maschine übertragen? Einige Leute sagen ja, aber mit Modifikationen: Zwischenmenschliches Vertrauen, d. h. Vertrauen in oder zwischen Menschen, kann im Prinzip in Vertrauen in Maschinen übersetzt werden. Mit dem grossen Unterschied, dass es sich beim Mensch-Maschine Vertrauen eher um eine unidirektionale Beziehung handelt.

Mensch-Maschine Vertrauen kann als eine besondere Art von zwischenmenschlichem Vertrauen betrachtet werden, bei dem der zu Vertrauende einen Schritt vom Vertrauensgebenden entfernt ist. (Hoff & Bashir, 2015)

In der Regel wird Vertrauen erforscht, indem man das Wesen des Menschen oder – in der Mensch-Maschine-Interaktion – die Eigenschaften von Maschinen betrachtet. In diesem Zusammenhang sprechen wir von Vertrauenswürdigkeit: Vertrauenswürdigkeit als Merkmal von Menschen oder als Eigenschaft von Maschinen. Beim zwischenmenschlichen Vertrauen wurden drei Eigenschaften als Elemente der Vertrauenswürdigkeit identifiziert: Fähigkeiten, Integrität und Wohlwollen. In ähnlicher Weise hängen verschiedene Attribute der Vertrauenswürdigkeit von Maschinen von leistungsbasierten Attributen (d.h. wie gut ist das Produkt), Prozessmerkmalen (d.h. wie ist das System für einen Nutzer verständlich) und Wohlwollen ab. Letzteres ist ein zweckbasiertes Attribut, das sich auf die Absicht der Designer bezieht, warum dieses System gebaut wurde.

Vertrauen und Vertrauenswürdigkeit stehen in einer komplizierten Beziehung, die nicht immer auf die logischste Weise funktioniert. Im Idealfall würden Menschen ihr Vertrauen in Menschen setzen oder sich auf Maschinen verlassen, die als vertrauenswürdig erachtet werden. Menschen oder Maschinen, die ihr Vertrauen nicht verdienen, würden sie ablehnen und sich nicht auf sie verlassen und die Konsequenzen tragen. So kann beispielsweise ein Unternehmen oder ein System (es muss noch erforscht werden, wer der eigentliche Empfänger des Vertrauens ist) als vertrauenswürdig eingestuft werden, der Nutzer vertraut dem System und nutzt es. In einem anderen Fall hat der Betreiber keine Ahnung von dem Unternehmen oder dem System, vertraut ihm nicht und nutzt es dennoch. Es sind verschiedene Szenarien denkbar, die zu unterschiedlichen Beziehungen zwischen Vertrauen und Nutzung führen, die mit Merkmalen der Vertrauenswürdigkeit verbunden oder davon abhängig sein können.

Obwohl es also logisch ist, sich auf die Vertrauenswürdigkeit zu konzentrieren, ist sie nicht notwendigerweise das Wundermittel zur Vertrauensbildung und garantiert nicht, dass sich Nutzer auf die Maschine verlassen. Die konkreten Bedingungen für Vertrauenswürdigkeit und ihre Korrelate bleiben unklar. Das vorherrschende Rätsel um die Rolle der Transparenz ist ein gutes Beispiel dafür, wie unübersichtlich und widersprüchlich diese Beziehungen sein können. Es gibt zahlreiche empirische Belege dafür, dass bei Interaktionen zwischen Mensch und Maschine Transparenz positiv mit Vertrauen korreliert ist (meist wird dies als kognitives Vertrauen bezeichnet). Das bedeutet, je mehr wir verstehen und kontrollieren können, desto mehr vertrauen wir der Maschine und werden sie wahrscheinlich auch nutzen. Forscher haben jedoch auch Beweise für das Gegenteil gefunden, nämlich dass Transparenz eine negative Wirkung auf das Vertrauen haben kann. Ausgehend von dieser Überlegung könnte man sich fragen, wie wir ein effektives Vertrauensverhältnis zu Maschinen schaffen können, bei dem wir eine Art oder ein angemessenes Mass an Autorität über die Maschine behalten? Wir gehen davon aus, dass ein Schlüssel zur Beantwortung dieser Frage in der Ermöglichung von Handlungssouveränität als Mittel zur Kontrolle liegen könnte.

Spannung oder Dynamik: Menschliches und maschinelles Handeln

Die meisten Menschen werden nie verstehen, wie KI Systeme funktionieren. Einige jedoch schon, und man kann sie um Hilfe und Rat fragen. Ausserdem schützen einige Gesetze die Nutzer vor böswilligen Handlungen, z. B. der Missachtung des Datenschutzes. Es gibt noch eine dritte Möglichkeit, die wir hervorheben möchten. Es ist unpraktisch und unmöglich, jeden über die Einzelheiten von KI aufzuklären. Genauso wie man nicht jedem beibringen kann, wie ein Auto funktioniert. Man kann jedoch die Grundlagen der Mechanik lehren, und man muss die Regeln und Richtlinien verstehen, wie man ein Auto sicher benutzt. Dies kann auch für KI Systeme gelten. Menschliche Agency bedeutet, dass Menschen die Macht haben, ihre Lebensumstände zu gestalten, ihre Zukunft zu entwerfen und Handlungsalternativen zu ändern, wenn der aktuelle Status quo nicht den eigenen Werten oder Zielen entspricht (Bandura, 2006).

Menschen sollten die Macht haben, die Art und Weise ihrer Technologienutzung zu gestalten. Das sollte steht jedoch in Anführungszeichen, weil viele Systeme so konstruiert sind, dass sie die Entscheidungsfindung des Menschen beeinträchtigen, z. B. durch süchtig machende oder anthropomorphe Designmerkmale oder durch übertriebenes Marketing, um nur einige Beispiele zu nennen. Die Förderung der Handlungssouveränität des Endnutzers als Standard für die Gestaltung und Entwicklung von Produkten, wird den Menschen die Möglichkeit geben, Fähigkeiten zur Selbstregulierung und den Glauben an ihre Wirksamkeit zu entwickeln. So können sie Alternativen schaffen, ihre Handlungsfreiheit erhöhen und somit erfolgreicher sein, wenn sie sich für Technologien und Strategien entscheiden, die sie wirklich wünschen. Was die menschliche Agency zu einem so heiklen Thema macht, ist ihre dynamische Interaktion mit der Maschinen Agency. Wir müssen noch erforschen und verstehen, wie wir das Spannungsverhältnis zwischen der Macht der Maschinen und der Macht der Menschen lösen können: Welche Entscheidungen liegen in der Hand der Maschine und welche in der Hand des Nutzers? Handelt es sich dabei um stabile oder dynamische Prozesse, und hängen sie von der Zuverlässigkeit der Maschine oder dem mit der Entscheidungsfindung verbundenen Risiko ab? Bedeutet mehr Maschinen Agency automatisch weniger Endnutzer Agency und umgekehrt? Was sind hier die genauen Zusammenhänge, Bedingungen, Korrelationen oder Dynamiken?

Fazit

Es bleiben viele offene Fragen zu Vertrauen und Handlungssouveränität im Kontext der Mensch-KI-Interaktion: Wie kann der zeitliche und dynamische Kontext abgebildet werden, Vertrauensverläufe oder Grenzen der Handlungsouveränität. Was ist der Einfluss von Gesetzen und Kultur, Bildung und vieles mehr. Ist Vertrauen eine Vorbedingung für menschliche Agency oder ist menschliche Agency eine Vorbedingung für Vertrauen? Ist Vertrauen überhaupt relevant und sollten wir besser aufhören, über Vertrauen zu sprechen? Die Synthese dieser Themen und der Versuch, sie zu modellieren, ist eine grosse Herausforderung. Vor allem angesichts der Neuartigkeit und Dynamik der Situation und angesichts der Tatsache, dass die Definition des Artefakts, das uns interessiert, nämlich Systeme der künstlichen Intelligenz, selbst umstritten ist.

Das neu gegründete IEEE Trust in Agency Committee hat sich zum Ziel gesetzt, die Entwicklung einer erfolgreichen Transdisziplinarität rund um KI zu unterstützen, verbunden mit dem Wunsch, das praktische Feld der Technologie nicht allein einer vermeintlich erhabenen Perspektive zu überlassen.

Danksagung

Wir danken Shyam Sundar und John Havens für ihre Unterstützung beim Verfassen dieses Artikels. Eine Kurzfassung des Beitrags mit zusätzlichen Einblicken in die Arbeit des Komitees finden Sie auf der Homepage IEEE Beyond Standards.

Ausgewählte Referenzen

• Sundar, S. (2020). Rise of Machine Agency https://academic.oup.com/jcmc/article/25/1/74/5700811?login=true
• Parasuraman, R., Sheridan, T., & Wickens, C. (2000). A model for types and levels of human interaction with automation. IEEE Trans. Syst. Man Cybern. Part A Syst. Hum. 30(3), 286-297. IEEE transactions on systems, man, and cybernetics. Part A, Systems and humans : A publication of the IEEE Systems, Man, and Cybernetics Society. 30. 286-97. 10.1109/3468.844354.
  Trust in Automation Literature
• Lee, J. D., & See, K. A. (2004). Trust in Automation: Designing for Appropriate Reliance. Human Factors, 46(1), 50-80.
• Hoff, K. & Bashir, M. (2015). Trust in Automation: Integrating Empirical Evidence on Factors That Influence Trust. Human Factors The Journal of the Human Factors and Ergonomics Society. 57. 407-434. 10.1177/0018720814547570.
  Trust in AI Literatur
• Glikson and Woolley Human trust in AI – Analysis https://www.researchgate.net/publication/340605601_Human_trust_in_artificial_intelligence_Review_of_empirical_research_Academy_of_Management_Annals_in_press
• Bandura A. Toward a Psychology of Human Agency. Perspectives on Psychological Science. 2006;1(2):164-180. doi:10.1111/j.1745-6916.2006.00011.x
• Philipp Schmidt, Felix Biessmann & Timm Teubner (2020) Transparency and trust in artificial intelligence systems, Journal of Decision Systems, 29:4, 260-278, DOI: 10.1080/12460125.2020.1819094

Über die Autorin

Marisa Tschopp hat ihren Master in Wirtschaftspsychologie an der Ludwig-Maximilians-Universität in München absolviert. Als Doktorandin am Leibniz Institut für Wissensmedien ist sie aktiv in der Forschung zu Künstlicher Intelligenz aus Humanperspektive, wobei sie sich auf psychologische und ethische Aspekte fokussiert. Sie hat unter anderem Vorträge an TEDx Events gehalten und vertritt die Schweiz als Ambassador in der Women in AI Initiative. (ORCID 0000-0001-5221-5327)

Links

• https://beyondstandards.ieee.org/enabling-end-user-trust-in-artificial-intelligence-in-the-algorithmic-age/
• https://cpr.unu.edu/publications/articles/ai-global-governance-no-one-should-trust-ai.html!!
• https://digital-strategy.ec.europa.eu/en/library/ethics-guidelines-trustworthy-ai
• https://policyreview.info/concepts/transparency-artificial-intelligence
• https://www.researchgate.net/publication/340605601_Human_trust_in_artificial_intelligence_Review_of_empirical_research_Academy_of_Management_Annals_in_press
• https://www.tandfonline.com/doi/abs/10.1080/12460125.2020.1819094