Zu viel Vertrauen in KI kann sich als tödlich erweisen, lautet die Schlagzeile der Financial Times über einen Autounfall im Jahr 2018, der Walter H. das Leben kostete. Walter fuhr einen Tesla-SUV (Tesla Model X P100D) mit Autopilot, als das Auto gegen eine Barriere prallte und dann von zwei anderen Fahrzeugen angefahren wurde. Das National Transportation Safety Board analysierte den Fall: Neben verschiedenen umweltbedingten und technischen Gründen war das übermässige Vertrauen des Fahrers in den Autopiloten ein Faktor, der vermutlich den Unfall verursachte. Vor dem Unfall war der 38-jährige Apple-Ingenieur in ein Videospiel vertieft und vertraute dem Autopiloten, ihn sicher an sein nächstes Ziel zu bringen, das leider nie erreicht wurde.

Beunruhigende Geschichten von Menschen, die sich zu sehr auf die Technik verlassen, mit fatalen Folgen, sind leider keine Einzelfälle. Im Death Valley National Park gibt es dafür sogar einen Begriff: Tod durch GPS. Park-Ranger müssen nicht selten den Tod durch GPS miterleben. Das GPS gibt seltsame Richtungen vor (oft zu korrekt, z.B. (übertrieben) der kürzeste Weg führt über einen Berggipfel), und die Menschen folgen den Anweisungen unhinterfragt, verirren sich und sterben unter den menschenwidrigen Bedingungen des Nationalparks.

Übermässiges Vertrauen in Technologie ist eine fehlerhafte Mensch-Automatisierungs-Interaktion. Sie ist auch in anderen Bereichen bereits aufgetreten, in denen die Automatisierung die Sicherheit und Leistung erhöhen soll, z.B. in der Luftfahrt, im Gesundheitswesen oder bei der Überwachung von Kernkraftwerken (Merrit et al., 2015). Auf der anderen Seite der fehlerhaften Mensch-Automatisierungs-Interaktion steht zu wenig Vertrauen (wenig bis keine Nutzung). Es ist die Entscheidung, sich nicht auf eine Automatisierungshilfe (kann vermutlich auch eine andere Technologie sein) zu verlassen, zugunsten der manuellen, menschlichen Kontrolle. Beide Ausdrucksformen des Vertrauens sind das Ergebnis eines fehlkalibrierten Vertrauensniveaus, und beide haben zu tödlichen Zwischenfällen geführt. Daher war das Konzept des Vertrauens in die Automatisierung in den letzten Jahrzehnten Gegenstand umfangreicher Forschung (Hoff & Bashir, 2015, S.3).

Wie im Beitrag KI & Vertrauen – Hört auf zu fragen, wie das Vertrauen in KI erhöht werden kann erläutert, ist Vertrauen eine komplexe und dynamische Variable. Wie wir uns demnach auf Automatisierung (einschliesslich anderer Technologien) verlassen, kann vom Vertrauensniveau beeinflusst werden. Der Grad des Vertrauens beeinflusst die Art und Weise, wie sich User auf die Technologie verlassen und sie nutzen. Welche Faktoren beeinflussen jedoch den individuellen Grad des Vertrauens? Mehrere Studien untersuchten individuelle und kulturelle Unterschiede im Vertrauensverhalten und in den Einstellungen. Individuelle Unterschiede können Persönlichkeitsmerkmale sein, wie z.B. Extraversion oder Offenheit für neue Erfahrungen. Darüber hinaus hat das Konzept Propensity to trust, das am besten als eine allgemeine Tendenz einer Maschine zu vertrauen, beschrieben werden kann, in der Forschung viel Aufmerksamkeit erhalten (Chien et al., 2014; Merrit & Ilgen, 2008).

Ein neuartiges Konstrukt, bei dem es sich weder um ein Persönlichkeitsmerkmal noch um einen kulturellen Einfluss handelt, das etwas mehr Licht darauf werfen könnte, wie Fehler bei der Vertrauenskalibrierung vermieden werden können, ist PAS, das Perfect Automation Schema (Merrit et al., 2015; Lyon & Guznov, 2018). Das PAS enthält kognitive Überzeugungen über die Leistungsfähigkeit eines Systems. Es hat in jüngerer Zeit an Aufmerksamkeit gewonnen, und seine theoretischen Grundlagen und seine Beziehung zum Vertrauen werden im Mittelpunkt des vorliegenden Artikels stehen.

PAS – Verwandte Konstrukte: Zwischenmenschliches Vertrauen und Vertrauen in Automatisierung

Einordnung in den Kontext: Der Grossteil des aktuellen Wissenstandes der Mensch-Maschine Vertrauensbeziehung entzieht sich aus dem Forschungskontext der Automatisierung. Es ist wahrscheinlich, dass diese Hypothesen auch für das Vertrauen in die künstliche Intelligenz gelten, doch sind empirische Beweise kaum vorhanden. Aus diesem Grund wird in diesem Beitrag ausschliesslich von Automatisierung gesprochen. In zahlreichen Forschungsarbeiten wurde der Begriff für eine Technologie verwendet, die in der Lage ist, Informationen zu suchen und zu analysieren, Empfehlungen auszusprechen oder Entscheidungen zu treffen, wobei der Grad der menschlichen Kontrolle unterschiedlich ist (basierend auf Parasuramn et al. 2000 in Lyons & Guznov, 2018). Wie und inwieweit sich das mit dem unklar definierten Begriff und Anwendungsfeldern der künstlichen Intelligenz deckt, ist Gegenstand künftiger Forschungsarbeiten.

Dem PAS-Schema ähnliche Begriffe, als Antezedens des Vertrauens, wurden in verschiedenen Disziplinen untersucht, insbesondere in der Mensch-Roboter-Interaktion (Hancock et al., 2011) und Mensch-Automatisierung-Interaktion (Hoff & Bashir, 2015). Kürzlich haben Merrit et al. (2015) jedoch einen Selbstbeurteilungsfragebogen entwickelt und validiert, der die beiden Hauptfaktoren operationalisiert. Vor der Definition von PAS wird ein kurzer Überblick über zwischenmenschliches Vertrauen (von Mensch zu Mensch) und wie es sich in Vertrauen in Automatisierung übertragen lassen kann, gegeben (für ausführlichere Diskussionen siehe frühere Berichte über Vertrauen/Vertrauen in KI in unserem Archiv).

Drei Komponenten des zwischenmenschlichen Vertrauens

Eine Unmenge an Literatur aus verschiedenen Disziplinen hat das Gespräch über Vertrauen geprägt. Zum Beispiel Vertrauen als ein stabiles Persönlichkeitsmerkmal oder Vertrauen als einen dynamischen Prozess. Bei der Prozessperspektive wurde insbesondere auch untersucht, wie Vertrauen repariert werden kann, wenn es zu einem Bruch gekommen ist. Die nachstehende kurze Erklärung berührt nur diejenigen Faktoren, die am besten helfen zu verstehen, wie sich zwischenmenschliches Vertrauen zum Teil in Vertrauen in Automatisierung übertragen lässt.

Viele haben das Vertrauen von Mensch zu Mensch als eine Art sozialen Klebstoff (Hoff & Bashir, 2015) beschrieben, der die Menschheit zusammenhält. Durch Vertrauen können Menschen mit anderen Menschen zusammenarbeiten, um ihre Produktivität und Effizienz zu steigern oder persönliche Ziele zu erreichen, wie die gemeinsame Arbeit an einem Schulprojekt, die Gründung eines Unternehmens oder die Gründung einer Familie. Vertrauen wird in diesen Szenarien als die Haltung eines Menschen gesehen, der bereit ist, sich gegenüber einem anderen Menschen in Bezug auf ein bestimmtes Thema verwundbar zu machen.

Allen diesen Szenarien ist gemeinsam, dass es einen Unsicherheitsfaktor und ein Ziel X gibt. In unterschiedlichem Ausmass ist etwas über den zu Vertrauenden unbekannt: Wird mein Kollege, pünktlich liefern, damit dieses Schulprojekt oder dieses Unternehmen Erfolg hat? Wird mein Partner loyal sein? In diesen Szenarien ähnelt Vertrauen einem Bewältigungsmechanismus, um mit dem Unbekannten umzugehen. Vertrauen hilft uns, uns auf wackligem Boden zu bewegen und nicht vor Angst verrückt zu werden. Die wichtigsten Begriffe, die zwischenmenschliches Vertrauen als Haltung charakterisieren, sind:

• Verwundbarkeit desjenigen, der vertrauen möchte
• Unsicherheiten in der Situation
• Ziel-Orientierung (Zielzustand)

Vertrauen ist eine Einstellung, dass ein Gegenüber in einer von Unsicherheit geprägten Situation helfen wird, das Ziel der vertrauen-gebenden Person zu erreichen (Lee & See, S. 54, 2004)

Wie entscheidet ein Treugeber, verletzlich zu sein, Versagen zu riskieren und weiterzumachen? Nach Mayer et al. (1995) beruht diese Entscheidung auf drei Hinweisen, meist Beobachtungshinweisen, die vom Treugeber interpretiert werden (wobei viele Feinheiten zu beachten sind):

• Fähigkeit (Ability)
• Integrität (Integrity)
• Wohlwollen (Benevolence)

Kurz gesagt, um einer anderen Person zu vertrauen, treffen Menschen Urteile über die Vertrauenswürdigkeit (eine Reihe von Eigenschaften) der jeweiligen Person, basierend auf verschiedenen Informationen und Erfahrungen aus der Vergangenheit und Gegenwart.

Ähnlich, aber anders: Human-Automation-Trust

Menschen beurteilen die Vertrauenswürdigkeit einer Maschine/Automatisierung auch anhand von Eigenschaften, die den oben erwähnten Eigenschaften des zwischenmenschlichen Vertrauens recht ähnlich sind. Es ist wahrscheinlich, dass diese Hypothesen auch für das Vertrauen in die künstliche Intelligenz gelten, doch sind empirische Beweise kaum vorhanden. In zahlreichen Forschungsarbeiten wurde der Begriff Automatisierung verwendet. Das Vertrauen eines Menschen in Automatisierung hängt von folgenden Eigenschaften ab (Lee & See, 2004):

• Performance (Leistung): Wie gut ist die Automatisierung bei der Aufgabe?
• Process (Prozess): Wie gut ist das Verständnis des Benutzers für die von der Automatisierung verwendeten Methoden?
• Purpose (Zweck): Was ist der Verwendungszweck des Entwicklers?

Studien deuten darauf hin, dass Human-Automation-Trust einige wichtige Merkmale mit interpersonalem Vertrauen teilt, sich aber in verschiedenen Details unterscheidet (siehe Lee & See, 2004 und Hoff & Bashir, 2015 für einen umfassenden Überblick über die Unterschiede zwischen zwischenmenschlichem Vertrauen und Mensch-Maschine-Vertrauen). Ein für den vorliegenden Beitrag relevanter Unterschied liegt im initialen Vertrauensbildungsprozess, wo nicht viel Wissen oder Erfahrung vorhanden ist. Nach Hoff & Bashir (2015) neigen die Menschen dazu, mit ihrer Offenheit gegenüber Fremden etwas zurückhaltend zu sein. Bei Maschinen haben Forscher im Gegensatz dazu eine Art Positivitätsbias festgestellt, welcher hauptsächlich auf der Leistung begründet ist. Manche Menschen neigen dazu zu glauben, dass Maschinen zu 100% perfekt funktionieren (Lyons & Guznov, 2018).

In unserem A-IQ-Forschungsprojekt haben wir auch beobachtet, dass manche Menschen dazu tendieren, die Fähigkeiten von digitalen Assistenten (z.B. Siri oder Alexa), zu überschätzen. Wir stellen die Hypothese auf, dass diese übertriebenen Erwartungen dazu beitragen, das Vertrauens-Nutzungs-Verhältnis zu erklären (Trust-Use Relationship), das wir untersuchen wollen. Hohe Erwartungen in Verbindung mit dem All-or-None Belief sind die beiden Säulen des PAS, die im Folgenden anhand der Arbeiten von Merrit et al. (2015), Lyons & Guznov (2018) und Dzindolet et al. (2003) erläutert werden.

Das Verständnis […] der PAS und der damit verbundenen Überzeugungen ist besonders wichtig, weil es als eines der Schlüsselkonstrukte gilt, die das Vertrauen in Automatisierung vom Vertrauen in Menschen unterscheiden. (Madhavan & Wiegmann, 2007 in Merrit et al., S. 740, 2015)

PAS definieren: Glaube an eine perfekte Automatisierung

Das Perfect Automation Schema kann am besten als ein kognitives Schema verstanden werden, das sich auf die Leistung (Performance, eine der oben erwähnten Vertrauenseigenschaften) eines automatisierten Systems konzentriert. Schemata sind kognitive Strukturen, die dabei helfen, Informationen zu organisieren und zu interpretieren. Sie helfen, verschiedene Stimuli zu klassifizieren und festzustellen, wie sich etwas in der Zukunft verhalten könnte. Der Versuch, zukünftige Handlungen vorherzusagen, ist von wesentlicher Bedeutung, wenn Menschen über ihre Bereitschaft entscheiden, anderen oder etwas gegenüber verwundbar zu sein. Mit anderen Worten: Diese Erwartungen können die Art und Weise beeinflussen, sich auf einen anderen Menschen oder eine Maschine zu verlassen (Merrit et al., 2015; Lyons & Guznov, 2018; und Dzindolet et al., 2003).

Die PAS umfasst zwei Faktoren: High Performance Expectations (Hohe Leistungserwartungen) und All-or-None Beliefs (Alles-oder-nichts-Überzeugungen).

Die Dimension hohe Leistungserwartungen ist ein Glaube, dass automatisierte Systeme nahezu perfekt sind. Menschen mit hohen Leistungserwartungen an ein System stellen solche seltener in Frage, was zu übersteigertem Vertrauen und damit zu nicht passender Benutzung führen kann, mit schlimmstenfalls katastrophalen Folgen. Lyons & Guznov (2018) argumentieren weiter, dass dieser nahezu perfekte Glaube zu einer weiteren kognitiven Verzerrung führen kann, dem Automation Bias. Dieser Bias ist eine Tendenz zur Bevorzugung automatisierter Entscheidungssysteme.

Da Maschinen nicht müde oder gestresst werden können, sind Zuschreibungen für Fehler im Gegensatz zu menschlichen Beziehungen eher stabil. Menschen neigen dazu, anderen Menschen gegenüber nachsichtiger zu sein. Diese Abneigung, einer Maschine zu verzeihen, wird in engem Zusammenhang mit der zweiten Säule des PAS vermutet, nämlich das sogenannte Alles-oder-nichts-Denken, in Bezug auf die Automatisierungsleistung. Das bedeutet, dass Menschen dazu neigen zu denken, dass Automatisierung entweder perfekt oder gar nicht funktioniert. Dieses Alles-oder-nichts-Denken könnte eines der kritischen Elemente sein, um Vertrauen in die Automatisierung von Vertrauen in Menschen zu unterscheiden (Dzindolet et al., 2003).

PAS wird als ein Modell theoretisiert, das sowohl hohe Erwartungen als auch ein Alles-oder-nichts-Denken beinhaltet. Die empirische Evidenz ist jedoch nicht konsistent, und diese beiden Dimensionen könnten auch unabhängig voneinander sein. In diesem Bereich ist weitere Forschung erforderlich, insbesondere angesichts der hohen Frequenz, mit der PAS in der Automatisierungsliteratur erwähnt wurde (Merrit et al., 2015). Auch in Bezug auf Vertrauen ist die Datenlage nicht ganz klar. PAS scheint bei der Untersuchung der Auswirkungen auf das Vertrauen vor und nach dem Auftreten eines Fehlers eine wichtige Rolle zu spielen, und es kann je nach den verschiedenen Arten der Automatisierung variieren (Arten der Automatisierung siehe Parasuraman & Riley, 1997, zitiert in Lyons & Guznov, 2018).

Da PAS als ein Konzept zur Interpretation von Informationen zu verstehen ist, ist es von besonderer Relevanz, wenn die Maschinenleistung diese Erwartungen verletzt. Dann treten mehrere psychologische Prozesse auf, um diese kognitive Dissonanz zu überwinden und eine Erklärung dafür zu finden, warum die Maschine nicht das getan hat, was sie tun sollte (der Begriff der Transparenz kommt hier ins Spiel). Zusammenfassend lässt sich sagen, dass es aus fehlerhafter Mensch-Automatisierungs-Interaktionen die beiden Folgen Nichtgebrauch und Missbrauch gibt. Man betrachte ein Beispiel eines starken PAS:

1. Unzureichendes Vertrauen als Disuse: Würde man höchstwahrscheinlich eine Automatisierung nach einem Fehler nicht mehr verwenden und sich mehr auf die eigenen Fähigkeiten verlassen, selbst wenn erwiesen ist, dass die Automatisierung besser funktioniert.
2. Übermässigen Vertrauen als Misuse: Man würde höchstwahrscheinlich eine Automatisierung ohne erhebliche Skepsis einsetzen, selbst wenn die Leistung eine menschliche Aufsicht erfordern würde.

Studien legen nahe, dass (1) Alles-oder-nichts-Denken mit Vertrauen verbunden ist, nachdem man einen Fehler erlebt hat, und (2) hohe Erwartungen mit Vertrauen verbunden sind, bevor man einen Fehler erlebt hat (Lyons & Guznov, 2018; Merrit et al., 2015). Das Verständnis, wie diese beiden Konzepte bzw. die PAS als Ganzes funktionieren, sollte mehr Licht auf die Kalibrierung des Vertrauens werfen. Neben der Erweiterung des theoretischen Wissens besteht das Ziel auch darin zu verstehen, wie die korrekte Nutzung bzw. das korrekte Vertrauen gefördert werden kann, z.B. durch Benutzer Design oder angepasste Trainingsmassnahmen.

Wie wird PAS gemessen?

Erst vor kurzem haben Merrit et al. (2015) vermutlich als erste PAS operationalisiert und ein Selbstbeurteilungsmass entwickelt, das die beiden vorgeschlagenen Faktoren bewertet. Um PAS zu messen, entwerfen Forscher verschiedene kreative, experimentelle Settings. Wie können Forscher und Praktiker ein solches Experiment gestalten?

Beispiele für Forschungssettings und -aufgaben

Eine Forschungsumgebung ist oft die Kombination aus einer Aufgabe, die von einem automatisierten Hilfsmittel und einem Teilnehmer erledigt wird. Vor, zwischen oder nach der Aufgabe, müssen verschiedene Fragebögen ausgefüllt werden. In der Studie von Merrit et al. (2015) mussten die Teilnehmer eine Röntgen-Screening-Aufgabe mit 30 Röntgenbildern durchführen. Die Röntgenbilder waren ähnlich den Screennigs bei der Flughafensicherheit (zur Kontrolle des Handgepäcks). Die Aufgabe der Teilnehmer bestand darin auszuwählen, ob sich auf dem Bild eine Waffe befand oder nicht. Die Automatisierungshilfe würde ebenfalls Empfehlungen geben, mal vorher, mal nach dem Entscheid des Teilnehmers. Es gibt viele verschiedene Settings dazu. Die Experimentatoren manipulieren zum Beispiel die Zuverlässigkeit der Empfehlung des automatisierten Systems (es funktioniert zu 100, 80 oder 40 Prozent). Oder ob die Teilnehmer ein Trainings- oder Leistungsfeedback erhalten. Auch die Leistung der Automatisierungshilfe kann mehrdeutig sein. Fehler können subtil, aber auch sehr offensichtlich sein: So z.B. stuft die Automatisierungshilfe das Bild als sicher ein, aber es war ein massives (unübersehbares) Maschinengewehr im Bild. Oft werden den Teilnehmern einige zusätzliche Aufgaben gestellt, wie das Merken einer 7-stelligen Zahl, um die kognitive Belastung einer realen Situation zu simulieren.

In einer Studie von Lyons & Guznov (2018) arbeiteten die Teilnehmer an einer videospiel-ähnlichen Aufgabe. Sie mussten sich ein Video eines unbemannten Bodenfahrzeugs ansehen, das seine Route anzeigte, auf der der Versuchsteilnehmer Häuser, Menschen und mehr sehen konnten. Das automatisierte System prüfte die Personen im Video auf ihr Potenzial, Rebellen zu sein. Der Teilnehmer musste der Entscheidung dann entweder zustimmen oder widersprechen, als das Fahrzeug näher an die gefährlich aussehende Person heranfuhr. Die Einstellung kann auch manipuliert werden, z.B. durch unterschiedliche Leistungszuverlässigkeit, die Anzahl der Aufständischen oder Schulungen.

Viele Studien verwenden einen höheren Automatisierungstyp, bei dem eine Empfehlung ausgesprochen wurde oder eine Aktion durch ein automatisiertes Hilfsmittel durchgeführt wurde (Informationserfassung und -analyse als Automatisierung auf unterer Ebene, eine von Parasuraman et al. 2000 vorgeschlagene Taxonomie, zitiert in Lyons & Guznov 2018).

Messung der PAS und verwandter Konstrukte

Die finale Perfect Automation Schema Scale von Merrit et al. (2015) enthielt vier Items für die Dimension Hohe Erwartungen und drei Items für die Dimension All-or-None Beliefs auf einer 5-Punkte-Likert-Skala von stimme gar nicht zu bis stimme stark zu. Alles in allem müssen die Teilnehmer einer Studie also sieben Fragen beantworten.

Um zu messen, ob die Teilnehmer ein starkes PAS haben, würden sie hohe Ergebnisse erzielen (stimmen stark zu) bei Fragen wie: Automatisierte Systeme haben 100% perfekte Leistung (Dimension der hohen Erwartungen) oder Wenn ein automatisiertes System einen Fehler macht, dann ist es völlig nutzlos (All-or-None Beliefs).

Die Ergebnisse des Fragebogens werden dann mit einer Messung des Vertrauens und Vertrauensverhaltens korreliert (im Hinblick auf das Ergebnis der Aufgabe, die sie zu erfüllen hatten). Zum Beispiel fanden Merrit et al. heraus, dass Alles-oder-nichts-Denken negativ mit Vertrauen in Verbindung gebracht wurde, nachdem ein Fehler (oder viele Fehler) aufgetreten war, was der theoretischen Hypothese entsprach: Vertrauen und Nutzen nimmt nach dem Auftreten eines Fehlers ab. Entgegen ihren Erwartungen wurde keine Korrelation mit dem Vertrauensniveau mit dem Glauben vor dem Auftreten eines Fehlers gefunden, dass Maschinen perfekt funktionieren. Diese Hypothese wurde später von Lyons & Guznov (2018) getestet, die eine positive Korrelation zwischen hohen Erwartungen und Vertrauen fanden. Mit anderen Worten: Teilnehmer mit hohen Erwartungen hatten ein signifikant höheres Mass an Vertrauen vor dem Auftreten eines Fehlers. Die Inkonsistenz der Ergebnisse erfordert weitere Forschung unter Verwendung der PAS-Skala, bei gleichzeitiger Kontrolle anderer verwandter Konstrukte.

Einschränkungen und zukünftige Forschung

Es ist wichtig zu verstehen, dass sich PAS konzeptionell von Automatisierungsbias und der Propensity to Trust (eigenschaftsähnliche Neigung, Maschinen im Allgemeinen zu vertrauen) unterscheiden und gleichzeitig ähnliche empirische Muster aufweisen. Inwieweit PAS für die Varianz des Vertrauens gegenüber anderen Konstrukten verantwortlich ist, muss noch erforscht werden. Ein empfohlener Weg ist die Kontrolle auf kritische verwandte Konstrukte und Einstellungen. Es könnte ebenso von Bedeutung sein, die Rolle von Anthropomorphismus zu untersuchen, welcher letztlich die Legitimität des Vertrauenskonzeptes in der Mensch-Maschine-Interaktion in Frage stellt (vergleiche dazu Arbeiten von Prof. Joanna Bryson).

Im Rahmen der Human-Automation-Trust Forschung sind folgende Messvariablen wichtig:

• Neigung zu Vertrauen
• Leistungswahrnehmung von Automatisierung und Selbstwahrnehmung
• Erfahrung/Kenntnisse im Umgang mit Technologie
• Kulturelle Variablen und Persönlichkeitsmerkmale
• Situationsvariablen wie die Neuartigkeit der Situation, Erfahrung, Ausbildungsszenarien, Zeitleiste (Längsschnittstudien)
• Experimentelle Einstellung: Art der Aufgabe, Art der Automatisierung, Fehlerkurven (abnehmende/zunehmende Zuverlässigkeit), Transparenzindikatoren (z.B. Erklärung, warum ein Fehler aufgetreten ist)

Darüber hinaus wäre es interessant zu sehen, ob PAS und das Vertrauens-/Reliance-Verhalten sich in Gruppeneinstellungen ändern. Wie beeinflusst das Vertrauens-/Verlässlichkeitsverhalten anderer, z.B. von Vorgesetzten, Experten oder Neulingen, die einzelne Person? Gibt es so etwas wie Vertrauensgruppendenken? Situationen konzentrieren sich oft auf ein Mensch-zu-Mensch-Automatisierungs-/Roboter-Setting. Gruppen-Settings sind recht selten, aber vermutlich realistischer (Lyong & Guznov, 2018).

Abgesehen von der Tatsache, dass diese Liste nicht umfassend ist, könnte ein weiterer Gedanke auch in der experimentellen Umgebung sehr relevant sein. Welche Art von Belohnung erhalten die Teilnehmer für die Aufgabe? Die Belohnung oder Konsequenz kann auch das Vertrauensverhalten beeinflussen. Zum Beispiel mussten sich in der Studie von Dzindolet et al. (2003) Studenten entscheiden, ob sie sich auf ihre eigene Leistung oder eher auf die Leistung eines automatisierten Hilfsmittels (eine Detektionsaufgabe) verlassen. Bei einer erfolgreichen Quote konnten sie Gutscheine für die Cafeteria gewinnen. Lyons & Guznov (2018) wählten in ihrer Studie ein ganz anderes Szenario: Die Piloten der F-16 der Luftwaffe mussten sich auf das automatische Bodenkollisionsvermeidungssystem verlassen, ein tatsächliches automatisiertes Sicherheitssystem. Ihre Entscheidung, sich auf dieses System zu verlassen, hatte Auswirkungen auf Leben und Tod des Piloten. Welche Rolle spielt das echte oder wahrgenommene Risiko einer Situation?

Beispiele für praktische Anwendungen und Implikationen für das A-IQ-Forschungsprojekt

Praktische Implikationen wirken sich bisher auf Produkt- und Trainingsdesign aus. Zum Beispiel sollte neben den Gestaltungsmerkmalen der Transparenz (warum ist ein automatisiertes Hilfsmittel fehlgeschlagen?) angegeben werden, ob dieser Fehler stabil oder vorübergehend ist, wenn es darum geht, Alles-oder-nichts-Überzeugungen abzuschwächen. Merrit et al. (2019) schlagen vor, dass Personen mit niedrigen All-or-None Beliefs ein anderes Training erhalten sollten, um für ein angemessenes Vertrauensniveau zu trainieren; sie schlagen sogar vor, dass Personaler die PAS-Skala für Arbeitsplatzwahl und Platzierung verwenden können.

Das PAS wurde im Zusammenhang mit Automatisierung bzw. automatisierten Hilfsmitteln getestet und validiert, mit realen, realistischen und gefälschten Einstellungen (gefälscht heisst, dass es dieses automatisierte System nicht wirklich gab). Übertragen sich die Ergebnisse auf die künstliche Intelligenz? Diese Frage lohnt sich zu untersuchen. Da wir an das Potenzial des PAS glauben, wollen wir es in unserer A-IQ-Forschung nutzen. Wir wollen PAS einsetzen, um die Rolle des Vertrauens besser zu verstehen, wenn wir dialogorientierte KI, wie Siri oder Alexa, übernehmen und anwenden.

Das A-IQ-Projekt (Artificial Intelligence Quotient) ist 2017 als Leistungsindikator aus der Verhaltensperspektive (End-to-End) angelaufen. Die Hypothese, dass Vertrauen entscheidend für die Akzeptanz und Nutzung ist, wird in unserem Titanium Trust Report unterstützt. Es wurde gezeigt, dass die Teilnehmer (n=111), die gesprächsorientierte KI verwenden, ein signifikant höheres Mass an Vertrauen haben (unveröffentlichter Bericht). Wir wollen die Beziehung zwischen Vertrauen und erwarteter Leistung im Vergleich zur gemessenen Leistung (A-IQ) und der Nutzung verstehen. Wir haben beobachtet, dass Menschen dazu neigen, die Fähigkeiten von digitalen Assistenten zu überschätzen, selbst diejenigen mit einem starken IT-Hintergrund (Dimension der hohen Erwartungshaltung an PAS). Darüber hinaus berichteten viele, dass sie aufhörten, Sprachassistenten zu benutzen, wenn sie eine dumme Antwort erfuhren (All-or-None Beliefs an PAS). Ein kalibrierter Einsatz von Gesprächs-KI mag keine lebensrettende Entscheidung sein, könnte aber dennoch wesentliche Erkenntnisse liefern, wenn es um angemessene Evaluation von künstlicher Intelligenz, KI-gestützten Systemen oder einen Mix aus verschiedenen Technologien, wie dem Google-Assistenten und Google Maps geht. Auf gesellschaftlicher Ebene ist es erwünscht, dass Benutzer durch ein kalibriertes Vertrauenslevel intelligente Technologien verantwortungsbewusst einsetzen können.

Fazit

Das Perfect Automation Schema (PAS) beeinflusst das Vertrauen. Vertrauen beeinflusst, wie wir uns auf eine Technologie verlassen. Eine fehlerhafte Human-Automation-Interaktion kann Folgen haben, in unterschiedlicher Schwere. Bedenken Sie dies: Wenn Teilnehmer der Experimente aus den oben genannten Studien einen Fehler gemacht haben, führte dies dazu, dass sie keinen 50-Cent-Gutschein für die Cafeteria gewonnen haben. Wenn menschliche Operatoren im wirklichen Leben einen Fehler gemacht haben, wie z.B. Video Spielen beim Fahren eines halbautomatischen Tesla, führte dies zum Tod von Menschen. Es herrscht die Vorstellung vor, dass Automatisierung (einschliesslich KI) uns von langweiligen, mühsamen oder sogar gefährlichen Aufgaben befreien kann. Sie wurde entwickelt, um Produktivität, Sicherheit und Effizienz durch die Verringerung menschlicher Fehler zu erhöhen. Mit der Einführung und Umsetzung von Automatisierung und KI, um menschliche Fehler auszuschalten, haben wir jedoch neuartige menschliche Fehler eingeführt.

Literaturverweise

• Chien, Shih-Yi & Lewis, Michael & Semnani-Azad, Zhaleh & Sycara, Katia. (2014). An Empirical Model of Cultural Factors on Trust in Automation. Proceedings of the Human Factors and Ergonomics Society Annual Meeting. 58. 859-863. 10.1177/1541931214581181.
• Dzindolet, Mary & Peterson, Scott & Pomranky, Regina & Pierce, Linda & Beck, Hall. (2003). The role of trust in automation reliance. International Journal of Human-Computer Studies. 58. 697-718. 10.1016/S1071-5819(03)00038-7.
• Hancock, Peter & Billings, Deborah & Schaefer, Kristin & Chen, Jessie & de Visser, Ewart & Parasuraman, Raja. (2011). A Meta-Analysis of Factors Affecting Trust in Human-Robot Interaction. Human factors. 53. 517-27. 10.1177/0018720811417254.*
• Hoff, Kevin & Bashir, Masooda. (2015). Trust in Automation: Integrating Empirical Evidence on Factors That Influence Trust. Human Factors The Journal of the Human Factors and Ergonomics Society. 57. 407-434. 10.1177/0018720814547570.
• Lyons, Joseph & Guznov, Svyatoslav. (2018). Individual differences in human-machine trust: A multi-study look at the perfect automation schema. Theoretical Issues in Ergonomics Science. 1-19. 10.1080/1463922×.2018.1491071.
• Merritt, Stephanie & Unnerstall, Jennifer & Lee, Deborah & Huber, Kelli. (2015). Measuring Individual Differences in the Perfect Automation Schema. Human factors. 57. 10.1177/0018720815581247.
• Merritt, Stephanie & Ilgen, Daniel. (2008). Not All Trust Is Created Equal: Dispositional and History-Based Trust in Human-Automation Interactions. Human factors. 50. 194-210. 10.1518/001872008×288574.

Über die Autorin

Marisa Tschopp hat ihren Master in Wirtschaftspsychologie an der Ludwig-Maximilians-Universität in München absolviert. Als Doktorandin am Leibniz Institut für Wissensmedien ist sie aktiv in der Forschung zu Künstlicher Intelligenz aus Humanperspektive, wobei sie sich auf psychologische und ethische Aspekte fokussiert. Sie hat unter anderem Vorträge an TEDx Events gehalten und vertritt die Schweiz als Ambassador in der Women in AI Initiative. (ORCID 0000-0001-5221-5327)

Links

• https://arstechnica.com/cars/2016/05/death-by-gps/
• https://www.ft.com/content/0e086832-5c5c-11ea-8033-fa40a0d65a98
• https://www.ntsb.gov/news/press-releases/Pages/NR20200225.aspx
• https://www.researchgate.net/project/AIQ-An-Interdisciplinary-Approach-to-Artificial-Intelligence-Testing
• https://www.researchgate.net/publication/11805395_Automation_Bias_Decision_Making_and_Performance_in_High-Tech_Cockpits