KI-gestützte Systeme werden derzeit in beispiellosem Tempo in der Praxis eingesetzt und bringen ein völlig neues Sicherheitsparadigma mit sich. Ein kontinuierlicher Ansatz der adversarialen Defense scheint in diesem einzigartigen, sich ständig weiterentwickelnden Bereich der Cybersicherheit von entscheidender Bedeutung zu sein.

Als Sicherheitsanalystin arbeite ich an klassischen Anwendungssicherheitsprojekten, bei denen Verhaltensweisen reproduzierbar sind und Systeme auf bekannte und häufige Schwachstellen getestet werden können. Mir wurde klar, wie unreif die Sicherheit von KI im Gegensatz zu ihrer raschen weltweiten Verbreitung ist: Die Unvorhersehbarkeit der Ergebnisse und Verhaltensweisen von KI-Systemen, ihre viel komplexere Angriffsfläche, die KI-spezifischen Risiken (Datenvergiftung, Modellinversion, Mitgliedschaftsinferenz, Halluzinationen usw.) und die Überschneidungen mit Ethik und Vertrauen. In diesem komplexen und sich schnell entwickelnden Thema gibt es noch viel zu entdecken.

Was mich bei der Recherche zu diesem Thema noch mehr interessiert hat, ist, wie viel neue Perspektiven die KI-Sicherheit mit sich bringt. Es ist eine anregende Übung, seine Denkweise zu ändern und zu verstehen, dass die Sicherung von KI-Systemen eine grundlegend andere Denkweise erfordert als die traditionelle IT-Sicherheit und Penetrationstests. KI bringt viele hilfreiche Anwendungen mit sich, aber auch neue Sicherheitsherausforderungen, die einfach untrennbar mit ihrer Natur verbunden sind.

Wie unterschiedlich ist die Sicherheit von KI-Systemen?

Large Language Models (LLMs) sind mittlerweile eine weit verbreitete Art von KI-Systemen. Einen ersten Eindruck von ihren Sicherheitsherausforderungen kann man sich verschaffen, indem man mit Gandalf’s Chatbot (von Lakera) spielt und versucht, das LLM auf jeder Ebene sozial zu manipulieren, damit es das Passwort preisgibt. Dies zeigt einen einzigartigen feindseligen Ansatz zum Missbrauch dieser Art von Systemen. Wenn man sich mit der Frage beschäftigt, wie jede Ebene einen neuen Schutzmechanismus implementiert, um Informationslecks zu minimieren, wird deutlich, wie schwierig es sein kann, ein solches System abzusichern.

In einer LLM-basierten Anwendung wird eine Eingabe, zum Beispiel ein Textabschnitt, an das LLM übermittelt, das diese numerisch verarbeitet, indem es sie in Vektoren umwandelt, die die Bedeutung und den Kontext (Semantik) der Texteingabe erfassen. Das Language-Model liefert eine probabilistisch und statistisch kohärente Ausgabe, basierend auf den Mustern, die es während seines Trainings mit grossen Datenmengen gelernt hat. Beispielsweise erhält ein KI-gestützter Assistent, der in den Arbeitsablauf eines Unternehmens integriert ist, Zugriff auf Arbeitsdaten, damit er im Kontext des Unternehmens hilfreiche Antworten geben kann. Ein weiteres Beispiel: In einem Bewerbungsverfahren, bei dem ein LLM zur Verarbeitung des Lebenslaufs des Bewerbers eingesetzt wird, erhält es Daten und Anweisungen, die ihm helfen, positives oder negatives Feedback zur Bewerbung zu geben. Dieses vereinfachte Bild von LLMs soll verdeutlichen, wie ihre Integration die Angriffsfläche komplexer macht und mit ihren semantischen Interpretationsdaten ein neues Paradigma schafft, verglichen mit dem, was zu erwarten wäre, wenn eine Eingabe in eine deterministisch definierte Funktion eingespeist würde.

Ich habe ein Experiment durchgeführt, indem ich einen Chatbot implementiert habe (inspiriert von Lakeras Gandalf), bei dem ich dem LLM ein Passwort mitgab und ihm die Anweisung gegeben habe, dieses nicht preiszugeben. Anschliessend konnte der Benutzer mit dem LLM-Assistenten in natürlicher Sprache interagieren und versuchen, das Modell so zu manipulieren, dass es das geheime Passwort preisgibt, wobei er die Sicherheitsmassnahmen des LLMs umging. Das Hinzufügen von Guardrails um das LLM herum reduziert in gewissem Masse einfache Manipulationen und erwartetes Fehlverhalten. Es gibt immer einen Weg, diese zu umgehen. Je besser man versteht, wie dieses spezifische Modell und seine Integration in die Anwendung funktionieren, desto besser kann man Eingabeaufforderungen erstellen, die eine Weitergabe sensibler Daten auslösen, so wie man die richtigen Worte finden kann, um jemanden davon zu überzeugen, dass man vertrauenswürdig ist – nur dass das LLM hier die Bedeutung von Wörtern wie numerische Vektoren behandelt. Das LLM liefert eine kohärente, nicht-deterministische Antwort, die sich auf die Semantik der Daten konzentriert, ohne tatsächlich etwas davon zu verstehen – denn es handelt sich um ein Computersystem, das mit Zahlen arbeitet und kein menschliches Verständnis von Bedeutung hat. Selbst wenn ich ein anderes LLM als Wächter einsetzte, um die Ein- und Ausgaben des anderen LLM, welches das Geheimnis kannte, zu filtern, war es schwierig, die richtigen Formulierungen zu finden, um das Wächter-LLM anzuweisen, systematisch alle Antworten zu blockieren, die potenzielle Informationen über das geheime Passwort preisgaben. Um ein konkretes und einfaches Beispiel zu nennen: Wenn das Geheimnis der Name einer öffentlichen Person ist, kann man das LLM über mehrere Interaktionen hinweg so manipulieren, dass es einige Merkmale und andere Elemente preisgibt, die einem helfen, die Identität dieser Person zu erraten.

Warum reicht eine einmalige Sicherheitsanalyse nicht aus?

Die Manipulation eines LLMs zu unbeabsichtigten Verhaltensweisen und Ausgaben ist die erste grosse Schwachstelle der OWASP Top 10 for LLM-Applications: Prompt Injection. Diese Top 10 gelten als guter Ausgangspunkt für die Überprüfung der Architektur einer LLM-Anwendung und die Aufdeckung von Schwachstellen. In seinem Blogbeitrag erinnert uns Devansh jedoch daran, dass dies keine einmal im Jahr zu erledigende Aufgabe ist und dass andere Aspekte der “AI Threat Landscape” ebenfalls berücksichtigt werden müssen. Die OWASP Top 10 for Agentic Applications ist ebenfalls ein guter Anhaltspunkt für wichtige Schwachstellen in komplexen KI-Systemen, in denen KI-Agenten eingesetzt werden, um Aufgaben von LLMs (oder anderen KI-Systemen) ohne menschliche Aufsicht zu automatisieren.

Bei einem zeitlich begrenzten Penetrationstest, bei dem kaum oder gar keine Kenntnisse über die Funktionsweise und Integration des Modells in das umgebende System vorhanden sind, kann ein ethischer Hacker nur an der Oberfläche potenzieller Injektionen kratzen, sodass die meisten Schwachstellen im Dunkeln bleiben. Dies gilt umso mehr, als sich KI-Systeme schnell weiterentwickeln und ständig neue Schwachstellen aufweisen. Dieser Artikel von Snyk zeigt auf, wie vielfältig die Landschaft und Oberfläche von Prompt-Injection sein kann. Da man diese Schwachstellen lieber vor einem Angreifer entdecken möchten, ist ein tiefgreifenderer und langfristigerer Ansatz erforderlich.

In traditionellen IT-Systemen sind Verhaltensweisen reproduzierbar und die Menge der möglichen Ergebnisse ist endlich. Sie können Filter und Eingabevalidierungen basierend auf Format, Syntax und einer endlichen Menge von Erwartungen verwenden, um beispielsweise böswillige Eingaben von Benutzern auf einer Webseite zu verhindern. Bei einem LLM ist die Menge der möglichen Antworten auf eine einzelne Eingabeaufforderung unendlich, und eine effektive Filterung auf der Grundlage der Bedeutung ist viel schwieriger und unsicherer. Mit anderen Worten: Durch das Hinzufügen eines LLMs zu einer Anwendung wird die Angriffsfläche erheblich vergrössert. Diese Angriffsfläche nimmt exponentiell zu, wenn man die verschiedenen betroffenen Schichten eines KI-gestützten Systems berücksichtigt, wie Devansh in seinem Blog über AI Pentest Scoping ausführlich darlegt. Die Art der verwendeten Modelle, die Frage, ob Feinabstimmungswerkzeuge und andere KI-spezifische Techniken und Plugins verwendet werden, sowie die Herkunft dieser Werkzeuge und die verwendeten Daten bringen neue potenzielle Schwachstellen mit sich. Alle Interaktionen des LLM, ob innerhalb oder ausserhalb eines Systems, fügen ebenfalls neue Angriffsvektoren hinzu. Wenn Sie Ihr System durch den Einsatz autonomer Agenten zur Koordination Ihrer KI-Aufgaben komplexer gestalten, eröffnet dies eine ganze Reihe weiterer Angriffsvektoren.

Die Bedrohungslage für KI-gestützte Systeme ist eine ganz andere Dimension, die mit den bisher verwendeten IT-Sicherheitsrahmenwerken nicht vollständig abgedeckt werden kann. Es kommt ständig zu Vorfällen und Exploits, wichtige Datenschutzprobleme und Risiken für die Inhaltssicherheit, ganz zu schweigen vom gesamten Bereich des Adversarial-Machine-Learning – das Durchsickern von Daten, die während des Trainings oder der Interaktionen verwendet wurden, die Einführung von Verzerrungen, Halluzinationen usw.

Ein aussagekräftiger Fall ist der der KI-basierten Codierungssoftware von Antigravity, die versehentlich das Laufwerk D: eines Benutzers gelöscht hat, ohne dazu die Erlaubnis erhalten zu haben, da der Umfang der Aktionen von den KI-Agenten leider falsch interpretiert wurde.

Ebenso wurde gezeigt, dass die Skills-Funktion in Claude, mit der Benutzer benutzerdefinierte Codemodule in das LLM einfügen können, böswilligen Benutzern ermöglicht, mit geringem Aufwand Malware einzusetzen: Sie fügen einfach einen kurzen und scheinbar harmlosen Code in eine Skill ein (die von jedem Claude-Benutzer verwendet werden kann), der unbemerkt externen Code (z. B. Malware) herunterlädt und ausführt, ohne dass die Sicherheitsvorkehrungen von Claude eine Warnung auslösen.

Diese Fälle zeigen, wie sich der Umfang schnell ändern kann, von lokalen Anwendungsschwachstellen bis hin zur potenziellen Gefährdung eines gesamten Systems.

Schritte zur Sicherheit von KI-Systemen

Es gibt keine einfache Lösung, und auf verschiedenen Ebenen entstehen unterschiedliche Standards, Leitfäden und Gesetze, sei es von privaten Unternehmen oder staatlichen Organisationen. Daher scheint es keinen einheitlichen globalen Standard für die Sicherung von KI-Systemen zu geben, sodass Praktikern kein klarer Weg zur Bewertung und Verbesserung der Sicherheit ihrer KI-Systeme zur Verfügung steht.

Wie jedoch in diesem Artikel über LLM-Sicherheitsrahmenwerke dargelegt wird, haben mehrere Initiativen bereits hilfreiche Leitlinien in dieser Richtung vorgelegt.

Zum Beispiel schafft den EU AI Act einen ersten ambitionierter und umfassenden Rechtsrahmen für KI. Es wird eine Pyramide mit vier Stufen gesellschaftlicher Risiken eingeführt, die mit einer Reihe von Regeln und Sanktionen verbunden sind. Dies ist ein grosser Schritt in Richtung Sensibilisierung und Regulierung von KI-Systemen.

Ausserdem zielt das NIST AI Risk Management Framework darauf ab, einen strukturierten Ansatz zu bieten, um KI-Systeme vertrauenswürdig zu machen. Es folgt vier iterativen Kernfunktionen: “Govern, Map, Measure und Manage”. Es hilft dabei, KI-Risiken auf systematischer und managementbezogener Ebene anzugehen.

Schliesslich gibt es noch den Donut of Defense (auch Doughnut geschrieben), der IBM in diesem Erklärvideo vorgestellt. Es wird eine Secure-by-Design-Architektur vorgeschlagen, die einen Verteidigungsring um die KI bildet. Es besteht aus vier Säulen, die zyklisch angewendet werden: “Discover, Assess, Control und Report”. Es bietet einen guten Rahmen für den Schutz und die Überwachung von KI-Systemen auf operativer Ebene.

Diese drei Elemente zusammen bilden bereits einen rechtlichen Rahmen, einen Prozess und eine technische Umsetzung zur Kontrolle der Sicherheit eines KI-Systems.

Fazit

Die Bewertung der Sicherheitslage von KI-Systemen ist eine komplexe Aufgabe und definitiv nicht mit einem einmaligen kurzen Penetrationstest zu bewältigen. KI-Systeme sind von Natur aus dynamisch, lernen kontinuierlich aus den Daten, mit denen sie gefüttert werden, und ihre sich schnell entwickelnde Landschaft macht Bedrohungsmodelle immer komplexer. Ein kontinuierlicher Adversarial-Defense-Ansatz, bei dem ein Red Team neue Schwachstellen aufdeckt und ein Blue Team reaktiv mit adaptiven Gegenmassnahmen darauf reagiert, scheint der geeignetste Weg zu sein, um die Sicherheit von KI-Systemen zu gewährleisten.

Für alle, die gerne komplexe Probleme lösen, bietet dieser Bereich sicherlich unendlich viele spannende Herausforderungen. Wer sich in die Welt der KI wagen möchte, kommt nicht umhin, die damit verbundenen Sicherheitsprobleme zu berücksichtigen und sich ihrer bewusst zu werden.

KI verändert unsere Sichtweise auf Sicherheit, und die Integration von LLMs in Anwendungen und Arbeitsabläufe sollte als ehrgeiziges Sicherheitsvorhaben betrachtet werden. Diese neuen Systeme erfordern eine kontinuierliche Überwachung, Prüfung und Anpassung auf jeder Ebene und in jeder Phase ihres Lebenszyklus.

Grosse Innovation bringt grosse Verantwortung mit sich.

Die Menschheit wird täglich mit der Künstlichen Intelligenz (KI) konfrontiert, dennoch ist es immer noch eine Herausforderung, eine gemeinsame Basis zu finden. Durch die Übernahme des Begriffs Intelligenz hat die KI eine Vielzahl von Problemen aus der Geschichte der psychologischen Intelligenzforschung übernommen. Die KI-Forschung erfordert zwangsläufig einen interdisziplinären Ansatz. Dieses Forschungsprojekt zielt darauf ab, Veränderungen der Fähigkeiten der Conversational AI (auch genannt digitale Assistenten, dialogorientierte KI), zu verstehen, zu messen, zu vergleichen und zu verfolgen. Daraus wurde ein interdisziplinäres Künstliche Intelligenz Modell abgeleitet. Die Interdisciplinary Artificial Intelligence Domains, werden als ein System von Fähigkeiten zur Lösung von Problemen verstanden. Es integriert sieben Kategorien: Explicit Knowledge, Language Aptitude, Numerical Reasoning, Verbal Reasoning, Critical Thinking, und Creative Thinking (übersetzt ins Deutsche: Explizites Wissen, Sprachbegabung, numerisches und verbales Denken, Arbeitsgedächtnis, kritisches und kreatives Denken). Darüber hinaus wird die Informationsverarbeitung in die Denkformen der Bloom Taxonomie unterteilt. Die Interdisciplinary Artificial Intelligence Quotient Scale (iAIQs Skala) wird entwickelt, die akademische IQ-Testverfahren widerspiegelt. Die Bewertung findet durch ein mehrstufiges System an Antwortkategorien und individuelle Gewichtung statt. Ein Key Performance Indicator (KPI) und der A-IQ (Künstlicher Intelligenz Quotient), stellen das Endergebnis dar. Die A-IQ Tests werden mit Conversational AI durchgeführt, innerhalb ihrer Ökosysteme: Google Now, Siri (Apple), Cortana (Microsoft) und Alexa (Amazon). Die Ergebnisse deuten auf die beste Gesamtleistung von Siri aufgrund der starken Leistung in der Domain Working Memory. Neben anderen Ergebnissen auf der Kategorieebene führt Cortana bei Explicit Knowledge. Keine zeigen kritische (ausser Alexa zum Teil) oder kreative Denkfähigkeiten. Eine Lösung zur Automatisierung der A-IQ-Prüfung wird vorgeschlagen. Limitationen und Implikationen für weitere Forschung und Praxis werden diskutiert.

Einleitung

Das Interesse an künstlicher Intelligenz scheint ungebrochen zu sein. Laut dem AI-Indexbericht 2017 (basierend auf der Stanford 100-Jahresstudie über KI) wurden über fünfzehntausend fachübergreifende Arbeiten allein in der Wissenschaft veröffentlicht. Darüber hinaus führt ein unzähliger Korpus von Artikeln online und in gedruckter Form zu einer massiven Verbreitung von Informationen über KI – von der fundierten Wissenschaft bis hin zu trivialen oder oberflächlichen Nachrichten, die einfach nur für Furore sorgen wollen (Stone, 2016).

Während heute mehr Menschen denn je mit künstlicher Intelligenz konfrontiert werden (absichtlich oder nicht), ist es immer noch schwierig, eine gemeinsame Grundlage für das Verständnis des Konzepts zu finden. Die Komplexität liegt innerhalb des Begriffs selbst, indem das Wort Intelligenz als technische, verfahrenstechnische Fähigkeiten von Maschinen übernommen wird. Sie hat eine Vielzahl von Herausforderungen aus der langen Geschichte der psychologischen Intelligenzforschung übernommen. Von methodischen Problemen (Validität, Reliabilität etc.) zu schweren Vorwürfen der Rassensondierung durch IQ Test in der Nazi Zeit (Zimbardo, Gerrig & Graf, 2008).

In dem vorliegenden Bericht soll sich dem Thema Intelligenz von Mensch und Maschine aus verschiedenen Perspektiven genähert werden.

Definition der dialogorientierten Künstlichen Intelligenz: Conversational AI

Laut Russel und Norvig (2012) haben sich vier Hauptkategorien der Definition künstlicher Intelligenz entwickelt: (1) Menschliches Denken und (2) Verhalten, (3) rationales Denken und (4) Handeln. Ray Kurzweil definiert sie als “die Kunst, Maschinen zu erschaffen, die Funktionen erfüllen, die, wenn sie vom Menschen ausgeführt werden, Intelligenz erfordern” (Russel & Norvig, 2012, S. 23). Die Verarbeitung der natürlichen Sprache, die die Möglichkeit bietet, sich an menschlichen Gesprächen zu beteiligen, die Intelligenz erfordern, ist Teil der Kategorie (2) Menschliches Verhalten. Im Hinblick auf den Umfang dieses Berichts ist es unnötig, sich zu sehr in eine philosophische Diskussion über Definitionsproblematiken zu begeben.

Ein grosses Problem ist die fehlende Definition von sprachgesteuerten Systemen und verschiedenen verwendeten Namen oder Bezeichnungen, was die systematische Literaturrecherche erschwert. Substantive zur Beschreibung dieser Systeme sind Assistent, Agent, KI oder das Suffix -bot (als Chatbot bezeichnet), erweitert um ein bis drei Adjektive wie intelligent, virtuell, voice, mobil, digital, dialogorientiert, persönlich oder Chat, je nach Kontext. Die Vielfalt der Namen und das Fehlen von Definitionen erschweren die Forschung und die Vergleichbarkeit, insbesondere bei der Bewertung (Jian, 2015; Weston, 2015). Es wird hier davon ausgegangen, dass sprachgesteuerte, Conversational AI wie Siri oder Alexa als sogenannte schwache KI-Systeme eingestuft werden und dem Bereich Natural Language Understanding und Natural Language Processing zugeordnet. Sie werden in dieser Studie mit dem Überbegriff Conversational AI benannt (Russel & Norvig, 2012). Für eine ausführliche Diskussion über die Definition künstlicher Intelligenz jenseits der Nomenklatur von Conversational AI, siehe Bryson (2019) und Wang (2019).

Verwandte Forschung

Nach Hernandez-Orallo (2016) ist Evaluierung die Grundlage allen Fortschritts. Daher ist sie ein kritischer Teil für die KI-Forschung und -Praxis, um nicht nur ihre Produkte und Methoden zu bewerten, sondern auch die Evaluierungspraktiken an sich zu diskutieren und zu vergleichen.

Forscher, Fachleute und andere haben Versuche unternommen, digitale Assistenten zu messen und zu vergleichen, vor allem mit digitalen Assistenten, wie zum Beispiel Siri (als Teil des Betriebssystems von Apple) oder Google Now (von Google entwickelt) oder auch mit allgemeinen Suchmaschinen. Solche Tests haben unterschiedliche Perspektiven. Zwischen oder innerhalb von digitalen Assistenten, zwischen Menschen und digitalen Assistenten, die künstliche mit menschlicher Intelligenz vergleichen.

Die Landschaft des Testens oder der Bewertung von KI-gesteuerten Systemen ist recht heterogen, was die Bemühungen um einen meta-analytischen Ansatz erschwert. Sie unterscheiden sich wie folgt:

• Testobjekte
  • Nomenklatur (z.B. intelligente Agenten, PDAs)
  • Programm und Gerät (z.B. Sprache oder Text)
• Verhaltensvielfalt
  • Reaktiv (z.B. Beantwortung einer Frage)
  • Proaktiv (z.B. Verkehrswarnungen)
• Kommunikationsstruktur
  • Multi-Turn
  • Single-Turn
• Ausgabevielfalt
  • Ausführen einer Aufgabe
  • Bestätigung zur Ausführung
  • Bitten um weitere Informationen
  • Bereitstellung von Optionen
  • Websuche durchführen
  • Systemfehler melden
  • Keine Aktion (Rückkehr zur Schnittstelle).
• Bewertungsniveau
  • Sprachverständnis
  • Sprachverarbeitung / Entscheidungsprozess
  • End-to-End, Ausgangsauswertung
• Abfragevielfalt
  • Fragen und Antworten
  • Befehle
  • Chit-Chat
• Ausgabeformular
  • Sprache
  • Text
  • Medien
  • Keine Antwort
• Bewertungskennzahlen
  • Quantitativ
  • Qualitativ
  • Gemischte Methoden

Feng und Shi (2014) schlagen ein Konzept für einen Internet-IQ vor, indem sie eine Testfragenbank verwenden (2014 Intelligence Scale). Es wurden sieben Suchmaschinen wie Google oder Bing sowie 20 Kinder unterschiedlichen Alters getestet. Fragen im Test zielen auf Allgemeinwissen, Übersetzung, Berechnung, Ranking, Aufgaben oder das Erstellen und Auswählen von Informationen. Diese Fragen spiegeln die Verfahren der psychometrischen IQ-Tests wider. Eine Kategorie ist die Fähigkeit, eine Auswahl zu treffen, die Fragen wie:

Please select a different one from snake, tree, tiger, dog and rabbit.

Please select a different one from the earth, Mars, Venus, Mercury and the sun.

Neben dem Ausdruck über Zeichen und Ton wird die Fähigkeit zur Beantwortung über Bilder gemessen, z.B. durch

Input the character string “How much is 1 plus 1, please answer via pictures”, check the testing search engine whether can express the answer via pictures or not

Es fehlen jedoch einige Kategorien, die für die Intelligenz wesentlich sind, wie z.B. das Gedächtnis. Darüber hinaus kann eine dichotome richtige und falsche Bewertung nicht ausreichend sein. In einem noch laufenden Folgeprojekt führt diese Forschungsgruppe Intelligenztests mit digitalen Assistenten wie Siri und Google durch und schlägt ein Standard-Intelligenzmodell vor, das für Menschen und Maschinen verwendet werden kann. Ihr theoretisches Modell umfasst vier Hauptdimensionen: erwerben, beherrschen, Wissen schaffen und Feedback geben (Liu, Shi & Liu, 2017).

Weston et al. (2015) schlagen ein mehrstufiges Bewertungssystem mit einer Speicherkomponente vor, das sich auf Methoden zur Messung der Fortschritte beim maschinellen Lernen konzentriert, insbesondere auf das Leseverständnis durch Frage- und Antwortbatterien. Ein Ziel ist es unter anderem, Fehler in allen sprachgesteuerten Systemen zu entdecken und zu verbessern. Es wurden 20 Aufgaben entwickelt, wie Ja/Nein-Fragen, Zeitverständnis oder Tests für Zusammenhänge, wobei sich ein Pronomen auf mehrere Akteure bezieht:

Daniel and Sandra journeyed to the office. Then they went to the garden. Sandra and John travelled to the kitchen. After that they moved to the hallway. Where is Daniel? ⇒ Answer: garden

Dieses laufende Projekt von Facebook AI Research zielt auf automatisches Textverständnis und Argumentation und ist auf Github (dem bAbl-Projekt) verfügbar. Die Datensätze sind nicht wirklich auf öffentlich zugängliche Conversational AI wie beispielsweise Cortana von Microsoft anwendbar, da die Komplexität zu hoch ist.

Um die Systemleistung von Cortana zu messen, berichten Sarikaya et al. (2016) über eine Reihe von Experimenten in Bezug auf die folgenden, ausgewählten Aufgaben oder Bereiche: Alarm, Kalender, Kommunikation, Geräteeinstellung, Dokument, Unterhaltung, Local, Erinnerung, Wetter und Web. Die Bewertung wurde auf drei Ebenen durchgeführt: natürliches Sprachverständnis, Hypothesenranking und -auswahl und end-to-end Systemgenauigkeit (E2E). E2E Aufgabenerfolg scheint ein interessanter und vielversprechender Ansatz zu sein, der menschliches Urteilsvermögen verwendet, um Erfolg und Zufriedenheit mit der Interaktion zu messen. Eine Beispielaufgabe ist “Löschen meines 6 Uhr Alarms” in der Alarmdomäne.

Eine zentrale Herausforderung, insbesondere im Hinblick auf Conversational AI, sind die Erwartungen der Nutzer: “Aus Anwendersicht ist die High-Level-Anforderung, dass eine Conversational AI alles verstehen und fast alles tun kann, während Entwickler darauf abzielen, die Erwartungen der Benutzer zu erfüllen oder zu übertreffen, aber zu akzeptablen Kosten” (Sarikaya, 2016, S. 391).

Um diese Herausforderungen zu lösen, schlägt Jian et al. (2015) einen anderen, automatisierten Ansatz für das Testen von intelligenten Assistenten vor, indem er die Benutzererfahrung als Erfolgsmessung auswertet. Ihr Modell zielt darauf ab, die Benutzerzufriedenheit auf der Grundlage von Benutzerinteraktionsmustern vorherzusagen. Jian et al. konzentrieren sich auf intelligente Assistenten (z.B. Siri, Alexa), um drei Funktionalitäten zu bestimmen: Dialog (Sprachbefehle), Websuche über Spracheingabe und Chat (Chat zur Unterhaltung der Benutzer). In ihrer Studie wurden proaktive Vorschläge nicht berücksichtigt. In ihrer Benutzerstudie testeten 60 Teilnehmer Cortana, den intelligenten Assistenten von Microsoft, basierend auf ihren vordefinierten Fragen in einem gemischten Methodendesign, darunter Fragen wie “Wie gut hat Cortana erkannt, was Sie gesagt haben” oder “Wie gut hat Cortana Ihre Absicht verstanden”. Konkret sind die definierten Handlungen von Conversational AI interessant, die als guter Indikator dafür dienen, wozu eine Conversational AI fähig sein sollte: Ausführen einer Aufgabe, Bestätigen der Ausführung, Abfragen weiterer Informationen, Bereitstellen von Optionen, Ausführen einer Websuche, Melden eines Systemfehlers, keine Aktion (Zurückkehren zur Oberfläche). Ihr funktionaler Ansatz ist sehr nützlich, wenn es um User Experience und Entwicklung geht. Aus interdisziplinärer Sicht fehlt in dieser Studie ein allgemeiner, integrierter Rahmen für Intelligenz und kognitive Prozesse. Vielmehr geht es darum, den Kalender oder die Anruffunktionen des Telefons zu testen.

Forschungsfrage und Bedeutung

Es wurden eine Vielzahl von Forschungsfragen im Bereich Test und Evaluierung bearbeitet, doch die Unsicherheit, zu was eine KI tatsächlich in der Lage ist, bleibt bestehen, insbesondere in der Öffentlichkeit, ganz zu schweigen von der Tatsache, dass KI per se bis dato nicht eindeutig definiert werden kann. Diese Studie möchte das Testen aus einer interdisziplinären, verhaltensorientierten Perspektive angehen, wobei der Schwerpunkt auf digitalen Assistenten liegt. Was können Conversational AIs tatsächlich leisten?

Diese Forschung trägt zu vier Bereichen bei: Zunächst untersuchen wir Theorien und Erkenntnisse über Conversational AI fachübergreifend in Wissenschaft und Praxis, also in der breiten Öffentlichkeit. Daher zielt diese Studie darauf ab, das Wissen in angewandter Psychologie, Mensch-Maschine-Interaktion, Informatik und Technologiemanagement zu erweitern. Zweitens wollen wir die aktuelle Literatur erweitern, indem wir einen psychometrischen, verhaltensorientierten (behavioristischen) End-to-End-Nutzeransatz verfolgen. Drittens können unsere Ergebnisse auf dreifache Weise genutzt werden: aus der Entwicklerperspektive (Testen und Verbessern von Produkten), aus der Geschäftsperspektive (als Benchmark) und aus der eher akademischen Perspektive (Verfolgen der Entwicklung über die Zeit). Viertens wollen wir den Nutzen und die Notwendigkeit von einem offiziell anerkannten Standard diskutieren.

Einordnung in den Forschungskontext

Das Forschungsprojekt A-IQ, als Messung von Leistung, ist Teil eines Gesamtkonzepts, welches die Rolle von Vertrauen in Künstliche Intelligenz untersucht. Es wird diskutiert, ob diese Idee als Instrument zur Förderung des Vertrauens in die angewandte KI durch eine Leistungsmessung, einen Einfluss hat (nach Lee & See, 2004). Des Weiteren soll in Folgeprojekten untersucht werden, welche Unterschiede sich bei der menschlichen Einschätzung der Fähigkeiten im Gegensatz zu den eigentlichen Fähigkeiten ergeben und welchen Einfluss dies auf Akzeptanz und Vertrauen haben (zu anderen Kennzahlen und Vertrauensindikatoren wie Prozess und Zweck und dem Anbieter, siehe Hengstler et al., 2015).

Beitrag zu Forschung und Praxis: Caveat

Um eine gemeinsame Basis zu schaffen, erfordert die Forschung an künstlicher Intelligenz daher zwangsläufig einen interdisziplinären Ansatz (Stone, 2016; Nilsson, 2010). Die vorliegende Studie konzentriert sich vor allem auf die Perspektiven der Psychologie und Informatik unter Berücksichtigung wirtschaftlicher Gesichtspunkte.

Alle Testergebnisse, ob in der Forschung oder im Unterhaltungs- oder Produkttest (unter vielen, siehe z.B. Dunn, 2017), müssen jedoch mit Vorsicht und Skepsis gelesen werden. Oftmals fehlt es an einer fundierten Konzeptualisierung oder Operationalisierung der Intelligenz. So behindert beispielsweise die Nichtveröffentlichung der Methodik die Reproduktion und die korrekte Beurteilung. Unter Berücksichtigung wissenschaftlich valider Intelligenz Tests für Menschen, werden sie je nach Alter, Kultur, Sprache oder Behinderung immer an spezifische Zielgruppen angepasst. Daher ist es offensichtlich unsinnig, einfach irgendeinen gültigen IQ-Test, wie die Wechsler Intelligence Scale, zum Testen von Fähigkeiten der künstlichen Intelligenz zu verwenden.

Um Aussagen wie Siri’s IQ ist nur 30 oder Siri hat den IQ eines 5-Jährigen zu vermeiden, ist es notwendig, die Art und Weise zu überdenken, wie künstliche Intelligenz gemessen und in den entsprechenden Kontext gestellt wird. Die Prüfung der menschlichen Intelligenz war ein sehr kontroverses Thema und hat dramatische Veränderungen in der Geschichte durchlaufen und ist daher ein Thema, das nicht auf die leichte Schulter genommen werden sollte (Zimbardo, Gerrig & Graf 2008; Kaufman & Sternberg 2010).

Unser Forschungsprojekt zielt darauf ab, die Veränderungen der KI-Fähigkeiten nach akademischen Standards zu verstehen, zu messen, zu vergleichen und zu verfolgen. Daher ist es wichtig, sich nicht der Testmethodik zu nähern, indem man einfach einen Intelligenz Tests auf eine KI anwendet. Um sinnvolle Aussagen über die Fähigkeiten einer Conversational AI zu machen, muss ein Intelligenztest für diese von Grund auf neu erstellt werden, unabhängig von der technischen Umgebung, und doch sollte er mit den menschlichen Fähigkeiten gewissermassen vergleichbar sein. Diese digitalen Assistenten wurden entwickelt, um Menschen bei verschiedenen Aufgaben mit unterschiedlicher Komplexität zu unterstützen. Wir glauben, dass ein natürlicher Umgang und eine natürliche Interaktion durch Sprache unerlässlich sind, um die Möglichkeiten, die die Interaktion zwischen Menschen und Maschine bietet, bestmöglich zu nutzen. Der Grund für die Anpassung von Tests der menschlichen Intelligenz an Maschinen ist das Potential für die Verbesserung dieser Interaktion. Während jedoch menschliche Intelligenz Tests ein Mass für angeborene, stabile mentale Fähigkeiten sind, dient der A-IQ als Mass für den Status-quo und unterliegt einem inkrementellen, schnellen Wachstum.

Diese Forschung will auch eine weitere Diskussion darüber anregen, wie Maschinen und Menschen Probleme verarbeiten. Wie kann ein schwaches KI-System, wie bei Siri oder Alexa, von den verschiedenen Formen des menschlichen Denkens und Problemlösens profitieren, die im Zentrum der menschlichen Intelligenztests stehen?

Framework: Interdisciplinary Artificial Intelligence Domains

Um die künstliche Intelligenz aus einer interdisziplinären Perspektive zu verstehen, wurde der grosse Korpus der psychologischen akademischen Literatur zur menschlichen Intelligenz konfrontiert. Voraussetzung und damit der erste Schritt für die Entwicklung eines A-IQ-Tests ist die Ableitung eines Intelligenz Konzepts. Dieses Framework wird als ein System von Fähigkeiten verstanden, um Ideen (Fragen, Befehle zum Beispiel) in einem bestimmten Umfeld zu verstehen (z.B. Informationen in einen Kontext stellen) und aus Erfahrungen zu lernen. Dazu gehört es, Informationen als Erfahrung zu verarbeiten (z.B. etwas, das vorher gelernt wurde) und sich mit Argumenten zur Problemlösung zu beschäftigen (z.B. um Fragen zu beantworten oder Aufgaben zu lösen). Dieses Framework wurde speziell an den KI-Kontext angepasst.

Die folgenden Domänen der künstlichen Intelligenz repräsentieren dieses System von Fähigkeiten. Die Kategorien wurden auf der Grundlage anerkannter Intelligenztheorien von Cattel & Horn, Kaufmann & Sternberg sowie überlappender Bereiche zu den Theorien von Terman, Gardner, und Guilford ausgewählt (Zimbardo, Gerrig & Graf 2008; Kaufman & Sternberg, 2010).

Ein wesentlicher Faktor war die Überlegung, ob die Domäne für die aktuelle KI-Testumgebung relevant ist. Aus diesem Grund wurden Mosaik-Tests zu visuellen oder räumlichen Fähigkeiten ausgeschlossen, aber nicht für immer, da die Fortschritte in der Computervision bemerkenswert sind und die Einbeziehung dieser Fähigkeiten in der Zukunft zu erwarten ist. Auch Fragen der intra- und interpersonellen Intelligenz (Konzepte wie emotionale Intelligenz oder Empathie) haben in dieser Studie keine Relevanz (Liu & Shi 2017). Ob diese Fähigkeiten in Zukunft relevant sind, ist fraglich und wird sehr kritisch betrachtet.

Die KI-Domänen zielen auf die Messung spezifischer Fähigkeiten ab, die alle einzeln mit unterschiedlicher Bedeutung zum Gesamtkonzept der interdisziplinären künstlichen Intelligenz beitragen. Das Framework integriert sieben Kategorien: Explizites Wissen, Sprachbegabung, numerisches und verbales Denken, Arbeitsgedächtnis, kreatives und kritisches Denken, wie in der folgenden Tabelle erläutert. Die Englische Nomenklatur wird beibehalten, um Verzerrungen bei der Übersetzung zu vermeiden (Zimbardo, Gerrig & Graf 2008, Kaufman & Sternberg 2010).

Methode

Der folgende Abschnitt beschreibt die verschiedenen Schritte der Studie. Zunächst wurde ein Framework zu den Artificial Intelligence Domains entwickelt. Zweitens wurden die verschiedenen Bereiche durch die Entwicklung der Interdisciplinary Artificial Intelligence Quotient Scale, die hiermit als iA-IQs Skala bezeichnet wird, operationalisiert. Mehrere Pilotversuche wurden durchgeführt, um die Items zu überprüfen. Schliesslich wurden A-IQ-Tests mit allgemein bekannten digitalen Assistenten sowie mit einer menschlichen und unterentwickelten Conversational AI aus internen Vergleichsgründen durchgeführt. Die Ergebnisse werden als Key Performance Indicators (KPI) auf Gesamt- und Domänenebene sowie als A-IQ dargestellt.

Testaufbau: iAIQs-Skala

Die iAIQs-Skala spiegelt klassische Intelligenztestverfahren aus akademisch konstruierten, psychometrischen IQ-Tests wider.

Operationalisierung

Der Fragebogen besteht aus 62 Elementen, die den sieben Bereichen der Artificial Intelligence Domains zugeordnet sind. Die Domains werden durch vier bis maximal 28 Elemente operationalisiert. Die Hauptfelder Explicit Knowledge, Verbal Reasoning und Numerical Reasoning (Explizites Wissen, Verbales und Numerisches Denken) sind aus der Wechsler Adult Intelligence Scale (Sternberg, 1994) übernommen. Die Domäne Creative Thinking (Kreatives Denken) basiert auf dem Torrance Test of Creative Thinking (Ball & Torrance 1984). Working Memory, Critical Thinking und Language Aptitude (Arbeitsgedächtnis, kritisches Denken und Sprachbegabung) werden von den Forschern dieses Projekts entwickelt. Die Domain Working Memory, definiert als die Fähigkeit, Informationen vorübergehend zur Verarbeitung bereitzuhalten wurde wie folgt operationalisiert: Es wurden Fragebatterien erstellt, die mindestens eine Folgefrage zu einer nicht bewerteten Startfrage enthalten. Die Folgefragen haben unterschiedliche Schwerpunkte, z.B. bezieht sich die Folgefrage auf die erste Frage oder die Folgefrage auf die erste Antwort (z.B. Wechsel von Subjekt und Objekt). Ein weiteres Szenario ist, dass sich die vierte Folgefrage auf das Thema der dritten Folgefrage bezieht.

Der Bereich Critical Thinking wurde mit Hilfe von Homonymen operationalisiert. Daher muss der digitale Assistent verstehen, dass ein Wort, z.B. a crane (engl.) eine Maschine oder ein Vogel sein kann, d.h. es gibt mehrere Lösungen und die Aufgabe misst, inwieweit die Conversational AI in der Lage ist, Fragen zu bewerten und zu untersuchen. Die folgenden Tabellen geben Beispiele dafür, wie die Domänen operationalisiert wurden. Der Test wurde in Englisch durchgeführt, daher bleiben die Items in der Ausgangssprache, um Verzerrungen bei der Übersetzung zu vermeiden.

Antwort Evaluation

Für diese Forschungszwecke werden die Ergebnisse ausgewertet und in einer Datenbank dargestellt. Einzigartig in dieser Studie ist die ausgearbeitete Bewertung durch verschiedene Antwortkategorien, zum Beispiel: Wissen versus Verständnis. Das bedeutet, dass die Antwort richtig sein kann, aber Verständnis ist falsch und umgekehrt könnte man das Konzept verstehen, aber der Antwort ist falsch. Jede Antwortkategorie hat mehrere Subkategorien, denen jeweils eine Einzelbewertung zugeordnet ist, um ein noch detaillierteres und genaueres Ergebnis zu erzielen.

Wiederholen (Repeat) zum Beispiel, hat vier Unterkategorien: Keine Wiederholung, gleiche Frage wiederholen, mit Modifikation und mehr als drei Wiederholungen. Pilotversuche haben gezeigt, dass dies notwendig war, um eine angemessene Bewertung zu gewährleisten, wenn nur geringfügige Änderungen erforderlich waren, um die richtige Antwort zu erhalten oder um festzustellen, an welchem Punkt die Frage fehlgeschlagen ist (z.B. anstelle einer Zeitregel, welche nur 30 Sekunden zulässt).

Alle Items sind gewichtet. Diese Gewichtung soll eine relative, subjektive Bedeutung innerhalb der Gesamtbewertung widerspiegeln.

Die Kombination aus gewichteten Fragen und mehrstufiger Auswertung der Beantwortung führt zu einem Key Performance Indicator (KPI). Jedes Item erhält eine bestimmte Punktzahl. Jede Kategorie besteht aus mindestens vier Items. Der Durchschnittswert der Items stellt den Score der Intelligenz Kategorie dar. Der Durchschnitt der Scores der Intelligenz Kategorien ergibt den KPI:

question_quality_n = importance_n × average(repeat_n, knowledge_n, understanding_n, delivery_n)

Aus dem KPI wird der tatsächliche A-IQ abgeleitet. Ziel ist es, einen konzeptionellen Wert ähnlich der Berechnung der aktuellen IQ-Formulierung zu haben. Berechnungsgrundlage sind nur die Kernprodukte (basierend auf Zimbardo, Gerrig und Graf 2008).

kpi_product_n = average(question_quality₁, question_quality₂, … question_quality_n)

aiq_product_n = (100 ÷ (sum(kpi_product₁, kpi_product₂, … kpi_product_n) ÷ count(products))) × kpi_product_n

Dieses Modell ermöglicht sowohl den Vergleich zwischen den Kategorien als auch den Vergleich der Gesamtleistung. Das übergeordnete Ziel ist es, eine Aussage über den Intelligenz Quotienten einer Conversational AI als zuverlässiges Mass für die allgemeine Leistungsfähigkeit zu treffen. Darüber hinaus kann die fortschreitende Entwicklung der Gesamtleistung oder innerhalb bestimmter Kategorien über die Zeit verfolgt werden. Der KPI ist vollständig rückwärtskompatibel, was den Vergleich früherer Tests mit modifizierter Struktur ermöglicht.

Teilnehmer und Testdurchführung

Mehrere Tests (und Pilotversuche) wurden mit allgemein bekannten, öffentlich zugänglichen digitalen Assistenten erstellt und durchgeführt. Die Forscher stellten die Fragen persönlich an das Endgerät, wie ein iPhone oder dem Amazon Echo-Show. Die Antworten wurden nach den Bewertungskriterien gleichzeitig in einer separaten Datei ausgewertet. Die Kernprodukte dieser Tests waren Google Now (von Google), Siri (von Apple), Alexa (von Amazon) und Cortana (von Microsoft). Die Tests wurden auf modernsten Geräten mit aktueller Firmware durchgeführt. Um Fairness und einen objektiven Vergleich der allgemeinen Leistungsfähigkeit zu gewährleisten, werden Tests unabhängig vom jeweiligen Ökosystem durchgeführt, d.h. es werden keine zusätzlichen Apps installiert oder verwendet, sondern nur das Kernsystem ist Ziel des Tests.

Darüber hinaus wurden zwei menschliche Teilnehmer (weiblich, 29 Jahre und männlich, 36 Jahre) in die Testgruppe aufgenommen, um Vergleich und Kontext zu ermöglichen. Zusätzlich wurde Cleverbot, ein bekannter öffentlicher Chatbot, hinzugefügt. Mit diesen zusätzlichen Tests können wir eine allgemeine Gültigkeit und Anwendbarkeit der Prüfung diskutieren. Die abschliessende Analyse konzentriert sich auf die Kernprodukte.

Integration der Bloom-Taxonomie

Darüber hinaus verfolgen wir einen innovativen Ansatz, bei dem unterschiedliche Denkformen klassifiziert werden. Diese Formen folgen der Bloom’s Taxonomie, die ein Theorem aus den Bildungswissenschaften ist (Bloom & Anderson, 2014). Dies ist eher ein konzeptionelles Unterfangen, gibt aber eine neue Perspektive darauf, zu welchen “kognitiven Prozessen” eine Conversational AI fähig ist und wie sie klassifiziert werden kann und vor allem, wie Denkstile bewertet werden können. Bloom unterscheidet sechs verschiedene Kategorien, die von Fertigkeiten niedrigerer bis höhere Ordnung eingestuft werden. Es beginnt am unteren Ende einer Pyramide mit erinnern, verstehen, anwenden, anwenden und analysieren, bewerten und kreieren auf der oberen Seite.

Alle Elemente der A-IQ-Skala erhalten einen passenden Denkstil. So werden beispielsweise alle Fragen der Domäne Explizites Wissen der Einheit Erinnern zugeordnet, die den unteren Teil der Pyramide und eine Denkfähigkeit niedrigerer Ordnung darstellt. Erinnern beinhaltet mechanische mentale Prozesse, wie z.B. Erkennen, Auflisten, Beschreiben, Benennen. Auf der Spitze der Pyramide befinden sich die Denkfähigkeiten höherer Ordnung, das Schaffen, das Ursprungsprozesse wie Erfinden, Gestalten, Konstruieren beinhaltet. Die Domäne Kreatives Denken wird dann dieser Denkfähigkeit logisch zugeordnet.

Unser vorgeschlagenes Modell der künstlichen Intelligenz basiert nicht nur auf gängigen Intelligenztheorien, sondern ist zusätzlich in die von B. Bloom allgemein akzeptierte Theorie eingebettet. Wir sehen erhebliche Vorteile in der Integration der Theorien. Es ermöglicht einen sinnvollen Vergleich mit menschlichen mentalen Prozessen, um realistisch zu bleiben, und soll vor Über- oder Unterschätzungen von KI-Fähigkeiten warnen.

Ergebnisse

Die Ergebnisse werden aus zwei Perspektiven beschrieben: die Gesamtleistung mit Fokus auf den A-IQ und der Key Performance Indicator (KPI) zum Vergleich der Gesamtleistung. Dann wird eine tiefere Überprüfung pro Bereich vorgestellt, um Aufschluss über individuelle Unterschiede zu geben.

Vergleich der Gesamtfähigkeiten

Die Ergebnisse zeigen, dass die KPIs von 15,6 (Alexa) bis 22,8 (Siri) reichen, wobei das Maximum 40,5 (Minimum ist 0) beträgt. Siri, Google Now und Cortana haben ähnliche Abweichungen vom Mittelwert, was zeigt, dass der Mittelwert eine recht angemessene Messung ist (weniger extreme Ergebnisse, die die Genauigkeit des Mittelwerts verfälschen). Alexa weist jedoch extremere Ergebnisse auf, was bedeutet, dass diese Datenpunkte sehr weit voneinander entfernt sind. Die Antwortverteilung von Alexa ist heterogener. Diese “Ausreisser” werden nicht als falsche Datenblätter oder experimentelle Fehler behandelt, sie sind ein eindeutiges Scheitern der Ausführung. Betrachtet man die Standardabweichung des KPI, so kann man spezifische Schwachstellen auf Domain-Ebene identifizieren.

Wir haben ausserdem den A-IQ berechnet, der einen symbolischen Wert darstellen soll, um Fähigkeiten so kommunizieren, dass sie implizit verstanden wird, ohne die Mathematik zu kennen. Zur Erklärung: Im Allgemeinen ist 100 eine durchschnittliche, normale Leistung. Über 120 IQ Punkte sind begabte, überdurchschnittliche oder überlegene Fähigkeiten. Unter 80 ist verzögert, unterdurchschnittlich, unterentwickelte Fähigkeiten.

Die Kernprodukte liegen zwischen 81 (Alexa) und 118 (Siri). Keines dieser Kernprodukte weist eine verschlechterte oder überlegene Leistung auf. Um die Wirksamkeit unserer Skala zu testen, haben wir auch zwei Menschen getestet, die überragende Fähigkeiten von etwa 140 und eine unterentwickelte KI (Cleverbot) aufweisen, die mangelhafte Fähigkeiten unter 50 zeigt. Dies deutet darauf hin, dass die Anwendbarkeit der Skala für die Kernprodukte passend sind.

Vergleich der Fähigkeiten auf Domain-Level

Die Leistung der digitalen Assistenten ist innerhalb der Kategorien Verbales und Numerisches Denken mit einem Abweichungsbereich von <20% recht ähnlich. Innerhalb der anderen Kategorien beträgt die Abweichung >20%.

Explicit Knowledge

Cortana weist aussergewöhnliche Ergebnisse im Bereich des expliziten Wissens auf. Das bedeutet, dass direkte, korrekte Antworten gesprochen und mit zusätzlichen multimedialen Informationen gegeben wurden.

Language Aptitude

Alexa zeigt eine schwache Leistung, da es keine Fähigkeit gibt, eine Sprache zu erkennen oder einfache Übersetzungen zu erstellen. Dazu muss eine Übersetzungsskill (eine zusätzliche App) heruntergeladen werden. Siri bietet die Übersetzung als Kerndienstleistung an und erkennt ein Fremdwort korrekt, kann aber nicht gesprochen antworten. Einfache Wörter und Sätze werden von Siri, Google Now und Cortana problemlos korrekt übersetzt.

Numerical Reasoning

Das Berechnen in verschiedenen Währungen oder Objekten wird insgesamt gut verstanden. Alexa war die Einzige, die der Frage, was sind 10% von 10 Schuhen, einen richtigen Anstoss gab und zusätzlich erklärte, dass dies die Antwort sein “könnte”, was bedeutet, dass es sich um eine Art Sicherheitsschwelle handelt. Keiner der Digitalen Assistenten konnte mit Zahlen durch Wörter umgehen, aber Google Now und Siri führten in einigen Fällen eine gute Websuche durch, die zur richtigen Antwort führte.

Verbal Reasoning

Die “mechanischen” Elemente werden alle sehr gut ausgeführt, wie z.B. Rechtschreibung oder Wortdefinitionen. Keiner der digitalen Assistenten kann logische Überlegungen anstellen oder Multiple-Choice-Fragen beantworten. Google Now hat bei der Definition von Redewendungen besonders gut abgeschnitten.

Working Memory

Alexa hat sehr schwach abgeschnitten, da es keine allgemeine Fähigkeit zur Speicherung von Informationen oder Kontexten gibt (obwohl ein To-Do-Listen-Kernfunktion verfügbar wäre). Cortana war in der Lage, eine bestimmte Information zu speichern und abzurufen. Siri zeichnet sich durch eine hohe Rechenleistung über viele Runden (Addition und Subtraktion) aus und verweist bei inhaltlichen Fragen auf frühere Inhalte. Google Now konnte über mehr als eine Sitzung hinweg addieren, aber nicht subtrahieren.

Creative Thinking

Keiner der digitalen Assistenten war in der Lage, mehrere Lösungen für eine Frage zu finden, Siri und Google Now punkten aufgrund der guten Websuche unwesentlich.

Critical Thinking

Alexa war die einzige Conversational AI, die Mehrdeutigkeiten innerhalb der Frage erkannte und mehrere Lösungen entwickelte. Keiner der anderen zeigte eine ähnliche Leistung. Selbst wenn eine von mehreren Antworten richtig war, wurde das Konzept als nicht verstanden bewertet.

Zusammenfassung der Ergebnisse

Was digitale Assistenten können:

Was digitale Assistenten manchmal und/oder teilweise können:

Was digitale Assistenten (noch) nicht können:

Diskussion

Auffällige, eigentümliche Vorfälle in Bezug auf Testaufbau und -durchführung sind zu diskutieren.

Explicit Knowledge

Es wurde erwartet, dass Conversational AI bei lexikalischen oder Definitionsfragen oder mechanischen Fragen wie der Rechtschreibung, die eine wichtige Kategorie für menschliche Intelligenztests ist, gut abschneidet. Aber wenn eine Kombination aus Informationsbeschaffung erforderlich ist oder die Frage anders gestellt wird als ein klassisches, definiertes Frage-Antwortformat “What is xyz”, unterscheidet sich die Leistung, obwohl die Fragen eher einfach sind und die Antwort im Internet leicht zugänglich ist. Es geht anscheinend nicht darum, nicht zu wissen, sondern darum, wie der Mensch mit der Conversational AI kommuniziert. In einigen Fällen, wenn die Frage in “tell me” oder “explain me” geändert wurde, wurde ein besseres Ergebnis erzielt, da ein Wechsel im Delivery-Modus provoziert wurde (Sprache plus zusätzliche Medien wird höher bewertet, als eine Websuche). Man könnte meinen, dass der Benutzer die Conversational AI “motivieren” muss, per Sprache zu liefern. Eine kritische Frage erscheint: Muss die Conversational AI lernen, die Fragen zu verstehen, oder sollten sich die Benutzer anpassen, um die Antworten zu erhalten? Es ist interessant, dass Cortana bei lexikalischem Wissen am besten abschneidet, denn Daten, Wissen und Suche sind traditionell die Domäne von Google.

Logisches Schliessen und Kommunikation

Die Bereiche Verbale, Numerisches Schliessen und Arbeitsgedächtnis sind nicht gut implementiert. Diese Bereiche sind jedoch eng miteinander verbunden und basieren alle auf verbalem Verständnis. Es ist eine grosse Herausforderung, verbales Verständnis im Rahmen der Conversational AI zu definieren. Zum Beispiel kann Google Now ein Rätsel lösen, aber wenn man die Zahlen oder Wörter nur geringfügig ändert, schlägt es fehl. Zuerst ist die Antwort richtig, weil sie irgendwo im Internet zu finden ist, aber mit Änderungen in der Formulierung zeigen die Ergebnisse, dass es kein Verständnis gibt, obwohl die Antwort richtig ist. Ob dies “intelligent” oder Lernfortschritt ist, muss diskutiert werden. Wenn ein Student die Antwort auf ein Rätsel gelernt oder durch Denken verstanden hat, ist das ein anderer Ansatz, aber im schulischen Kontext könnten beide als intelligent etikettiert werden bzw. konnte das richtige Ergebnis erzielt werden, da der eine das Problem durch Denken gelöst hat, der andere durch Lernen. Es ist wie das Lösen des Rubric-Würfels: Der eine versteht, indem er die Schritte lernt, der andere versucht, ohne Modelle auskommen zu können. Ob das eine mehr oder weniger intelligent ist, muss zur Diskussion gestellt werden. Diese Frage ist auch für den Bereich des Arbeitsgedächtnisses relevant. Für die meisten Menschen ab 3 Jahren ist es eine einfache Aufgabe, sich an Zahlen zu erinnern oder sich an kleine Informationen zu erinnern. Dies scheint jedoch eine grosse Herausforderung für die digitalen Assistenten zu sein. Dies kann auf unsere Testkonfigurationen zurückzuführen sein. Es ist möglich, spezifische Apps zu installieren oder wenn die Frage sich auf ein Kernfeature im bestehenden Ökosystem bezieht, existiert diese Kapazität. Zum Beispiel kann sich Siri daran erinnern und abrufen, wo das Auto geparkt wurde. Überraschenderweise war Cortana in der Lage, eine zufällige Information zu speichern und wiederherzustellen. Dass Conversational AI diese Anwendung nicht implementiert haben, kann auch ein Schutzmechanismus sein, um Katastrophen zu vermeiden, ähnlich dem Vorfall mit Microsofts Chatbot Tay, der missbraucht wurde, um unethische Inhalte zu wiederholen oder lernen (Tschopp, 2018). Ein weiterer seltsamer Vorfall ist, dass Google Now in der Lage war, eine dritte Frage auf die erste Frage richtig zu beantworten, aber die zweite war aus dem Zusammenhang gerissen, was sehr unlogisch ist. Ausserdem ist es unerklärlich, warum Google Now Zahlen in einer Reihe hinzufügen, aber nicht subtrahieren kann.

Wenn es um die Sprachfähigkeit geht, ist es höchst fragwürdig, warum Conversational AI so schwach in der Erkennung oder Umschaltung zwischen Sprachen sind, auch wenn sie in ihrem System implementiert sind, zum Beispiel Siri oder Alexa. In unserer globalisierten Gesellschaft mit mehrsprachigen Arbeitsbereichen und Beziehungen sollte es wichtig sein, Sprachen zu erkennen oder zwischen ihnen zu wechseln, ohne die Grundeinstellungen manuell ändern zu müssen.

Höheres Ordnungsdenken

Kreatives und kritisches Denken ist eindeutig einer der interessantesten Bereiche, da diese Fertigkeiten weiterhin einzigartige, unerreichbare menschliche Gaben sind. Dies könnte sich jedoch in Zukunft ändern, da sie aktiver werden und selbstständiger handeln (z.B. anstehende Staus ankündigen). Heute reagieren sie als passive Geräte, die den unmittelbaren Bedarf der Anwender decken. Es wird erwartet, dass motivierte Programmierer versuchen, diese “menschlich-unikaten” Fähigkeiten gezielt anzugehen, um gegen den Menschen anzutreten und neue, medienwirksame Schlagzeilen zu generieren.

Einen allgemeinen Standard für die Conversational AI setzen

Von Herstellerseite mag es höchst unnötig erscheinen, all diese Funktionen zu implementieren. Warum braucht eine Conversational AI all diese Fähigkeiten? Ist es notwendig, auf dieser Ebene zu konkurrieren? Man kann argumentieren, dass der digitale Assistent nur innerhalb seines eigenen Anwendungsbereiches arbeiten und funktionieren sollte und dass eine durchgängige Intelligenz, in Form von Fähigkeiten über den Anwendungsbereich hinaus, den Aufwand nicht wert ist. Dieses Thema ist offen für Diskussionen und kontextabhängig. Wir sind davon überzeugt, dass es für alle marktfähigen Produkte einen solchen einheitlichen Intelligenzquotienten geben muss, um die Benutzerfreundlichkeit zu verbessern und die Mensch-Computer-Kommunikation langfristig zu verbessern. Wir gehen davon aus, dass dies einer der entscheidenden Wettbewerbsvorteile sein wird, falls sprachgesteuerte Systeme die Branche dominieren werden. Das bedeutet nicht, dass Unternehmen ihre internen Lösungen teilen müssen, es bedeutet, dass Standards für Intelligenz oder Kommunikationskapazitäten zwischen Mensch und Maschine geschaffen werden muss, an die sich Erfinder oder Programmierer von digitalen Assistenten halten können.

Design, Wahrnehmung, Benutzererfahrung

Schliesslich sollte das Erscheinungsbild einer Conversational AI zur Diskussion stehen. Unternehmen, die mit KI zu tun haben, müssen sich intensiv mit den Auswirkungen des Erscheinungsbildes auseinandersetzen, wie Name oder Geschlecht oder Hardware. Dies war nicht im Fokus unseres Projekts, jedoch wurden einige interessante Erfahrungen festgehalten. Als Beispiel, als wir den Amazon Echo Dot (ohne Bildschirm) zuerst und später die Amazon Echo Show (mit Bildschirm) getestet haben. Wir haben einen Wahrnehmungsunterschied beobachtet, bei dem das Sprechen mit einer schwarzen Box ohne Bildschirm anders ist als mit einem Bildschirm, auf dem die eigenen Worte transkribiert werden. Eine korrekte Antwort von einem bildschirmlosen Gerät löste einen gewissen Überraschungseffekt aus. Bei den anderen digitalen Assistenten oder der Amazon Echo Show mit einem Bildschirm schien dieser Effekt durch den Bildschirm oder die Transkription reduziert. Die “KI-Erfahrung” mit bildschirmlosen Assistenten wirkte klüger, interessanter und damit intelligenter (was allerdings faktisch nicht der Fall ist).

Empfehlungen für künftige Forschung

In den folgenden Abschnitten werden die Schwachstellen der Metriken beschrieben und Ideen für die Folgeforschung vorgeschlagen.

Limitationen bei der Testauswertung

Die iAIQs-Skala wurde mehreren Pilotversuchen und Reviews mit den wichtigsten Produkten und Menschen unterzogen. Fragen und Antwortbewertungen wurden vom ersten Entwurf an geändert und protokolliert. Die Dokumentation ermöglicht es, jeden Schritt zurückzuverfolgen, der unternommen wird, um die Gültigkeit der Skala zu verbessern. Obwohl die mehrstufige, komplexe Antwortauswertung ein Gewinn für die Genauigkeit ist, war ein externer Prüfer mit der Durchführung des A-IQ Tests überfordert. Es schien zu komplex, und die Ergebnisse von externen Prüfern waren nutzlos. Die Prüfer müssen persönlich geschult sein und ein gewisses Verständnis dafür haben. Wir schlagen eine andere alternative Lösung vor, nämlich die Automatisierung des Verfahrens (die iAIQs Testeinheit, siehe unten).

Limitationen in der Methodik

Die grössten Schwierigkeiten liegen in der Methodik des Tests. Dabei liegt der Fokus auf die geringe Validität der Items. Replikationen und Überprüfungen der Elemente mit und ohne automatisierte Prozeduren wären nötig, um die Gültigkeit des Tests zu erhöhen und Leistungsschwankungen zu erklären. Zudem müssen die Items verifiziert und angepasst werden, gerade in der Kategorie Critical Thinking braucht es bessere Evaluationsmethoden, da z.B. die gewählten Warum Fragen viel mehr Wissensfragen sind. Ob sich die Auseinandersetzung mit Homonymen als kritisches Denken operationalisieren lässt ist ausserdem mit Vorsicht zu geniessen.

Zudem ist die Reliabilität sehr fraglich. Die Schwankungen in Ergebnissen zeigt wie wenig robust die Conversational AIs sind, noch dazu mangelt es da an einer sinnvollen Erklärung aus behavioristischer Sicht. Eine integrierte Sicht (nicht nur end-2-end), die die Erklärbarkeit der Hypothesen/ Antwortfindung aufzeigt wäre sinnvoll, jedoch sehr unrealistisch, da dies logischerweise ein gut gehütetes Firmengeheimnis bleiben soll.

Praktische Implikation: Automatisierung von A-IQ-Tests: iAIQs Test Unit

Wir können A-IQ-Tests mit allen Arten von Conversational AI durchgeführen, unabhängig von ihrem Ökosystem: Wir schlagen eine Lösung zur Automatisierung des A-IQ-Testverfahrens vor. Dieses Gerät übernimmt die Rolle des Personal Analyst (Testperson, die den Test nun manuell auswertet). Die Fragen werden automatisch von der Software analysiert. Fragen werden akustisch gestellt und als Audiodaten (z. B. MP3-Datei) gespeichert. Diese Daten werden per speech2text in Transkripte umgewandelt. Dies ermöglicht einen kontinuierlichen Vergleich mit früheren Testergebnissen. Eine distant-based Methode wie Soundex oder Levenshtein kann dann verwendet werden, um inhaltliche Unterschiede zu bestimmen (Knuth, 1972). Abweichungen werden der Forschungsabteilung gemeldet, um Implikationen zu identifizieren und Änderungen der Fähigkeiten zu verfolgen. Prototypsoftware wird bereits verwendet.

Bloom’s Taxonomie im KI-Kontext

Wir schlagen dies als ein aufstrebendes Gebiet vor, das ein Potenzial hat, um den Vergleich zwischen menschlichen und maschinellen mentalen oder kognitiven Prozessen besser zu beleuchten.

Nach der Kumulierung der Punktzahlen in jeder Denkkategorie muss diskutiert werden, dass, obwohl Start und Ziel ziemlich ähnlich sind, es unklar bleibt, warum es keine statische Parallelverbesserung gibt. In einigen Fällen sind Qualitätsveränderungen zu erkennen, die sich in überlappenden Fortschritten zeigen (die sich wie das Analysieren / Bewerten von Cortana / Siri ändern). Die grösste Verbesserung kann in Alexa zwischen Analysieren / Auswerten festgestellt werden. Anwenden und Kreieren sind die schwächsten Funktionen aller aktuellen Implementierungen.

Wir stellen uns vor, dass dieses Modell ein guter Prädiktor für die Erklärung von Verbesserungen der Benutzererfahrung sowie von Verbesserungen der inneren Prozesse sein könnte. Im Gegensatz zu dem Kategoriensystem, wäre es denkbar, dass es weniger Konfliktpotential und Verständnis- bzw. Definitionsprobleme gibt.

Ausblick: Die Entwicklung von Teststandards, Vertrauen und Cybersicherheit kombinieren

Leistung (performance) ist einer der wichtigsten Vertrauensfaktoren, was wiederum ein wichtiger Faktor für die Akzeptanz der Technologie ist (Lee & See, 2004). Im KI-Kontext gibt es verschiedene Gründe, warum Vertrauen zu einem sehr beliebten Forschungsthema geworden ist. Zum Beispiel, wenn im militärischen Kontext Leben gerettet werden können, wo Roboter Menschen in Hochrisikosituationen ersetzen sollen (Yagoda & Gillan, 2012). Vertrauen hat bei der Einführung neuer Märkte, Technologien oder Produkte wie E-Commerce, Fax oder Mobiltelefon schon immer eine grosse Rolle gespielt. Dies wird sich weiterhin auf das geschäftliche und wirtschaftliche Verhalten auswirken, wenn sie beispielsweise den Einsatz digitaler Assistenten wie Alexa in Betracht ziehen, um Lebensmittel einzukaufen. Sicherheitsbedenken (Datenrechte und Datenschutz) nehmen jedoch zu und werden als ein weiterer entscheidender Faktor (Prozesse) angesehen, weshalb Benutzer sprachbasierten Assistenten skeptisch gegenüber sind. In der Folgeforschung möchte unser Forschungsteam das Konzept des Vertrauens aus psychologischer Sicht vertiefen und relevante Sicherheitsmassnahmen in die KI- und Testlandschaft aufnehmen. Insgesamt wird dies die Festlegung objektiver Teststandards, die Leistung, Prozess und Zweck in Kombination mit Standards für die Informationssicherheit umfassen.

Fazit

Diese Forschung wird durchgeführt, um Schlüsselfragen und Antworten zum Verständnis, zur Messung und zum Vergleich von menschlicher und künstlicher Intelligenz aufzuwerfen. Darüber hinaus soll ein allgemeiner Intelligenzstandard etabliert werden, der von Forschern und Unternehmen angewendet werden kann, die künstliche Intelligenz nutzen (und testen) wollen, wie dies beispielsweise bei digitalen Assistenten im Online-Banking oder im Auto der Fall ist. Die interdisziplinäre Skala für künstliche Intelligenz (iAIQs-Skala) wurde auf der Grundlage der sieben Bereiche des Frameworks für künstliche Intelligenz entwickelt. Darüber hinaus haben wir Wechselbeziehungen zu den Denkprozessen gemäss Bloom’s Taxonomy untersucht und hergestellt, die wir als einen Bereich vorschlagen, in dem mehr Basisarbeit geleistet werden muss.

Der A-IQ gibt einen Überblick über die Fähigkeiten einer Conversational AI. Mit der Automatisierung des Testprozesses setzen wir auch einen effizienten Standard für die Einführung von Tests für künstliche Intelligenz bei anderen Entitäten. Zukünftig schlagen wir weitere Forschung und Zusammenarbeit in jeder Kategorie vor, um die Gültigkeit der Konstrukte weiter zu stärken. Darüber hinaus wird empfohlen, die Zuverlässigkeit des Tests mit verschiedenen Testern über einen längeren Zeitraum zu gewährleisten, um die Auswertung der Antworten zu verbessern. Wir prognostizieren einen raschen Fortschritt in der Praxis und motivieren Forscher und Praktiker, zu dieser Forschung beizutragen und die iAIQs-Skala für ihre eigenen Forschungen oder Produkte zu verwenden, um bessere Ergebnisse zu erzielen, Prognosen zu erstellen und Ideen und Implikationen für die Praxis zu diskutieren.

Dieses Forschungsprojekt zielt darauf ab, interdisziplinären Austausch und Konversation sowie ein tieferes Verständnis auf der Grundlage einer soliden akademischen Forschung anzustossen, die sich auf praktische, anwendbare Lösungen konzentriert.

Vermerk

Diese Forschung ist Teil des KI & Trust Projekts, das sich auf die Messung von Einstellungen und Wahrnehmungen zu KI aus einer allgemeinen öffentlichen Perspektive konzentriert. Der A-IQ wurde entwickelt, um Unterschiede in der Wahrnehmung gegenüber den tatsächlichen Fähigkeiten der Gesprächs-KI und den Einfluss auf das Nutzervertrauen zu messen.

Literatur

• Ball, O. E., and Torrance, E. P. 1984. Torrance tests of Creative Thinking streamlined scoring workbook, figural A. Bensenville, IL: Scholastic Testing Service.
• Bloom, B. S., & Anderson, L. W. 2014. A taxonomy for learning, teaching, and assessing: a revision of Blooms. Harlow: Pearson.
• Bryson, J.J. (2019). The Artificial Intelligence of the Ethics of Artificial Intelligence: An Introductory Overview for Law and Regulation.solicited and reviewed for M. Dubber, F. Pasquale, & S. Das (Eds.), The Oxford Handbook of Ethics of Artificial Intelligence, Oxford University Press. Author’s final version, from late July 2019.
• Dunn, J. (2017). It looks like Apples has some work to do if it wants Siri to be as smart as Google Assistant. Accessed October 4, 2017, http://uk.businessinsider.com/siri-vs-google-assistant-cortana-alexa-knowledge-study-chart-2017-6?r=US&IR=T
• Feng, L. and Shi, Y. 2014. The Search Engine IQ Test based on the Internet IQ Evaluation Algorithm. Procedia Computer Science, vol. 31, 2014, pp. 1066–1073.,
• Hengstler, M.; Enkel, M. Duelli, S. (2016). Applied artificial intelligence and trust—The case of autonomous vehicles and medical assistance devices. In: Technological Forecasting and Social Change 105, S. 105–120.
• Jiepu Jiang, Ahmed Hassan Awadallah, Rosie Jones, Umut Ozertem, Imed Zitouni, Ranjitha Gurunath Kulkarni, and Omar Zia Khan. (2015). Automatic Online Evaluation of Intelligent Assistants. In Proceedings of the 23rd International Conference on World Wide Web (WWW ’15), Florence, Italy, 2015.
• José Hernández-Orallo (2016). Evaluation in artificial intelligence: From task-oriented to ability-oriented measurement. Artificial Intelligence Review. 1-51. doi:10.1007/s10462-016-9505-7
• Kaufman, J. and Sternberg, R. 2010. The Cambridge handbook of creativity. New York: Cambridge University Press.
• Knuth, D. 1972. The Art of Computer Programming, Volume 3: Sorting and Searching. 394-395.
• Koch M., and Werther, S. 2013. Kreativität und Innovation in Organisationen – eine systemische Perspektive. Landes M., Steiner E. (eds) Psychologie der Wirtschaft. Psychologie für die berufliche Praxis. Springer VS, Wiesbaden
• Lee, J. D., & See, K. A. (2004). Trust in Automation: Designing for Appropriate Reliance. Human Factors, 46(1), 50–80.
• Liu, F., Shi, Y.(2014). The Search Engine IQ Test based on the Internet IQ Evaluation Algorithm, Proceedings of the Secondi. International Conference on Information Technology and Quantitative Management, Procedia Computer Science, Volume 31, 2014, Pages 1066-1073
• Liu, F., Shi, Y., and Liu, Y. (2017). Intelligence Quotient and Intelligence Grade of Artificial Intelligence. Annals of Data Science, 4(2), 179-191.
• Nilsson, N.J. (2010). The Quest for Artificial Intelligence: A History of Ideas and Achievements. Cambridge, UK: Cambridge University Press.
• Russel. S. and Norvig, P. (2012). Künstliche Intelligenz. Ein moderner Ansatz. 3., aktualisierte Auflage. Artificial Intelligence. A modern Approach. München: Pearson Education
• Sternberg, R. J. 1994. Encyclopedia of human intelligence. New York: Macmillan.
• Stone, P. (2016). One Hundred Year Study on Artificial Intelligence (AI100), Stanford University, accessed August 1, 2016, https://ai100.stanford.edu.
• Tschopp, M. (2018). The Psychology of Artificial Intelligence. Foundations, Range, Implications from a Humanities Perspective. Assessed April 4, 2018, https://www.scip.ch/en/?labs.20180215
• Wang, P., (2019). On Defining Artificial Intelligence. Journal of Artificial General Intelligence 10(2) 1-37, 2019 DOI: 10.2478/jagi-2019-0002
• Weston, J., Bordes, A., Chopra, S. & Mikolov, T. (2015). Towards AI-complete question answering: a set of prerequisite toy tasks. http://arxiv.org/abs/1502.05698
• Yagoda, R. E., Gillan, D. J. (2012). You Want Me to Trust a ROBOT? The Development of a Human-Robot Interaction Trust Scale. In: International Journal of Social Robotics, 4(3), 235–248.
• Zimbardo, P., Gerrig, R., and Graf, R. 2008. Psychologie. 16., aktualisierte Auflage. München: Pearson Education.

• USB Device Forensics on Windows 10 and 11 (blog.elcomsoft.com)
• F-35 Could Be Jailbreaked Like An iPhone: Dutch Defense Minister (twz.com)
• AI in the Middle: Turning Web-Based AI Services into C2 Proxies & The Future Of AI Driven Attacks (research.checkpoint.com)
• Manipulating AI memory for profit: The rise of AI Recommendation Poisoning (microsoft.com)
• Welcome to the Eternal September of open source. Here’s what we plan to do for maintainers. – The GitHub Blog (github.blog)
• What the Rise of AI Scientists May Mean for Human Research (singularityhub.com)
• Modular: The Claude C Compiler: What It Reveals About the Future of Software (modular.com)
• What AI Security Research Looks Like When It Works (aisle.com)
• I hacked ChatGPT and Google’s AI – and it only took 20 minutes (bbc.com)
• Remote Timing Attacks on Efficient Language Model Inference (arxiv.org)
• Kimwolf Botnet Swamps Anonymity Network I2P (krebsonsecurity.com)
• Autonomous cars, drones cheerfully obey prompt injection by road sign (theregister.com)
• The great computer science exodus (and where students are going instead) (techcrunch.com)
• New York Wants to Ctrl+Alt+Delete Your 3D Printer (blog.adafruit.com)
• Copilot Studio agent security: Top 10 risks you can detect and prevent (microsoft.com)
• Introducing Lockdown Mode and Elevated Risk labels in ChatGPT (openai.com)
• How safe are kids using social media? We did the groundwork (malwarebytes.com)
• AI-Generated Text and the Detection Arms Race (schneier.com)
• I pretended to be an AI agent on Moltbook so you don’t have to (tenable.com)
• What Anthropic’s Latest Model Reveals About the Future of Cybersecurity (tenable.com)
• 0-Days (red.anthropic.com)
• It Turns Out That When Waymos Are Stumped, They Get Intervention From Workers in the Philippines (futurism.com)
• Anthropic Just Sent Shockwaves Through the Entire Stock Market by Releasing a New AI Tool (futurism.com)
• From Automation to Infection: How OpenClaw AI Agent Skills Are Being Weaponized (blog.virustotal.com)
• Scam-checking just got easier: Malwarebytes is now in ChatGPT (malwarebytes.com)
• How Unmanaged AI Adoption Puts Your Enterprise at Risk (trendmicro.com)
• AI in Cyber Defense: What Works Today vs. What’s Hype (stateofsecurity.com)
• Odd WebLogic Request. Possible CVE-2026-21962 Exploit Attempt or AI Slop? (isc.sans.edu)