Cybersecurity schützt unsere Informationen. Firewalls, Verschlüsselung, Identity Management oder Security Monitoring bilden heute die Grundlage nahezu jeder digitalen Organisation. Doch mit dem Einzug künstlicher Intelligenz verändert sich eine fundamentale Annahme: Vielleicht müssen wir künftig nicht mehr nur Informationen schützen. Sondern Entscheidungen. Was bedeutet das für Unternehmen?

Ein Blick zurück und voraus

Künstliche Intelligenz verändert Unternehmen und die Welt grundlegend. Large Language Models, autonome Agenten und intelligente Assistenzsysteme automatisieren Prozesse, unterstützen Entscheidungen und schaffen völlig neue Geschäftsmodelle. Gleichzeitig entstehen jedoch Risiken, die weit über die klassische Informationssicherheit hinausgehen. Prompt Injection, Datenvergiftung (Data Poisoning), manipulierte Modelle, kompromittierte AI-Lieferketten, Halluzinationen, unkontrollierte Agenten oder Verstösse gegen regulatorische Vorgaben zeigen deutlich: AI Security ist längst keine Erweiterung der Cyber Security mehr, sie ist eine eigenständige Disziplin.

IAIQS als Vision einer vertrauenswürdigen KI. Heute beschäftigen sich internationale Standards wie ISO/IEC 42001, das NIST AI Risk Management Framework (AI RMF), der EU AI Act, MITRE ATLAS oder die OWASP Top 10 for LLM Applications mit genau diesen Fragestellungen. Doch viele der grundlegenden Prinzipien wurden von der scip AG Jahre zuvor erkannt.

Bereits Ende 2018 entwickelte die scip AG mit IAIQS (Interdisciplinary Artificial Intelligence Quotient) ein Framework, das sich der Qualität, Sicherheit und Vertrauenswürdigkeit künstlicher Intelligenz widmete.

Zu diesem Zeitpunkt standen nicht Chatbots oder Generative AI im Mittelpunkt der öffentlichen Diskussion. Stattdessen untersuchte die scip AG grundlegende Fragen:

• Wie lässt sich Vertrauen in KI messbar machen?
• Wie können Qualität und Sicherheit gemeinsam bewertet werden?
• Welche Risiken entstehen durch lernende Systeme?
• Wie bleibt der Mensch trotz Automatisierung jederzeit in der Verantwortung?

Diese Fragestellungen bilden heute den Kern moderner AI Governance und finden sich in nahezu allen aktuellen internationalen AI-Frameworks wieder.

Der Mensch bleibt die wichtigste Sicherheitskomponente

Seit der Veröffentlichung von ChatGPT erlebt Künstliche Intelligenz eine beispiellose Dynamik. Unternehmen integrieren Large Language Models in Geschäftsprozesse, autonome AI-Agenten übernehmen komplexe Aufgaben und intelligente Systeme treffen zunehmend Entscheidungen, die noch vor wenigen Jahren ausschliesslich Menschen vorbehalten waren. Mit dieser Entwicklung verschiebt sich auch die Fragestellung.

Nicht mehr Was kann AI, sondern Wann können wir AI vertrauen wird zur entscheidenden Herausforderung.

Denn eine AI-Lösung ist nicht automatisch vertrauenswürdig, nur weil sie beeindruckende Ergebnisse liefert. Vertrauen entsteht durch Sicherheit, Transparenz, Nachvollziehbarkeit, Qualität und verantwortungsvolle Governance. Diese Überzeugung begleitet die scip AG bereits seit vielen Jahren. Während sich viele Organisationen auf die Leistungsfähigkeit ihrer Modelle konzentrieren, verfolgen wir seit jeher einen anderen Ansatz:

Nicht die KI steht im Mittelpunkt, sondern der Mensch.

AI soll Menschen unterstützen, Entscheidungen transparenter machen und Prozesse sicherer gestalten. Sie darf jedoch niemals die Verantwortung für kritische Geschäftsentscheidungen vollständig übernehmen. Dieser Human-Centric-Ansatz entspricht heute den Grundprinzipien des EU AI Act sowie internationaler AI-Governance-Modelle, welche Transparenz, Nachvollziehbarkeit, menschliche Aufsicht und Verantwortlichkeit als zentrale Anforderungen definieren.

AI Security beginnt lange vor dem Prompt

Wer heute über AI Security spricht, denkt häufig zuerst an das Sprachmodell selbst. Im Mittelpunkt stehen dabei Themen wie Prompt Injection, Halluzinationen oder der Missbrauch von Chatbots. Diese Perspektive greift jedoch zu kurz. Tatsächlich beginnt die Sicherheit eines AI-Systems nicht erst mit der ersten Benutzereingabe, sondern bereits lange zuvor bei der Entstehung des gesamten Systems.

Ein modernes AI-System ist keine einzelne Anwendung, sondern ein komplexes Ökosystem aus zahlreichen miteinander verbundenen Komponenten. Daten werden aus unterschiedlichsten Quellen bezogen, aufbereitet und gespeichert. Modelle werden trainiert, feinjustiert und kontinuierlich aktualisiert. APIs verbinden externe Dienste, Vektor-Datenbanken stellen Wissen bereit, Identitätsdienste regeln Berechtigungen, Agenten orchestrieren Aufgaben und Cloud-Infrastrukturen sorgen für den Betrieb. Ergänzt wird dieses Zusammenspiel durch Software-Lieferketten, Monitoring, Logging und zahlreiche weitere technische Bausteine.

Jede dieser Komponenten erweitert die Funktionalität, gleichzeitig vergrössert sie aber auch die Angriffsfläche. Die Sicherheit eines AI-Systems wird deshalb nicht durch das Modell allein bestimmt, sondern durch die Sicherheit der gesamten Architektur. Genau hier unterscheidet sich AI Security von der klassischen Betrachtung eines einzelnen Modells oder Chatbots.

• Ein anschauliches Beispiel liefert ein Retrieval-Augmented-Generation-System (RAG). Das Sprachmodell kann vollständig unverändert und technisch korrekt funktionieren. Wird jedoch die zugrunde liegende Wissensbasis manipuliert oder gelangen gezielt präparierte Dokumente in die Vektor-Datenbank, liefert das Modell dennoch falsche oder irreführende Antworten. Aus Sicht des Systems arbeitet die KI korrekt, sie verarbeitet lediglich kompromittierte Informationen. Das eigentliche Angriffsziel war also nicht das Modell, sondern die Datenbasis.

• Ähnlich verhält es sich bei AI-Agenten. Sie erhalten zunehmend weitreichende Berechtigungen, um selbstständig EMails zu versenden, Datenbanken abzufragen, Cloud-Ressourcen zu verwalten oder Geschäftsprozesse auszuführen. Wird ein solcher Agent kompromittiert oder durch geschickte Manipulation zu unerwünschten Aktionen verleitet, entsteht ein Risiko, das weit über die Qualität einer Antwort hinausgeht. Die KI wird vom Informationssystem zum aktiven Handlungsträger und damit zu einem sicherheitskritischen Bestandteil der Unternehmensinfrastruktur.

• Auch Trainingsdaten stellen einen attraktiven Angriffspunkt dar. Bereits kleine, gezielt eingebrachte Manipulationen können das Verhalten eines Modells nachhaltig beeinflussen. Solche Data-Poisoning-Angriffe verändern die Wissensgrundlage der KI und sind später oftmals nur schwer nachweisbar. Ebenso kritisch sind kompromittierte Open-Source-Komponenten, unsichere Modellgewichte oder manipulierte Bibliotheken innerhalb der AI-Lieferkette. Da moderne AI-Plattformen auf einer Vielzahl externer Frameworks und Abhängigkeiten basieren, gewinnt die Sicherheit der gesamten Software Supply Chain zunehmend an Bedeutung.

Parallel dazu entstehen neue Angriffstechniken, die speziell auf AI-Systeme zugeschnitten sind. Prompt Injection manipuliert das Verhalten eines Sprachmodells über geschickt formulierte Eingaben. RAG Poisoning beeinflusst externe Wissensquellen, sodass falsche Informationen als vertrauenswürdig erscheinen. Model Manipulation zielt auf das Verhalten oder die Integrität des Modells selbst ab, während kompromittierte Agenten autonome Aktionen gegen die Interessen ihrer Betreiber ausführen können. Gemeinsam zeigen diese Angriffe, dass sich der Fokus der Cybersecurity zunehmend von klassischen IT-Systemen auf komplexe, lernende und teilweise autonome Systeme verschiebt.

Diese Entwicklung wird inzwischen auch durch internationale Sicherheitsframeworks systematisch beschrieben. Das Framework MITRE ATLAS dokumentiert die Taktiken, Techniken und Verfahren, mit denen Angreifer moderne AI-Systeme kompromittieren. Ergänzend beschreibt die OWASP Top 10 for LLM Applications die derzeit wichtigsten Risiken beim Einsatz grosser Sprachmodelle von Prompt Injection über unsichere Plugin-Architekturen bis hin zu unzureichender Zugriffskontrolle oder Datenlecks.

Die zentrale Erkenntnis ist deshalb ebenso einfach wie weitreichend: AI Security beginnt nicht beim Prompt. Sie beginnt bei der Architektur, den Daten, den Prozessen und den Menschen, die ein AI-System entwickeln und betreiben. Wer ausschliesslich das Modell schützt, übersieht einen Grossteil der tatsächlichen Angriffsfläche. Erst die ganzheitliche Betrachtung aller Komponenten schafft die Grundlage für vertrauenswürdige, widerstandsfähige und langfristig sichere Künstliche Intelligenz.

Ganzheitliche AI Security verbindet Governance und Technik

Die grösste Herausforderung besteht heute darin, technische Sicherheit mit Governance zu verbinden. Genau hier entsteht der Mehrwert einer ganzheitlichen Beratungsphilosophie. Die Diskussion rund um AI Security konzentriert sich häufig auf einzelne Angriffsformen wie Prompt Injection oder Jailbreaking von Large Language Models. Diese Bedrohungen sind zweifellos relevant, sie stellen jedoch nur einen kleinen Ausschnitt der tatsächlichen Angriffsfläche moderner AI-Systeme dar. Ein produktives AI-System besteht heute aus einer Vielzahl miteinander vernetzter Komponenten. Neben dem eigentlichen Sprachmodell gehören dazu Datenquellen, Vektor-Datenbanken, Retrieval-Augmented-Generation-Komponenten (RAG), API-Gateways, Identitätsdienste, Cloud-Plattformen, Agenten, externe Werkzeuge (Tools) sowie zunehmend Model Context Protocol (MCP)-Server und autonome AI-Agenten. Jede dieser Komponenten besitzt eigene Sicherheitsanforderungen und kann zum Angriffsziel werden.

• Ein einfaches Beispiel verdeutlicht diese Komplexität: Ein Unternehmen entwickelt einen internen AI-Assistenten, der auf Projektdokumentationen, technische Spezifikationen und Kundendaten zugreifen kann. Das Sprachmodell selbst arbeitet fehlerfrei und ist gegen klassische Prompt-Injection-Angriffe gut geschützt. Dennoch könnte ein Angreifer über eine falsch konfigurierte Vektor-Datenbank oder unzureichend abgesicherte Berechtigungen vertrauliche Dokumente abrufen, die ausserhalb seines Verantwortungsbereichs liegen. Das eigentliche Sicherheitsproblem liegt in diesem Fall nicht im Modell, sondern in der Architektur und den angebundenen Systemen.

Mit der zunehmenden Verbreitung autonomer AI-Agenten verschiebt sich die Bedrohungslage zusätzlich. AI-Agenten interagieren nicht mehr ausschliesslich mit Benutzern, sondern führen selbstständig Aktionen aus: Sie versenden EMails, verwalten Termine, greifen auf ERP- oder CRM-Systeme zu, erstellen Code, konfigurieren Cloud-Ressourcen oder orchestrieren komplexe Geschäftsprozesse. Ein kompromittierter Agent verfügt damit unter Umständen über deutlich weiterreichende Berechtigungen als ein klassischer Benutzer. Entsprechend gewinnen Identitätsmanagement, fein granulierte Autorisierung, Laufzeitüberwachung und kontinuierliche Protokollierung erheblich an Bedeutung.

Auch die Qualität der zugrunde liegenden Daten ist ein wesentlicher Bestandteil der Sicherheit. Fehlerhafte oder manipulierte Trainingsdaten können zu systematisch falschen Entscheidungen führen. Werden Wissensdatenbanken einer RAG-Architektur kompromittiert, liefert das Modell unter Umständen technisch korrekte, aber inhaltlich manipulierte Antworten. Diese Form der Beeinflussung ist besonders kritisch, da sie für Anwender häufig kaum erkennbar ist. Die Integrität von Trainingsdaten, Embeddings und Wissensquellen wird damit zu einer zentralen Sicherheitsanforderung.

Gleichzeitig reicht technische Sicherheit allein nicht aus. Unternehmen müssen definieren, welche AI-Anwendungen überhaupt eingesetzt werden dürfen, welche Daten verarbeitet werden dürfen und wer Verantwortung für Entwicklung, Betrieb und kontinuierliche Überwachung übernimmt. Ohne klare Governance entstehen schnell unkontrollierte Schattenlösungen, bei denen Mitarbeitende öffentliche AI-Dienste nutzen und dabei ungewollt vertrauliche Informationen preisgeben oder regulatorische Vorgaben verletzen.

Genau aus diesem Grund gewinnen internationale Frameworks wie ISO/IEC 42001, das NIST AI Risk Management Framework (AI RMF), der EU AI Act, MITRE ATLAS oder die OWASP Top 10 for LLM Applications zunehmend an Bedeutung. Sie verfolgen einen gemeinsamen Grundgedanken: Vertrauenswürdige Künstliche Intelligenz entsteht nicht allein durch sichere Modelle, sondern durch das Zusammenspiel von Governance, Informationssicherheit, Datenschutz, Softwareentwicklung, Identitätsmanagement, kontinuierlichem Monitoring und menschlicher Aufsicht.

Die scip AG verfolgt genau diesen Ansatz seit der Entwicklung des IAIQS Frameworks im Jahr 2018. Bereits damals stand nicht die Leistungsfähigkeit einzelner Modelle im Mittelpunkt, sondern die Frage, wie sich Vertrauen in AI-Systeme systematisch aufbauen und langfristig erhalten lässt. Dieser Gedanke prägt die heutige Beratungsphilosophie unverändert: AI Security beginnt nicht beim Prompt und endet nicht beim Modell. Sie umfasst den gesamten Lebenszyklus einer AI-Lösung, von der strategischen Planung über die sichere Architektur und Entwicklung bis hin zur kontinuierlichen Verbesserung. Erst wenn Governance, Technologie und der Mensch als zusammenhängendes System betrachtet werden, entsteht eine AI-Landschaft, die leistungsfähig, sicher und langfristig vertrauenswürdig ist. Hier kommt AI Assurance by scip ins Spiel.

Cybersecurity schützt Informationen | Trustworthy AI definiert Prinzipen | AI Assurance schafft Vertrauen in Künstliche Intelligenz

Eine sichere AI-Landschaft umfasst AI Governance, Informationssicherheit, Datenschutz, Cloud Security, Identity & Access Management, Secure Software Development, Data Governance, Model Lifecycle Management, Security Monitoring, Incident Response, Business Continuity, Human Oversight und weitere. Diese Bereiche dürfen nicht isoliert betrachtet werden.

Forschung als Innovationsmotor

Technologie entwickelt sich schneller als jemals zuvor. Neue Frameworks entstehen innerhalb weniger Monate, Angriffstechniken verbreiten sich in Tagen und Künstliche Intelligenz verändert Arbeitsweisen nahezu im Wochentakt. Wer in diesem Umfeld ausschliesslich auf etablierte Standards, Zertifizierungen oder Best Practices vertraut, läuft zwangsläufig der Realität hinterher. Standards beschreiben, was gestern bekannt war. _Sicherheit muss sich jedoch an den Herausforderungen von morgen orientieren.

Aus diesem Grund gehört Forschung seit der Gründung der scip AG zu den tragenden Säulen des Unternehmens. Sie ist kein separates Innovationslabor und kein Marketinginstrument, sondern ein integraler Bestandteil der täglichen Arbeit. Jede Erkenntnis aus einem Penetration Test, jedem Red-Team-Einsatz, jeder Incident-Response-Untersuchung oder jeder Sicherheitsanalyse kann Ausgangspunkt neuer Forschungsfragen sein. Gleichzeitig finden neue Erkenntnisse aus der Forschung ihren Weg zurück in Kundenprojekte. Forschung und Praxis bilden damit keinen linearen Prozess, sondern einen kontinuierlichen Wissenskreislauf.

Dieses Selbstverständnis hat die scip AG über mehr als zwei Jahrzehnte geprägt. Bereits lange bevor generative KI weltweit zum dominierenden Technologiethema wurde, beschäftigten sich die Research-Teams mit den sicherheitstechnischen Auswirkungen intelligenter Systeme. Im Jahr 2018 entstand mit dem IAIQS ein Forschungsprojekt, das Künstliche Intelligenz bewusst nicht nur aus technischer Sicht betrachtete. Ziel war es, Sicherheit, Governance, Ethik, Gesellschaft und Technologie als zusammenhängendes Gesamtsystem zu verstehen, ein Gedanke, der heute unter zunehmend internationale Aufmerksamkeit erhält.

Dabei war die Motivation nie, möglichst früh einem Trend zu folgen. Vielmehr stand die Überzeugung im Mittelpunkt, dass neue Technologien zunächst verstanden werden müssen, bevor sie verantwortungsvoll abgesichert werden können. Genau dieses Verständnis prägt bis heute die Forschungsarbeit der scip AG. Die Ergebnisse dieser Arbeit werden seit vielen Jahren öffentlich über die scip Labs veröffentlicht. Die Labs verstehen sich als Plattform für offenen Wissenstransfer. Statt Marketingbeiträgen entstehen dort technische Analysen, Sicherheitsstudien, Proof-of-Concepts, Forschungsergebnisse und praktische Erfahrungen aus realen Projekten. Viele dieser Veröffentlichungen greifen Themen auf, lange bevor sie in regulatorischen Vorgaben oder industriellen Standards erscheinen. Dieses frühe Erkennen technologischer Entwicklungen ermöglicht es, Risiken nicht erst zu analysieren, wenn sie bereits alltäglich geworden sind.

Die thematische Breite der Forschung spiegelt die Komplexität moderner IT-Landschaften wider. Klassische Disziplinen wie Penetration Testing, Active Directory Security, Cloud Security, Mobile Security, Industrial Security oder Red Teaming bilden weiterhin das Fundament. Gleichzeitig rücken neue Forschungsfelder in den Vordergrund: Large Language Models, Agentic AI, AI Supply Chains, Prompt Injection, Model Poisoning, Adversarial Machine Learning, Secure AI Architectures, AI Governance oder Detection Engineering. Gerade an den Schnittstellen dieser Disziplinen entstehen heute die entscheidenden Fragestellungen für vertrauenswürdige Künstliche Intelligenz.

Ein weiterer Schwerpunkt liegt seit vielen Jahren in der internationalen Schwachstellenforschung. Sicherheitslücken entstehen täglich, verändern sich kontinuierlich und bilden häufig den Ausgangspunkt komplexer Angriffsketten. Als Gründungsmitglied und aktivem Unterstützer der VulDB, einer der weltweit umfangreichsten Vulnerability-Intelligence-Plattformen, verfügen wir über einen einzigartigen Einblick in die globale Bedrohungslandschaft. Die dort gewonnenen Erkenntnisse fliessen unmittelbar in Sicherheitsbewertungen, Angriffssimulationen und strategische Beratungsmandate ein. Dadurch entsteht ein Verständnis von Risiken, das weit über die Betrachtung einzelner Schwachstellen hinausgeht.

Dasselbe gilt für die offensive Sicherheitsforschung. In zahlreichen Red-Team-Projekten für internationale Unternehmen werden moderne Angriffsverfahren nicht nur theoretisch analysiert, sondern unter realistischen Bedingungen nachvollzogen und weiterentwickelt. Dieses praktische Wissen bildet eine unverzichtbare Grundlage, um neue Angriffstechniken gegen AI-Systeme, autonome Agenten oder komplexe Unternehmensplattformen realistisch beurteilen zu können. Viele Risiken lassen sich erst verstehen, wenn man nachvollziehen kann, wie sie in der Praxis tatsächlich ausgenutzt werden. Forschung endet jedoch nicht bei der Analyse bestehender Technologien. Sie umfasst ebenso die Entwicklung eigener Werkzeuge, Bewertungsmethoden und Plattformen. Ob automatisierte Testframeworks, Vulnerability Intelligence, lokale KI-Systeme oder neue Bewertungsmodelle für Künstliche Intelligenz, das Ziel besteht stets darin, technologische Entwicklungen nicht nur zu beobachten, sondern aktiv mitzugestalten.

Gerade im Bereich AI Assurance wird diese Verbindung aus Forschung und Praxis zu einem entscheidenden Erfolgsfaktor. Die Geschwindigkeit der technologischen Entwicklung übersteigt mittlerweile jene klassischer Sicherheitsprozesse deutlich. Wer heute sichere AI-Systeme entwickeln oder beurteilen möchte, kann sich deshalb nicht ausschliesslich auf bestehende Normen verlassen. Er benötigt ein tiefes technisches Verständnis, kontinuierliche Forschung und die Bereitschaft, Annahmen immer wieder kritisch zu hinterfragen.

Vertrauen entsteht letztlich nicht dadurch, dass bekannte Lösungen konsequent angewendet werden. Vertrauen entsteht dort, wo neue Risiken frühzeitig erkannt, wissenschaftlich untersucht und in praktikable Sicherheitsmassnahmen übersetzt werden. Forschung ist deshalb kein Selbstzweck. Sie ist die Grundlage dafür, dass Innovation verantwortungsvoll genutzt werden kann und damit eine der wichtigsten Elemente von AI Assurance.

Fazit

Die Zukunft gehört vertrauenswürdiger KI. Vertrauen ist niemals eindimensional. Die eigentliche Herausforderung besteht nicht darin, möglichst schnell Künstliche Intelligenz einzusetzen. Die Herausforderung besteht darin, KI sicher, nachvollziehbar und nachhaltig einzusetzen.

Vertrauen ist die eigentliche Währung der Künstlichen Intelligenz.

Wir beschäftigen uns seit 2018 wissenschaftlich (1, 2, 3, 4, 5) mit Vertrauen in AI. Mit dem IAIQS-Ansatz wurde bereits 2018 eine Vision entwickelt, die heute durch internationale Standards, regulatorische Vorgaben und technische Frameworks bestätigt wird: Vertrauenswürdige KI entsteht nicht allein durch leistungsfähige Modelle. Sie entsteht durch das Zusammenspiel von Forschung, Cyber Security, Governance, Qualitätsmanagement und einem konsequent menschenzentrierten Ansatz.

Wir sichern nicht KI-Systeme. Wir schaffen Vertrauen in KI. Von der Idee über die Entwicklung bis zur kontinuierlichen Weiterentwicklung. Dieses Vertrauen basiert auf fünf Prinzipien:

• Research-driven: Erkenntnisse aus den scip Labs fliessen direkt in Methoden und Assessments ein.
• Security by Design: Sicherheit wird von Beginn an in AI-Lösungen integriert.
• Human-centric: Der Mensch bleibt für Entscheidungen und Governance verantwortlich.
• Lifecycle-oriented: Begleitung über den gesamten AI-Lebenszyklus von der Strategie bis zur Weiterentwicklung.
• Independent: Herstellerunabhängige Beratung mit objektiver Bewertung von Risiken und Chancen.

Wer AI langfristig erfolgreich einsetzen möchte, benötigt deshalb mehr als moderne Modelle. Er benötigt eine Sicherheitsstrategie, die Technologie, Organisation und Menschen gleichermassen berücksichtigt; ganzheitlich, nachhaltig und wissenschaftlich fundiert.

Wir schaffen Vertrauen in Künstliche Intelligenz.

Eine neue interdisziplinäre Disziplin, wird in den kommenden Jahren an Bedeutung gewinnen. Eine Disziplin, die sich nicht nur mit Informationen beschäftigt. Sondern mit Entscheidungen. Wir nennen sie AI Assurance by scip. Nach unseren ersten erfolgreich abgeschlossenen Kundenprojekten stellen wir nun unseren Ansatz, in den kommenden Monaten, im Rahmen einer Research Initiative vor. Einen ersten Einblick finden Sie hier.

TEDx-Events sind unabhängig organisierte Veranstaltungen, die sich an den grösseren TED-Konferenzen (Technology, Entertainment, Design) orientieren. Dabei handelt es sich um globale Veranstaltungen mit Vorträgen von Experten und Innovatoren aus verschiedenen Bereichen. Marisa Tschopp war eine der eingeladenen Rednerinnen und hielt einen Vortrag über unsere Forschung zu Beziehungen zwischen Mensch und KI.

TEDx-Veranstaltungen werden in der Regel zu einem bestimmten Thema organisiert und umfassen eine Reihe von Rednern, die Experten auf ihrem Gebiet sind oder eine inspirierende Geschichte zu erzählen haben. Die Vorträge sind in der Regel 18 Minuten lang und sollen zum Dialog und zum Handeln anregen und bieten den Zuhörern oft die Möglichkeit, sich mit den Rednern und untereinander auszutauschen. Es gibt eine Playlist der beliebtesten TED Talks aller Zeiten mit Bill Gates, Elon Musk oder Brene Brown. Sir Ken Robinsons TED-Talk aus dem Jahr 2006 wurde über 74 Millionen Mal angesehen.

Über TEDxBoston

Die TEDxBoston ist nach Angaben von John Werner eine der grössten und erfolgreichsten TEDx Veranstaltungen weltweit. Die jüngste Veranstaltung fand am 6. März im Quin House im Zentrum Bostons statt und war eine Sonderausgabe zum Thema Künstliche Intelligenz. Unter dem provokanten Titel Countdown to Artificial Intelligence traten 61 Redner auf, von denen jeder 5 Minuten Zeit hatte, um über sein spezielles Thema zu sprechen: Von technologischen Entwicklungen, über Geschäftsmöglichkeiten bis hin zu gesellschaftlichen Auswirkungen. Das neue Format ist eine Herausforderung und zugleich eine Chance, eine grössere Vielfalt an Themen und Rednern zu präsentieren, aber auch ein breiteres Publikum anzusprechen, wo jeder um die Aufmerksamkeit der “swiping tik-tok” Generation kämpft.

Abstract: 2022 war ein bahnbrechendes Jahr für den Fortschritt in der Künstlichen Intelligenz (KI). Zu den diesjährigen Fortschritten bei generativen Modellen gehören grosse Sprachmodelle wie GPT-3.5 und ChatGPT, modusübergreifende Modelle wie DALL-E 2 und Stable Diffusion sowie multimodale Modelle wie Gato. Die Schätzung der Metaculus-Gemeinschaft für das Ankunftsdatum der “Weak AGI” ist von 2042 auf 2027 gesunken. Im Jahr 2023, an der Schwelle zu einem Wendepunkt in den Fähigkeiten der KI, stehen wir auf den Schultern dieser sich beschleunigenden Technologien und sind bereit, jeden Teil der menschlichen Gesellschaft zu beeinflussen. Wir kommen zusammen, um zu diskutieren, wie diese Zukunft aussehen könnte – wie wir die noch ausstehenden Herausforderungen im Bereich des Deep Learning und der KI bewältigen und unsere eigene menschliche Intelligenz auf ein neues Niveau heben können. Wir haben kuratierte Ideen/Visionen, wie diese Zukunft aussehen könnte.

Themen bei TEDxBoston

Die Vielfalt der Themen war immens: KI für Smart Homes, Spieleentwicklung oder Programmierung. Forscher und Praktiker teilten ihre Ideen oder Startups. Das Gesundheitswesen war ein sehr prominentes Thema in der Hoffnung, Krebs zu bekämpfen, CT-Scans zu verbessern oder klinische Studien zu beschleunigen. Auch die Themen Vertrauenswürdigkeit und erklärbare KI waren immer wieder präsent. Es war auch faszinierend zu sehen, wie Menschen mit indogenen Hintergründen ihren Gemeinden helfen, auf dem neuesten Stand zu bleiben und Kindern das Programmieren beizubringen. Die vollständige Liste der Themen (die Arbeitstitel sind) kann online gefunden werden und die jeweiligen Vorträge werden in den nächsten 2-3 Monaten online sein (Youtube oder TED-Website).

Überblick über unseren Vortrag bei TEDxBoston

Marisa Tschopp wurde eingeladen, am Nachmittag einen Vortrag über unsere Forschung zu human-AI relationships zu halten, hier ist eine Zusammenfassung davon:

Jeden Tag drücken 19.000 Menschen ihren Sprachassistenten ihre Liebe aus und 6.000 Menschen in Indien machen ihnen sogar einen Heiratsantrag. In den Medien wird oft auf diese nicht ganz so seriösen Studien hingewiesen, wie z. B. eine Studie, die ergab, dass 14 % der männlichen Nutzer von Smart-Home-Lautsprechern im Vereinigten Königreich eine sexuelle Beziehung mit ihren Systemen wünschen. Dies heizt den öffentlichen Diskurs darüber an, wie die Menschen wirklich über diese sprechenden Maschinen denken, die im Grunde genommen nur Hard- und Software sind.

Trotz der Tatsache, dass diese Maschinen nicht menschlich sind, hat eine Fülle empirischer Untersuchungen gezeigt, dass Menschen dazu neigen, sie zu vermenschlichen und sie als soziale Akteure zu behandeln. Aber nur weil jemand sagt, dass er sein KI-System liebt, bedeutet das, dass er es wirklich so liebt, wie er es bei einem anderen Menschen tun würde? Wenn die Menschen ihren Sprachassistenten also nicht wirklich lieben, ihn aber auch nicht einfach nur als Werkzeug sehen, wie nehmen sie dann ihre Beziehung zur KI wahr? Und was können wir aus einem besseren Verständnis der Beziehungen zwischen Mensch und KI lernen?

Um diese Fragen zu beantworten, haben wir eine mehrdimensionale Beziehungstheorie aus der Psychologie verwendet und sie auf den Kontext der Beziehungen zwischen Mensch und KI angewandt. Wir untersuchten etwa 1000 KI-Nutzer und fanden heraus, dass sie auf drei Arten mit ihren KI-Systemen in Beziehung treten: Die traditionelle Herr-Diener-Beziehung, eine rationale Beziehung ohne Hierarchien und eine freundschaftliche, emotionale Beziehung. Nur wenige charakterisieren ihre Beziehung als freundschaftliche, emotionale Beziehung. Es überrascht nicht, dass die meisten Nutzer die Beziehung zu ihrem Sprachassistenten als eine traditionelle Herr-Diener-Beziehung wahrnehmen. Überraschend war, dass die nicht-hierarchische Beziehung fast genauso beliebt war wie die Herr-Diener-Beziehung.

Dieses Ergebnis könnte für die Entwickler von Sprachschnittstellen interessant sein, denn wie viel Befugnis die Nutzer einem System zuschreiben, kann sich darauf auswirken, wie sie es nutzen oder wofür sie den Sprachassistenten einsetzen. Nehmen wir eine einfache Aufgabe wie das Stellen eines Weckers. Sie erfordert wenig Engagement, nur kurze, einfache Interaktionen. Eine komplexe Aufgabe, wie z. B. das Online-Shopping mit einem Sprachassistenten, erfordert mehr Engagement. Dazu gehören beispielsweise Dialoge mit mehreren Abzweigungen und potenziell mehr Datenaustausch und finanzielle Risiken. Anders ausgedrückt: Mehr “geteilte” Verantwortung. Wenn wir also digitale Assistenten auch für komplexere Aufgaben einsetzen wollen, wäre es sinnvoll, sie mehr als Entscheidungspartner zu sehen oder zu gestalten, statt als blosse Befehlsempfänger. Bedeutet das, dass die Rolle der digitalen Assistenten als unsere Diener irgendwie aus der Mode kommen wird?

Wir sind dieser Frage nachgegangen, indem wir Einkaufsentscheidungen per Sprache untersucht haben. Konkret wollten wir wissen, ob die Art und Weise, wie Menschen sich zu ihrem Sprachassistenten verhalten, die Art der Produkte beeinflusst, die sie über ihren Sprachassistenten kaufen. Die Forschung zeigte, dass die Betrachtung des Sprachassistenten als Freund oder Diener den Kauf von billigen und einfachen Produkten per Sprache fördert. Überraschenderweise fanden wir aber auch heraus, dass die Wahrnehmung des Sprachassistentin als Freund am wichtigsten ist, wenn es um den Kauf von teuren und komplexen Produkten geht. Mit anderen Worten: Friendship sells!

Es gibt jedoch moralische Bedenken, die sehr dagegen sprechen, Entwicklern von Sprachbenutzerschnittstellen zu empfehlen, ihre Schnittstellen als AI Friends zu gestalten, um den Umsatz zu steigern. Die Vermenschlichung von Maschinen kann negative Folgen haben, z. B. die Weitergabe von persönlichen Daten oder das Verleiten von Menschen zu Entscheidungen, die nicht in ihrem Interesse liegen. Darüber hinaus wurden Fälle aufgedeckt, in denen Nutzer über Symptome von Depressionen berichteten, nachdem sie die Verbindung zu einem Chatbot verloren hatten. Was tun wir, wenn unsere Bindung an diese Technologien zu einer pathologischen Sucht wird oder sich zu einer Unfähigkeit entwickelt, mit echten Menschen im wirklichen Leben umzugehen?

Fazit

Marisa Tschopp schloss ihren Vortrag mit dem Hinweis auf die Notwendigkeit, die Beziehung zwischen Mensch und KI besser zu verstehen. Denn die Art und Weise, wie wir uns zu diesen Systemen verhalten, kann das Nutzerverhalten in einer Weise beeinflussen, die wir noch nicht vollständig verstehen. Und diese psychologischen Mechanismen können viel zu leicht ausgenutzt oder in Weisen manipuliert werden, die schwer zu kontrollieren sein werden. Der Vortrag wird demnächst online verfügbar sein.

Ziel der TEDxBoston-Veranstaltung war es, aktuelle Herausforderungen zu erforschen und neue Einsichten in die menschliche Intelligenz zu gewinnen, und zwar mit einer gut ausgewählten Reihe von 5-Minuten-Vorträgen, die von angesehenen Rednern zu Themen wie den Auswirkungen von AGI auf Ethik, Kreativität, Intelligenzsteigerung, die Zukunft von Arbeit und Bildung und Innovation im Gesundheitswesen gehalten wurden, um nur einige zu nennen. Unserer Meinung nach waren die Themen gut ausgewählt, ebenso wie die Redner, von Newcomern bis hin zu erfahrenen Experten auf diesem Gebiet. Besonders beeindruckt waren wir von der hervorragenden Zusammenstellung der Heterogenität der Referenten hinsichtlich ihrer Herkunft und Kultur. Diese Bereicherung ist immens wertvoll für einen sinnvollen Austausch, um den eigenen Horizont zu erweitern und, kurz gesagt, um bessere KI für eine bessere Zukunft zu schaffen.

Es gibt eine Reihe von Technologien, denen sowohl auf technischer als auch auf gesellschaftlicher Ebene die Möglichkeit zur Disruption beigemessen wird. Unter anderem zeichnet sich ab, dass Künstliche Intelligenz (KI) zu einem zentralen Bestandteil unseres Lebens werden wird. Dieser Artikel bespricht, welche Mechanismen etabliert werden müssen, damit eine KI als intelligent und menschlich wahrgenommen wird.

Spracherkennung

Im Zeitalter von Personal Assistants wie Amazon Echo und Apple Siri nimmt das Sprachverständnis von KI einen besonders wichtigen Platz ein. Ob ein Benutzer einen Sprachassistenten als wirklich intelligent wahrnimmt, ist massgeblich von der Fähigkeit der Lösung abhängig, inwiefern sie die Anweisungen richtig wahrnehmen kann. Nur so kann der nächste Schritt, nämlich die richtige Verarbeitung, vorbereitet werden.

Um dieses Ziel erreichen zu können, muss als erstes eine Spracherkennung implementiert werden. Diese muss Inhalte von Aussagen verstehen können. Die einfachste und von vielen Lösungen bevorzugte Methode ist rein musterbasiert. Wenn eine Aussage den Ausdruck Timer enthält, wird ein Timer gestartet. Im Idealfall lautet die Anweisung Starte einen Timer.

Reduktion auf Schlüsselwörter

Doch nicht alle Benutzer sehen sich in der Lage oder gewillt, einfache und klare Sätze zu formulieren. So kann es sein, dass die Anweisung umständlicherweise Bitte starte einen, ach moment, ja, genau, einen Timer lautet. Da die Mustererkennung sich auf Timer fokussiert, ist dies jedoch kein Problem. Es wird in den allermeisten Fällen die richtige Reaktion ausgelöst. Bei Amazon Alexa ist dies sehr gut nachspielbar, was auf das Prinzip der Utterances mit Slots zurückzuführen ist.

Wenn in der Anfrage neben Timer auch noch ein Welcher eingesetzt wird, wird nicht mehr ein Timer gestartet, sondern der aktuell laufende Timer ausgegeben (verbleibende Zeit). Abgesehen vom Standardfall für Timer ⇒ Neu gibt es also auch den Standardfall Timer ∧ Welcher ⇒ Aktuell. Es liegt in der Aufgabe des Datenverwalters der KI, eine möglichst grosse Sammlung an Mustern und Aktionen zu definieren.

Das Sprachverständnis der KI ist in diesem Fall minimal. Es ist reizbasiert und versteht keinen echten sprachlichen Kontext. Dieser ist aber wünschenswert, da nur mit ihm eine bessere Eingabequalität und zusätzliche Mechanismen (z.B. Spontanität, Lernfähigkeit, Gefühle) eingeführt werden können.

Sprachverständnis durch Grammatik

Um ein echtes Sprachverständnis erreichen zu können, wird es erforderlich, dass eine Anweisung linguistisch dissektiert wird. Minimal liegt es nun in der Aufgabe des Natural Language Processing (NLP) zu identifizieren, welches das Subjekt und welches das Verb in der Anweisung ist. Es macht schliesslich einen Unterschied, ob Du bist hungrig oder Ich bin hungrig gesagt wird.

Mit der Hilfe einer Datenbank für die einzelnen Wortarten können diese im Rahmen von NLP identifiziert werden. Dabei gilt es Tabellen für die verschiedenen Wortarten (Substantiv, Verb, Adjektiv, etc.) anzufertigen. Die jeweiligen Spalten müssen die unterschiedlichen Morphologien dokumentieren. Bei Verben müssen zum Beispiel Genus, Modus und Numerus berücksichtigt werden. Nur so kann einerseits eine musterbasierte Erkennung für die einzelnen Worte stattfinden. Sie ist aber auch Grundlage dafür, den Kontext verstehen, auf diesen reagieren und grammatikalisch korrekte Antworten formulieren zu können. Die beiden nachfolgenden Tabellen zeigen die Konjugation als Aktiv Indikativ für die beiden Verben Sein und Haben.

Der Algorithmus zur grammatikalischen Sprackerkennung identifiziert nun jedes einzelne Wort einer Anweisung. Sobald in der Datenbank ein Treffer gefunden wurde, wird er als solcher vermerkt. Bei einfachen Sätzen wie Ich bin hungrig ist dies relativ einfach. Die Aufschlüsselung nach Wortarten lautet {Substantiv} {Verb} {Adjektiv}. Dies kann mit einer direkten und simplen Mustererkennung erkannt werden.

Diese grammatikalische Dissektion macht es möglich, dass zum Beispiel Zeitformen wahrgenommen und umgeformt werden können. Dies ist wichtig, damit im Rahmen eines Dialogs ein natürliches Verhalten an den Tag gelegt werden kann. Einen Proof-of-Concept hierzu haben wir auf GitHub publiziert. Er sieht sich in der Lage Wortformen und ihre Eigenschaften zu erkennen, um dann zum Beispiel andere Eigenschaften anzuwenden (z.B. aus einem Ich-Gegenwärt-Satz einen Du-Vergangenheit-Satz machen).

Ausnahmen und Unschärfe

Schwieriger wird es, wenn komplexe und verschachtelte Sätze genutzt werden. Oder wenn Substantivierung plötzlich eine Rolle spielt. Der Zungenbrecher Wenn Fliegen hinter Fliegen fliegen, fliegen Fliegen Fliegen nach ist ein gutes Beispiel. Die Unterscheidung zwischen Substantiv und Verb ist in der deutschen Sprache mit der Hilfe der Gross-/Kleinschreibung möglich. In der englischen Sprache ist dies bedeutend schwieriger, wie das Beispiel Buffalo buffalo Buffalo buffalo buffalo buffalo Buffalo buffalo. illustriert.

Die Spracherkennung ist also zu einem gewissen Grad davon abhängig, ob der Benutzer eine tadellose Gross-/Kleinschreibung aufwendet. Ein Wenn fliegen hinter fliegen fliegen, fliegen fliegen fliegen nach. (alles klein geschrieben) ist bedeutend schwieriger zu verstehen. Bleibt die Gross-/Kleinschreibung aus, kommt die Erkennung der Wortarten mit einer gewissen Unschärfe daher. Dennoch bleibt es immer machbar, die möglichen Wortartkombinationen zu interpretieren. Beim ersten musterbasierten Durchlauf werden fliegen also sowohl als Substantiv als auch als Verb vermerkt. Beim zweiten Durchlauf wird es dann offensichtlich, dass die Aufschlüsselung nicht {Konjunktion} {Verb} {Präposition} {Verb} {Verb}, {Verb} {Verb} {Verb} {Präposition} lauten kann. Da fehlt schlichtweg das Subjekt – ein Substantiv – im Satz. Nun kann die KI die Wortart-Kombinationen durchprobieren, um einen grammatikalisch gültigen Satz identifizieren zu können. Zwar könnte es auch hier manchmal mehrere Variationen geben. Diese sind aber wenigstens auf ein Minimum reduziert. Und dann gibt es natürlich wie immer die vielen Ausnahmen, wie subjektlose Verben und das unpersönliche Passiv.

Die bisher geführte Diskussion zeigt, dass bisweilen von KI Unmenschliches abverlangt wird. Wer eine unsaubere oder hochgradig komplexe Anweisung eingibt, zeigt sich oftmals enttäuscht, dass diese nicht richtig verstanden oder auf sie reagiert wurde. Aber mal ehrlich: Wieviele Menschen sehen sich in der Lage, mit einer solchen Anweisungen direkt und auf Anhieb richtig umgehen zu können?

Hier wird es wichtig, dass die Mustererkennung mit einer gewissen Unschärfe funktioniert. Dies kann mit Wildcards (Regulären Ausdrücken) oder mit entsprechenden Ähnlichkeitsanalysen (z.B. levenshtein, similar_text, soundex und metaphone in PHP) erreicht werden. Diese Ansätze sind aber mit kostenintensiven Rechenaufwänden verbunden und können eine Sprachanalyse stark verlangsamen. Im Rahmen unserer Forschung zeichnet sich ab, dass (grammatikalischer) Reduktionismus der richtige Weg ist. Man stützt sich zum Beispiel auf dem Wortstamm ab und arbeitet sich dann zu Flexionsendung, Vor- oder Nachsilben vor.

Implementierung pro Sprache

Es zeigt sich, dass zur Erreichung eines Sprachverständnisses die grammatikalischen Eigenschaften einer Sprache vollumfänglich erkannt werden müssen. Das gleiche Modell kann zwar auf andere Sprachen übertragen werden. Es reicht aber nicht, die Inhalte zu ändern (also zu übersetzen). Andere Sprachen kennen zum Beispiel unterschiedliche Wortarten, Deklination oder Numerus. Slawische Sprachen kennen sechs statt vier Kasus (zusätzlich Instrumental und Präpositiv). Und im Englischen wird der Plural eines auf Y endenden Worts plötzlich mit dem Suffix -ies gebildet (z.B. Baby ⇒ Babies).

Antworten

Die Genauigkeit der Spracherkennung macht es nun möglich, die richtige Reaktion auszulösen. Dabei gilt eine Reaktion als richtig, wenn sie syntaktisch und semantisch sinnvoll ist. Die einfachste Form der Gewährleistung dieser Sinnvolligkeit ist eine harte Verknüpfung von Frage/Antwort-Paaren.

Einer KI müssen diese Antwortmuster beigebracht werden. Die Antwortpaare können zum Beispiel bei der Entwicklung in der Datenbank gespeichert werden. Oftmals wird diesem Ansatz aber unterstellt, dass er keine echte Intelligenz erzeugen kann. Dabei wird gerne aus den Augen verloren, dass das Lernen von Kindern genauso abläuft. Auch da müssen Vorgaben gemacht und stetig wiederholt werden. Intelligenz ist weder spontan da noch wird sie plötzlich initiiert.

⇒ YouTube Video

Mehrere Antworten

Das statische Verlinken von Frage/Antwort-Paaren als 1:1-Beziehung kann aber im Betrieb tatsächlich das Gefühl erzeugen, als habe man es mit einer dumben Maschine zu tun, die den Kontext nicht nachvollziehen könne (was sie bis zum jetzigen Zeitpunkt auch nur bedingt machen kann). Aus diesem Grund ist es empfehlenswert, n:m-Beziehungen zu erzeugen. Einer Frage können verschiedene Antworten folgen. Diese können entweder in ihrer Form oder gar im Inhalt voneinander abweichen. Die Frage Wie geht es Dir? könnte heute ganz anders beantwortet werden als morgen.

Manchmal ist es gar erforderlich, dass eine Antwort anders ausfällt. Und zwar dann, wenn sich Situationen und Umstände geändert haben. Zum Beispiel dann, wenn der KI gesagt wird, dass ihre Antwort falsch ist. Weist sie eine gewisse Lernfähigkeit auf, müsste sie diese nutzen können, um im Nachgang die richtige Antwort ausgeben zu können.

Lernen

Die Fähigkeit zu lernen wird als wichtiges Element von Intelligenz wahrgenommen. Eine KI sollte also nach Möglichkeiten eine solche Lernfähigkeit mitbringen.

Viele einfache KIs können trainiert werden. Dies kann entweder passiv oder aktiv geschehen. Ein passives Training bietet sich an, um eine stetige Verbesserung der Antwortdatenbank vorantreiben zu können. Dies kann zum Beispiel durch Spiegelung stattfinden. Nehmen wir folgenden Dialog:

1. Benutzer: Wie geht es Dir?
2. KI: Ich weiss es nicht. Wie geht es Dir?
3. Benutzer: Mir geht es gut.

Die KI drückt in ihrer Antwort ihr Unwissen über das Befinden aus, spiegelt die Frage an den Benutzer zurück. Dieser gibt eine Antwort, welche wiederum in die Antwortdatenbank gespeichert wird. Wenn also zukünftig jemand die KI Wie geht es Dir? fragt, dann wird sie mit Mir geht es gut. antworten können. Den Kontext dieses versteht sie aber nur bedingt, folgt also lediglich dem Lernen am Modell, wie es kleine Kinder tun würden.

Passives Lernen von Antwortketten

Das Lernen muss nicht zwingend, wie in diesem Beispiel, mit einer initialen Gegenfrage geschehen. Die KI kann auch passiv Antwortketten dokumentieren und rezitieren. Wenn zukünftig ein Dialog ab einem bestimmten Punkt einsetzt, kann die KI den vorangegangenen Dialog mit gleicher Struktur nachspielen. Dabei kann sie beide Seiten des Gesprächs einnehmen.

Hierbei besteht die Gefahr, wie generell bei einer trainingsfähigen KI, dass sie unabsichtlich oder absichtlich kaputttrainiert wird. Einerseits lernt sie das Gesprächsverhalten der Gesprächspartner nachzubilden. Falls sich diese rauh oder gar obszön geben, wird sich dies auf die KI abfärben. Böswillige Gesprächspartner können dies absichtlich vorantreiben, um eine möglichst vulgäre KI mitgestalten zu können.

Aus diesem Grund ist es empfehlenswert, einen moralischen und ethischen Widerstand einzuführen. Dieser prüft vor dem Lernen, ob damit ein moralischer oder ethischer Widerspruch erzeugt wird. Ist dies der Fall, kann sich für die konservative Variante entschieden werden. Der einfachste Ansatz ist, obszöne Begriffe zu erkennen und Antworten dementsprechend zu taxieren. Das Erkennen von passiver Aggressivität (Sarkasmus und Zynismus) ist damit aber genau nicht möglich.

Explizite Lernanweisungen

Manche KI reduzieren ihre Lernfähigkeit deshalb auf explizite Lernanweisungen. Diese kann sich typischerweise im Rahmen eines Gesprächs ergeben:

1. Benutzer [Frage]: Welche Farbe hat ein Ferrari?
2. KI [Antwort 1a]: Ein Ferarri ist ein Auto. Autos sind oftmals schwarz.
3. Benutzer [Korrektur]: Nein, ein Ferrari ist typischerweise rot.
4. KI [Bestätigung]: Das nehme ich zur Kenntnis.
5. Benutzer [Frage]: Welche Farbe hat ein Ferrari?
6. KI [Antwort 1b]: Ein Ferrari ist typischerweise rot.

Hierbei sollte man nach wie vor dem n:m-Prinzip Folge zu leisten. Es sollten mehrere verschiedene Antworten möglich sein. Diese können zum Beispiel an Sessions oder Benutzer gebunden werden oder sich am erweiterten Kontext orientieren.

Zusätzlich sollte das Gewicht einer Antwort mit der Zunahme ihrer korrekten Nutzung steigen. Wenn man die KI also von nun an immer wieder darauf hinweist, dass Ferraris tendenziell rot sind, dann steigt das Gewicht dieser Antwort. Umso höher das Gewicht ist, desto eher wird sie als Antwort – auch wenn im Rahmen der Spracherkennung kein genauer Treffer ausgemacht werden konnte – herangezogen werden. Erst ein Korrigieren durch den Benutzer kann das Gewicht verringern oder im Extremfall die Antwort ersetzen und damit obsolet machen.

Erinnerung

Falls die KI mit einer Lernfähigkeit daherkommt, bringt sie eigentlich auch so etwas wie Erinnerung mit. Diese Erinnerung ist aber als Teil des Frage/Antwort-Paars fest verdrahtet und somit als Langzeitgedächtnis anzusehen. Frage/Antwort-Paare sind zudem standardmässig sitzungs- und benutzerübergreifend.

Kurzzeitgedächtnis

Um eine menschliche Dynamik in einem Gespräch erreichen zu können, muss dementsprechend ein Kurzzeitgedächtnis gewährleistet werden. Dies kann erreicht werden, indem Informationen an Sessions und/oder Benutzerbeziehungen geknüpft werden. Vom Prinzip her funktionieren sie gleich, wie auch das Langzeitgedächtnis. Technisch werden sie aber anders umgesetzt:

• Langzeitgedächtnis: Frage/Antwort-Paar in Datenbank
• Kurzzeitgedächtnis (benutzerübergeifend): Attributisierung in Datenbank
• Kurzzeitgedächtnis (benutzerexklusiv): Attributisierung in Datenbank oder Session

Prioritäten

Die verschiedenen Gedächtnisbildungen geniessen unterschiedliche Prioritäten. Wenn etwas im Kruzzeitgedächtnis exklusiv für den Benutzer abgelegt wurde, ist es dem benutzerübergreifenden Kurzzeitgedächtnis und vor allem dem Langzeitgedächtnis vorzuziehen.

Einübung für Langzeitgedächtnis

Im menschlichen Gehirn führt eine fortwährende Einübung der Informationen im Kurzzeitgedächtnis zu einer Ablage im Langzeitgedächtnis. Dies kann bei einer KI ebenso gehandhabt werden. Irgendwann werden die Informationen Teil der festen Fragen/Antwort-Datenbank. Also dann, wenn sie ein gewisses logisches Gewicht erreicht haben. Hierbei muss aber die Vertraulichkeit von persönlichen Informationen gewährleistet werden. Ein an die KI anvertrautes Geheimnis darf nicht plötzlich in anderen Gesprächen miteinbezogen werden.

Gefühle

Mechanische Interaktion wird nie das Gefühl von Menschlichkeit erzeugen können. Um dies erreichen zu können, muss die KI selbst gewisse Gemütszustände kennen und Gefühle ausdrücken können.

Veränderung durch Reize

Wird eine KI zum Beispiel mehrfach von einem Benutzer beleidigt, sollte sie sich die Möglichkeit vorbehalten, zukünftig eher zurückhaltend reagieren zu können. Zu diesem Zweck muss die KI im Rahmen der Spracherkennung die Gefühlserkennung des Benutzers durchführen können. Dies kann wiederum durch eine Mustererkennung geschehen und gar Teil des Frage/Antwort-Paars in der Datenbank sein. In einer zusätzlichen Spalte in der Datenbank kann für jeden Eintrag vermerkt werden, welchen Einfluss dieser auf die Gemütszustände ausführen wird.

Der aktuelle Gemütszustand wird in einer separaten Tabelle, dies kann systemübergreifend oder an Benutzer gebunden sein, festgehalten. Nachfolgend wird ein kleiner Auszug gezeigt, wobei in der Spalte Status ein Wert von 0 bis 10 zu finden ist. Umso höher der Wert ausfällt, desto eher hat sich das entsprechende Gefühl momentan manifestiert.

Wir die KI nun plötzlich mit der immerwährend gleichen Frage konfrontiert, kann bei jedem Zugriff die Aufmerksamkeit um 1 abnehmen. Ab einem gewissen Punkt (z.B. Threshold bei <5) kann die KI dann darauf aufmerksam machen, dass das Gespräch eher unspannend wirkt. Und ab dem Wert 0 wird nur noch mit möglichst kurzen Sätzen geantwortet.

Das Verhalten der KI sollte sich daran orientieren, was der Benutzer mit seinen Aktionen erreichen möchte. Ist ein Benutzer zum Beispiel im Gespräch plötzlich genervt, kann dies auf fehlerhafte Antworten der KI zurückzuführen sein. Dies kann zur Abnahme des Selbstvertrauen der KI führen. Und dies wiederum würde erzwingen, dass von nun an nur noch Antworten vorgetragen sind, die zu einer hohen Wahrscheinlichkeit korrekt sind. Dadurch kann das Vertrauen beim Benutzer zurückgewonnen werden.

Möglichkeit der Regenerierung

Die Gefühle sollen also in erster Linie die Form der Antworten der KI beeinflussen. Die Funktionsweise selbst sollte nach Möglichkeiten nicht eingeschränkt werden. Ansonsten könnte die KI als eingeschnappt und funktional eingeschränkt wahrgenommen werden.

Aus diesem Grund sollten sich negative Gefühle über die Zeit automatisch wieder regenerieren. Dies kann effektiv mit einem Timer geschehen (z.B. alle 10 Minuten ein +1 bei aufmerksam bis wieder 7 erreicht ist) oder pauschal bei jeder neuen Anfrage (z.B. immer +10%).

Fazit

Das möglichst menschliche Verhalten einer KI ist wichtig, damit diese als equivalenter Ersatz oder annehmbare Ergänzung wahrgenommen werden kann. Zu diesem Zweck muss ein umfangreiches Sprachverständnis eingebracht werden, um auf die Anfragen richtig reagieren zu können. Zusätzliche Eigenschaften wie Lernfähigkeit und das Abbilden von Gemütszuständen helfen dabei, nicht als maschineller Roboter degradiert zu werden. Eine technische Umsetzung ist durchaus möglich, aber mit sehr viel Aufwand verbunden. Hier hat die Forschung noch viel aufzuholen.

• Trump Administration Asks OpenAI to Stagger Release of New Model Over Security Concerns (theinformation.com)
• AI Collapses on a Classic Psychology Test. What It Reveals Could Stall Human-Level AI. (singularityhub.com)
• Is your AI attack surface already exposed? Tenable telemetry says yes. (tenable.com)
• Inside the dark web: Stolen identities for 95, malware, and scams-for-hire (malwarebytes.com)
• Artificial intelligence-based law firm wins in court (computerweekly.com)
• Towards secure, autonomous agents with information-flow control (IFC) (commandline.microsoft.com)
• Mini Shai-Hulud, Miasma, and Hades Worms Target Bioinformatics and MCP Developers via Malicious PyPI Wheels (socket.dev)
• AMD denies researcher a $10,000 bug bounty after fixing critical auto-updater vulnerability security flaw took 124 days to patch (tomshardware.com)
• Google sues alleged Chinese cybercrime operation that used AI to send scam texts (techcrunch.com)
• A narrowing window to understand AI (science.org)
• Pokemon Go Scans Quietly Trained The Navigation Tech Now Headed Into Military Drones (dronexl.co)
• What you need to know about CISA BOD 26-04 (tenable.com)
• The U.S. Military Quietly Turned GPS Into a Global ‘Numbers Station,’ Evidence Suggests (404media.co)
• Mythos Grading Mythos: Got Patches Yet? (flyingpenguin.com)
• Remote work – not AI – has sidelined recent college graduates, research finds (npr.org)
• AI Can Now Design and Run Thousands of Experiments Without Human Hands. We Aren’t Ready for the Risk to Biosecurity. (singularityhub.com)
• AI Agents Enable Adaptive Computer Worms (arxiv.org)
• Hackers Used Meta’s AI Support Bot to Seize Instagram Accounts (krebsonsecurity.com)
• Anatomy of an LLM Inference Request on DGX Spark (blog.kubesimplify.com)
• LLM reasoning, automated: tokens drop 69.5% (venturebeat.com)
• Why Tesla’s AI trainers don’t trust its self-driving tech – or its safety stats (reuters.com)
• Websites have a new way to spy on visitors: analyzing their SSD activity (arstechnica.com)