Moderne Chatbots - Erweiterte Gefahren und Risiken

Moderne Chatbots

Erweiterte Gefahren und Risiken

Marc Ruef
von Marc Ruef
am 23. März 2023
Lesezeit: 8 Minuten

Keypoints

Diese Gefahren gehen von modernen Chatbots aus

  • Moderne Chatbots wie ChatGPT haben einen weitreichenden gesellschaftlichen Einfluss
  • Dabei gibt es verschiedene Risiken für Betreiber und Benutzer entsprechender Systeme
  • Dies beginnt mit Geheimhaltung und Privatsphäre, fehlerhaftem Antwortverhalten, problematische Narrative und der Malware
  • Grundsätzlich müssen Systeme ein Mehr an Transparenz mitbringen, um Vertrauen aufbauen und wahren zu können

Wahrscheinlich keine andere technische Entwicklung hatte in den letzten Jahren so eine gesellschaftliche Diskussion entfacht, wie ChatGPT. Der Chatbot vermag mit einem sehr hohen Sprachverständnis und einer weitreichenden Wissensdatenbank zu überzeugen. Es ist absehbar, dass durch solche Systeme viele Berufszweige in Bedrängnis geraten werden. Doch durch derartige Lösungen werden zusätzliche Risiken für Betreiber und Benutzer eingeführt. Dieser Beitrag zeigt auf, welche Gefahren es zu beachten gilt und wie diesen entgegnet werden kann.

ChatGPT basiert auf GPT, das mit grossen Datenmengen trainiert wird, um Sprachkompetenz zu erwerben. Die Fähigkeit, menschenähnliche Antworten zu geben, beruht auf dem Einsatz von Deep Learning, die es ermöglichen, Sprache und Bedeutung von Sätzen einzuordnen. Anschliessend wird maschinelles Lernen verwendet, um eine passende Antwort zu generieren, die auf den Daten und Informationen basiert, die während des Trainingsprozesses gesammelt wurden. Das System kann also nicht im menschlichen Sinne verstehen oder denken, sondern nähert sich an Texte an, die es einmal gelernt hat. Aus diesem Grund können Antworten je nach Komplexität der Frage und Verfügbarkeit von relevanten Informationen variieren.

Verletzung von Geheimhaltung und Privatsphäre

Chatbots interagieren mit Menschen. Im Dialog kann es gegeben sein, dass der Benutzer sensitive und sensible Daten preisgibt. Zum Beispiel, wenn eine KI-gestützte Offerte erstellt werden soll und zu diesem Zweck kundenspezifische Details eingegeben werden. Diese Daten werden für den KI-Betreiber zugänglich und könnten missbraucht werden.

Selbstlernende Systeme können diese Eingaben aber auch für weitere Verarbeitungen nutzen. Wenn also Benutzer A Details zu einem Kunden X eingibt, könnte Benutzer B bei einer ähnlichen Anfrage eben diese Details als Antwort erhalten.

Der mögliche Missbrauch reicht von Urheberrechtsverletzungen über Social Engineering-Angriffe bis hin Identitätsdiebstahl und Erpressungen. Aus diesem Grund ist es empfohlen, sehr vorsichtig mit sensiblen Anfragen umzugehen. Auf persönliche, sensible und kundenspezifische Angaben sollte weitestgehend verzichtet werden. Firmen sollten Richtlinien erlassen, wie mit solchen Systemen umgegangen werden darf. Dabei kann sich an den Vorgaben orientiert werden, die zum Beispiel schon bezüglich Online-Übersetzungsdienste erlassen wurden.

Fehlerhaftes Antwortverhalten

Moderne Chatbots werden anhand bestehender Datensätze trainiert. So können sie sich das entsprechende Wissen aneignen und auf Fragen kohärent reagieren – oder zumindest so tun, als ob sie sich ihrer Antworten sicher sind. Die Qualität und Quantität des Ursprungsmaterials ist massgeblich dafür verantwortlich, wie die Qualität der Reaktionen aussehen kann. Fehlerhaftes oder manipuliertes Material kann zu unliebsamen Effekten führen. Zum Beispiel können Unwahrheiten verbreitet werden und so das Konzept von Fake News befeuern.

Eine langfristige Gefahr, die stetig wachsen wird, ist durch Feedback-Loops gegeben. Was passiert, wenn Chatbots auf Daten trainiert werden, die durch Chatbots generiert wurden? Fehlerhafte Daten werden so verstärkt und werden durch Systeme als absolute Wahrheiten etabliert.

Die durch Chatbots generierte Antworten sind deshalb immer auf ihre inhaltliche Richtigkeit hin zu prüfen. Dabei spielt es keine Rolle, ob eine Kurzbiogarphie, eine Zusammenfassung einer Newsmeldung oder einer Grobofferte erstellt wurde. Eine Plausibilitisierung dieser Art setzt natürlich voraus, dass der Benutzer des Systems die Inhalte verstehen und einordnen kann. Das Generieren von Resultaten ist jeweils einfach. Das Einordnen und Gewährleisten der Qualität setzt hingegen ein weitreichendes Verständnis voraus.

Ein Chatbot-Anbieter sollte eine unkomplizierte Möglichkeit zur Verfügung stellen, fehlerhafte Dialoge als solche markieren und Änderungsvorschläge einreichen zu können. Durch die rege Mitarbeit der Nutzer kann so die Qualität der Lösung erhöht werden.

Verstärken von problematischen Narrativen

Beim Training von Chatbots wird durch die Betreiber der Datensatz definiert und mit ihm die Gewichtung der einzelnen Aussagen. Dies ist unweigerlich mit einer gewissen tendenziösen Subjektivität verknüpft. Durch diese kann es gegeben sein, dass gewisse Narrative sehr ausgrepägt zur Geltung kommen, andere hingegen marginalisiert werden. Problematische, beleidigende und diskriminierende Effekte können verstärkt werden.

Beim Trainieren von Chatbots muss auf die Qualität des Datensatzes Wert gelegt werden. Die Gewichtung einzelner Aussagen muss sorgfältig ausarbeitet werden, wobei gewisse Tendenzen markiert oder rigoros verhindert werden müssen. Ungefilterte frauenfeindliche und rassistische Aussagen sowie das Verbreiten von skurrilen Verschwörungstheorien können keinen Nutzen mitbringen.

Auch hier sollten Anbieter entsprechende Funktionen bereitstellen, um problematische Inhalte unkompliziert melden zu können. In einem Moderationsverfahren sollten diese dann geprüft, angepasst oder verhindert werden.

Grosse Hersteller wie Microsoft und Google sind durch ChatGPT unter Druck gekommen und wollen den lohnenswerten Markt nicht ohne Kampf dem Mitbewerber überlassen. Dabei ist zu beobachten, dass man durch das partielle Reduzieren oder gänzliche Abschaffen der Ethik-Teams einen Vorteil erlangen will. Dies mag auf kommerzieller Ebene kurzfristig der Fall sein. Langfristig wird sich diese Entscheidung jedoch rächen. Denn mit jeder problematischen Aussage verliert ein System an Vertrauen und Akzeptanz. Diese lässt sich nicht ohne weiteres zurückgewinnen wie Forschung aus dem Bereich Mensch-Maschine Vertrauen und Vertrauensherstellung gezeigt hat.

Verbreitung von Malware

Die Manipulation oder Kompromittierung eines Chatbots kann dazu führen, dass er Malware verbreitet. Dies kann, wie bei anderen Anwendungen auch, über Schwachstellen wie Cross Site Scripting oder SQL-Incjetion geschehen. Ein derartiger Angriff kann aber auch auf den Datenbestand stattfinden. Falls zum Beispiel ein Chatbot für das Genieren von Programmcode genutzt wird, könnte eine Manipulation dazu führen, dass bösartiger Code eingeschleust und in harmlos erscheinenden Dialogen ausgegeben werden kann.

Antworten von Chatbots müssen daher immer kontrolliert werden. Die Inhaltskontrolle ist auch bei Codebeispielen sorgfältig umzusetzen, um Sicherheitslücken in generiertem Code oder bösartige Codeteile nicht in produktiven Umgebungen auszuführen.

Fehlende Transparenz

Nicht selten kommt es vor, dass ein Chatbot mit einer Antwort aufwarten kann, die verblüffend sinnvoll daherkommt. Manchmal ist aber auch das Gegenteil der Fall. Wie dem auch sei, kann sich durch Nutzer das Bedürfnis manifestieren zu verstehen, wieso nun genau diese konkrete Antwort ausgewählt wurde. Doch die meisten Systeme lassen eine Transparenz dieser Art vermissen. Stattdessen liegt es an einem selbst, einen Dialog richtig einzuordnen und zu akzeptieren. Diese fehlende Möglichkeit von Einsichten kann zu einer gewissen Hörigkeit führen. Vor allem dann, wenn über Themen diskutiert wird, deren Inhalte und Tragweite durch Nutzer nicht oder nur eingeschränkt abgeschätzt werden können.

Es muss als erklärtes Ziel für Entwickler von KI-Lösungen gelten, dass ihre Produkte mit einem sogenannten Verbose-Modus daherkommen. Der Nutzer muss immer die Möglichkeit haben, eine Erklärung für ein Resultat zu verlangen. Bei Chatbots besteht eine simple Lösung darin, dass der Nutzer eine Warum-Frage stellen kann: Warum hast Du diese Antwort gegeben? Es liegt dann am Chatbot die Herleitung für das Resultat aufzuzeigen, um der eigenen Vorgehensweise ein gewisses Mass an Vertrauen mitgeben zu können. Bisher sind wir leider weiter davon entfernt, dass gegenwärtige Lösungen Mechanismen dieser Art anbieten können.

Fazit

Wie bei jeder Technologie gibt es Risiken im Zusammenhang mit ihrer Anwendung. Es ist daher entscheidend, dass Entwickler und Nutzer sich dieser Risiken bewusst sind und angemessene Massnahmen anstreben, um die Sicherheit und den Schutz der Chatbots geteilten Daten und Informationen zu gewährleisten.

Insgesamt bieten KI-basierte Chatbots in der Masse nun aufregende Möglichkeiten für die Mensch-Maschine-Interaktion. Aber es bleibt wichtig, mit skeptischem Optimismus heranzugehen und die Sicherheit des Systems und seiner Benutzer zu priorisieren.

Um Risiken zu minimieren, ist es wichtig, bewährte Verfahren in der Cybersicherheit zu befolgen. Es ist deshalb von entscheidender Bedeutung, Transparenz und Rechenschaftspflicht bei der Entwicklung und Bereitstellung von Chatbots zu wahren, einerseits in Bezug auf ethische Aspekte. Dabei müssen die gesetzlichen Verpflichtungen in Bezug auf den AI Act der EU beachtet werden. Die Regulierung von KI-Systemen in der EU (betrifft auch alle, die mit der EU Handel treiben wollen) kann unter Umständen eine generelles Verbot von textgenerierenden Systemen bewirken oder es werden sehr hohe Anforderungen an Betreiber gestellt, welche teils auch aus finanziellen Gründen schwer zu erfüllen sein werden.

Über den Autor

Marc Ruef

Marc Ruef ist seit Ende der 1990er Jahre im Cybersecurity-Bereich aktiv. Er hat vor allem im deutschsprachigen Raum aufgrund der Vielzahl durch ihn veröffentlichten Fachpublikationen und Bücher – dazu gehört besonders Die Kunst des Penetration Testing – Bekanntheit erlangt. Er ist Dozent an verschiedenen Fakultäten, darunter ETH, HWZ, HSLU und IKF. (ORCID 0000-0002-1328-6357)

Links

Sie wollen eine KI evaluieren oder entwickeln?

Unsere Spezialisten kontaktieren Sie gern!

×
Konkrete Kritik an CVSSv4

Konkrete Kritik an CVSSv4

Marc Ruef

scip Cybersecurity Forecast

scip Cybersecurity Forecast

Marc Ruef

Voice Authentisierung

Voice Authentisierung

Marc Ruef

Bug-Bounty

Bug-Bounty

Marc Ruef

Sie wollen mehr?

Weitere Artikel im Archiv

Sie brauchen Unterstützung bei einem solchen Projekt?

Unsere Spezialisten kontaktieren Sie gern!

Sie wollen mehr?

Weitere Artikel im Archiv