Worauf die Unternehmenssicherheit beim Einsatz von KI achten muss

Ein Expertenbeitrag von Peter Rost, Director Business Development bei der secunet Security Networks AG und Mitglied der Plattform Lernende Systeme

Der Text-Bot ChatGPT hat Künstliche Intelligenz in den Fokus der Öffentlichkeit gerückt. Die neuen KI-Modelle eröffnen Unternehmen viele Chancen, Geschäftsprozesse effizienter zu gestalten. Wie jedes technische Werkzeug bringen sie jedoch auch unerwartete Bedrohungen mit sich. Welche Risiken der Einsatz von Künstlicher Intelligenz für die Unternehmenssicherheit birgt und was für den Schutz von Unternehmen und ihrer Beschäftigten zu beachten ist, erklärt dieser Beitrag.

Das Sprachsynthese-Tool ChatGPT begeistert seit Ende 2022 die interessierte Öffentlichkeit – ruft aber auch Bedenken hervor. Die aktuelle Debatte um die künstlich erzeugten Texte verdeutlicht, dass jeder KI-Einsatz sowohl mit Vorteilen als auch Gefahren verbunden ist. Bei Recherchen, dem Verfassen von Mailentwürfen oder der Beantwortung von Standard-Kundenanfragen, kann der KI-Dienst viel Zeit ersparen. Andererseits lassen sich manche Schülerinnen und Schüler oder Studierende ihre Hausarbeiten vom KI-Onlinedienst verfassen. Das sabotiert im Ausbildungs- und Forschungskontext das eigentliche Anliegen, sich selbständig Wissen anzueignen und daraus eigene Positionen zu entwickeln. Noch dazu lässt sich auf den ersten Blick der maschinelle Ursprung der Texte kaum erkennen.

Im Unternehmenskontext ergeben sich durch unbedachten Einsatz von KI-Systemen etwa folgende mögliche Auswirkungen, denen zum Unternehmensschutz jeweils organisatorisch, prozessual, kaufmännisch-rechtlich und technisch begegnet werden muss:

Beispiel 1: Zur Automatisierung der Kundenkommunikation können Unternehmen KI-basierte Chatbots einsetzen. Diese könnten sich im Laufe längerer Konversationen allerdings diskriminierend äußern oder thematisch abschweifen, da sie eventuell mit Konversationen aus sozialen Medien trainiert wurden, die pauschalierende oder diffamierende Verläufe genommen haben, wie einst im Fall des Microsoft-Chatbots Tay. Denkbar ist auch, dass der Chatbot mutwillig von Dritten manipuliert wird, um Kunden zu verärgern. Vor dem Einsatz sollten etwa ausführliche Testreihen mit realistischen Kundeninputs stehen, um die Reputation des Unternehmens zu schützen und Klagen angegriffener Kunden zu vermeiden. Updates der KI-Zulieferer müssen jeweils erneut geprüft und freigegeben werden. Schließlich sollten Chatbots bei Wissenslücken nicht in repetitive Endlosschleifen abgleiten, sondern rechtzeitig menschliche Ansprechpartner einschalten. Hilfreich ist es, vor dem Einsatz des Chatbots vergleichbare Unternehmen oder Industrie- und Handelskammern nach ihren Erfahrungen mit Chatbots zu befragen.

Beispiel 2: KI-Systeme können das Monitoring großer Mengen an Überwachungskamera-Videomaterial unterstützen. Für die Mitarbeitenden in den Sicherheitszentralen ist die permanente Auswertung aller Kamerabilder nicht durchführbar. KI-Modelle können die digitalen Videostreams jedoch in Echtzeit analysieren. Dem Personal werden in Sekundenschnelle nur noch als relevant erkannte Anomalitäten zur gezielten Auswertung angezeigt. Jedoch könnten in unerwarteten Situationen, für die das KI-Modell nicht trainiert wurde, Falschalarme ausgelöst werden oder, noch schlimmer, notwendige Warnungen ausbleiben – Fehleinschätzungen, die bei menschlicher Beurteilung vermieden worden wären. Hintergrund: KI lernt in der Regel nicht wie ein Mensch, also prinzipbasiert, sondern symptombasiert. Die von Maschinen erkannten Unterscheidungsmerkmale zwischen „normal“ und „auffällig/potenziell gefährlich“ entsprechen nicht zwingend den von Menschen angewandten. Etwa könnten unterschiedliche Pixel-Auflösungen oder übersehene Copyright-Vermerke, Uhrzeiteinblendungen oder Logos im Trainingsbildmaterial vom KI-Modell fälschlicherweise als inhaltlich klassifizierend interpretiert werden und zu falschen Entscheidungen führen. Auch hier ist denkbar, dass die Trainingsdaten von Hackern manipuliert werden, um gezielte Fehlentscheidungen des Systems zu forcieren. Zudem liefern KI-Modelle bisher nur im Ausnahmefall Begründungen für ihre Entscheidungen, was etwa im Haftungsfall eine rechtliche Würdigung erschwert. Hier sind ausführliche Testreihen vor Ort und detaillierte Audits der Trainingsdaten beim KI-Anbieter angeraten.

Im Whitepaper der Plattform Lernende Systeme KI-Systeme schützen, Missbrauch verhindern sind weitere Szenarien und Maßnahmen zur Unterstützung der Unternehmenssicherheit aufgeführt.

KI-Modelle sind aus Sicht der Unternehmens-IT letztlich Computersysteme, die den typischen Angriffsszenarien ausgesetzt sind (vgl. Abbildung 3). Sie müssen bezüglich ihrer Verfügbarkeit, Integrität, Authentizität und Vertraulichkeit mindestens den technischen und organisatorischen Schutzanforderungen nach dem Stand der Technik genügen. Kaum eine böswillige IT-Manipulation durch externe Hacker oder Innentäter kann künftig ähnlich großen Schaden in Unternehmen und Behörden anrichten, wie ein gehacktes KI-System.  Künstliche Intelligenz wird häufig zur Automatisierung unternehmensweiter Kernprozesse eingesetzt. Wird das Verhalten des KI-Systems missbräuchlich verändert, kann dies zum Schaden der Organisation gereichen: oft lange Zeit unbemerkt, aber potenziell höchst effektiv. Von der Zutrittskontrolle zum hauseigenen Rechenzentrum bis zur Verschlüsselung aller KI-Daten gibt es eine Vielzahl von Sicherheitsmaßnahmen, die Organisationen beachten sollten oder müssen (vgl. Abbildung 1). Dies gilt insbesondere, wenn sie etwa in den Regelungsbereich des IT-Sicherheitsgesetzes 2.0, der europäischen NIS2-Richtlinie oder branchenspezifischer Vorschriften wie etwa der MARisk für den Finanzsektor fallen. Hilfestellung zum Einstieg in systematische IT-Sicherheitskonzepte bieten hier etwa das für kleine und mittlere Unternehmen konzipierte CISIS12-Modell, Informationen zum Stand der Technik der IT-Sicherheit oder das IT-Grundschutzkompendium des Bundesamts für Sicherheit in der Informationstechnik.

Neben diesen augenfälligen Beispielen für Unternehmensrisiken im Zusammenhang mit KI gibt es eine Vielzahl weiterer Herausforderungen, die durch den Einsatz von KI entstehen. So muss etwa bei der Verarbeitung personenbezogener Trainings- und Vorgangsdaten der Konflikt zwischen den Archivierungs- und Datenlöschungsinteressen datenschutzrechtlich einwandfrei aufgelöst werden.

Diese Überlegungen sollten jedoch nicht dazu führen, dass Erprobung und Einsatz von KI als produktivitäts- und qualitätssteigerndes Instrument vermieden werden. Ihr potenzieller Nutzen übersteigt bei adäquatem Schutz vor unbefugter Manipulation durch Cyberkriminelle und bei Beachtung von Entscheidungstransparenz, Diskriminierungsfreiheit und Datenschutz die Risiken erheblich. Dies gilt auch im Bereich der Unternehmenssicherheit – gerade dann, wenn ihr Betrieb hochautomatisiert ablaufen soll.