Microsoft-Chef Nadella warnt vor KI-Risiken – und hat mit Copilot selbst einiges zu tun

Microsoft-Chef Satya Nadella hat sich auf X ausführlich über die Risiken autonomer KI-Systeme geäußert. Sein Vorschlag: KI-Modelle sollen in Unternehmen grundsätzlich wie potenzielle interne Sicherheitsrisiken behandelt werden. Sie sollen möglichst wenig Berechtigungen erhalten, ihre Aktionen müssen überprüfbar bleiben und im Zweifel muss sich ein Agent sofort abschalten lassen. Ausgerechnet Microsoft, das Copilot inzwischen in nahezu jede Ecke seines Produktportfolios integriert, fordert damit strengere Grenzen für den Einsatz solcher Systeme.

KI-Agenten werden zum Sicherheitsproblem

Nadella begründet seine Forderungen mit einem grundlegenden Unterschied zwischen klassischer Software und modernen Sprachmodellen. Bei herkömmlichen Anwendungen lässt sich ein unerwartetes Verhalten häufig bis zu einer bestimmten Codezeile zurückverfolgen. Bei KI-Modellen funktioniert das nicht ohne Weiteres. Trotzdem erhalten solche Systeme zunehmend Zugriff auf E-Mails, Dokumente, Datenbanken und andere Unternehmensanwendungen. Einige Agenten dürfen darüber hinaus eigenständig Änderungen vornehmen oder Aktionen auslösen. Nadella möchte deshalb nicht allein auf Sicherheitsvorgaben innerhalb der Modelle vertrauen. Die Kontrolle darüber, welche Daten ein Agent lesen und welche Aktionen er ausführen darf, soll außerhalb des eigentlichen KI-Modells liegen.

Copilot soll möglichst viel erledigen

Microsoft verfolgt mit Copilot bekanntlich einen ziemlich umfassenden Ansatz. Der Assistent steckt unter anderem in Windows und Microsoft 365. Mit zusätzlichen Agenten sollen sich auch komplexere Arbeitsabläufe automatisieren lassen. Damit wächst allerdings genau das Problem, das Nadella jetzt beschreibt. Ein KI-Agent, der lediglich eine Frage beantwortet, richtet im Fehlerfall vergleichsweise wenig Schaden an. Sobald er auf Unternehmensdaten zugreifen, Dateien bearbeiten oder Aktionen in anderen Anwendungen ausführen darf, sieht die Sache anders aus. Dass Microsoft diese Risiken nun besonders ausführlich thematisiert, hat durchaus eine gewisse Komik. Schließlich arbeitet der Konzern selbst daran, Copilot immer mehr Aufgaben und Zugriffsmöglichkeiten zu geben.

Nadella fordert eine Notbremse

Nach Nadellas Vorstellungen müssen Unternehmen sämtliche relevanten Aktionen ihrer KI-Systeme nachvollziehen können. Dazu gehören manipulationssichere Protokolle, unabhängige Prüfungen und regelmäßige Sicherheitstests. Außerdem sollen berechtigte Mitarbeiter jederzeit eingreifen können.

Ein autonomer Agent muss sich auch während einer laufenden Aufgabe stoppen lassen, ohne dass dafür die Zustimmung des Modells erforderlich ist. Das klingt zunächst selbstverständlich. Bei zunehmend selbstständig arbeitenden KI-Agenten ist eine solche Trennung zwischen Modell und technischer Kontrolle allerdings keineswegs trivial.

Auch die Gedankengänge bleiben ein Problem

Nadella fordert außerdem Transparenz bei der sogenannten Chain of Thought. Gemeint sind die Zwischenschritte, die ein KI-Modell bei der Bearbeitung einer Aufgabe ausgibt. Allerdings räumt er selbst ein, dass diese Ausgaben nicht zwangsläufig zuverlässig erklären, wie das Modell tatsächlich zu einem Ergebnis gekommen ist. Auch eine zusätzliche KI, die eine andere KI überwacht, löst dieses Problem nicht automatisch. Deshalb sollen Sicherheitsprüfungen unabhängig vom Modell erfolgen. Ein Agent darf weder seine eigenen Berechtigungen festlegen noch die Protokolle kontrollieren, anhand derer sein Verhalten später untersucht wird.

Die Sicherheitslösungen liefert Microsoft gleich mit

Bei der Umsetzung solcher Vorgaben könnte Microsoft selbst zu den Profiteuren gehören. Mit Azure, Entra ID, Purview und weiteren Sicherheitsprodukten verfügt der Konzern bereits über ein umfangreiches Angebot für Zugriffsverwaltung, Überwachung und Compliance. Microsoft verdient damit nicht nur an Copilot und der zugrunde liegenden KI-Infrastruktur, sondern auch an den Werkzeugen, mit denen Unternehmen deren Einsatz absichern können. Sollten Nadellas Vorstellungen zu verbindlichen Branchenstandards werden, könnten insbesondere kleinere Anbieter mit zusätzlichen Anforderungen konfrontiert werden. Dass Microsoft damit gezielt die Konkurrenz ausbremsen möchte, lässt sich aus seinem Beitrag allerdings nicht belegen.

Erst Copilot überall, jetzt strengere Regeln

Nadella fordert keinen Stopp der KI-Entwicklung. Er will vielmehr klare technische Grenzen für Systeme, die zunehmend eigenständig handeln dürfen. Seine Vorschläge sind in weiten Teilen bekannte Grundsätze der IT-Sicherheit. Minimale Berechtigungen, unabhängige Zugriffskontrollen und nachvollziehbare Protokolle gehören seit Jahrzehnten zum Handwerkszeug von Administratoren. Neu ist vor allem, dass Microsoft diese Prinzipien nun ausdrücklich auf KI-Modelle und autonome Agenten übertragen möchte. Während der Konzern Copilot immer tiefer in seine Produkte integriert, erklärt dessen Chef gleichzeitig, warum man solchen Systemen grundsätzlich misstrauen sollte. Für Microsoft könnte daraus ein durchaus einträgliches Geschäft werden: erst die KI in möglichst viele Unternehmensabläufe bringen und anschließend die Werkzeuge verkaufen, mit denen sich ihre Risiken kontrollieren lassen.