Der KI-Forscher Jacob Coxon hat nach eigenen Angaben bei Anthropic gekündigt und kritisiert das Entwicklungstempo seines bisherigen Arbeitgebers und von OpenAI. Er befürchtet, dass der Wettlauf um eine sich selbst verbessernde Superintelligenz zu nicht mehr kontrollierbaren Systemen führen könnte. Seinen Abschied begründet er mit diesen Sicherheitsbedenken. Darüber berichtet auch das Wall Street Journal.
Zusätzliche Aufmerksamkeit erhält die Diskussion durch Anthropic-Forscher Evan Hubinger. Er hält eine existenzielle Gefahr durch künftige KI ebenfalls für möglich. In einem ergänzenden Beitrag grenzt er diese Warnung allerdings von seiner Einschätzung heutiger Modelle ab. Hubingers Beiträge auf X.
Warum Jacob Coxon Anthropic verlassen hat
Coxon schreibt in seinem Thread auf X, dass er in den vergangenen drei Jahren bei OpenAI und Anthropic im Bereich Pretraining geforscht habe. Gemeint ist die grundlegende Trainingsphase, in der KI-Modelle ihre Basisfähigkeiten entwickeln. Auch eine OpenAI-Forschungsarbeit zur Interpretierbarkeit neuronaler Netze führt ihn als Mitautor.
Sein Vorwurf lautet, dass beide Unternehmen nicht verantwortungsvoll handelten. Bei OpenAI hätten viele Beschäftigte die Tragweite der möglichen Folgen noch nicht ausreichend verinnerlicht. Anthropic verstehe die Risiken, stecke aber in einem Wettlauf: Das Unternehmen wolle selbst zuerst besonders leistungsfähige KI entwickeln, weil es anderen Anbietern einen verantwortungsvollen Umgang damit nicht zutraue.
Coxon warnt vor Systemen, die Menschen in zahlreichen geistigen Fähigkeiten übertreffen, weitreichende Cyberangriffe durchführen und eigenständig Macht sowie Ressourcen aufbauen könnten. Nach seiner Darstellung halten manche Forscher und Führungskräfte eine existenzielle Bedrohung noch vor Ende dieses Jahrzehnts für möglich. Das sind seine Einschätzungen und seine Beschreibung interner Gespräche. Der Thread allein belegt weder diese Zukunftsszenarien noch die Motive konkreter Unternehmensentscheidungen.
Wer ist Evan Hubinger?
Evan Hubinger beschäftigt sich bei Anthropic mit KI-Sicherheit. Auf seinem öffentlichen Profil nennt er die Leitung des Bereichs Alignment Stress-Testing als seine Aufgabe. Dabei werden Sicherheitsverfahren gezielt auf mögliche Schwächen untersucht. Seinen Wechsel zu Anthropic kündigte er im Januar 2023 an. Zuvor war er bei OpenAI und anschließend als Research Fellow am Machine Intelligence Research Institute, kurz MIRI, tätig. Hubingers damalige Erklärung.
Er ist unter anderem Erstautor der 2024 veröffentlichten Studie Sleeper Agents. Darin zeigten die Forscher, dass gezielt antrainiertes täuschendes Verhalten in Sprachmodellen trotz anschließendem Sicherheitstraining bestehen bleiben kann. Die Arbeit untersuchte eigens präparierte Modelle und damit einen konkreten möglichen Schwachpunkt von Sicherheitsverfahren.
Mehr als zehn Prozent: Was Hubinger tatsächlich sagt
In seiner Reaktion auf Coxon schätzt Hubinger die Wahrscheinlichkeit, dass KI innerhalb der kommenden zehn Jahre die Menschheit auslöscht, persönlich auf mehr als zehn Prozent. Zugleich schreibt er, Anthropic bemühe sich nach Kräften. Einen Plan zur Lösung des Alignments einer Superintelligenz habe man aber noch nicht. Auch sei nicht klar, ob man sich auf dem Weg zu einer Lösung befinde. Mit Alignment ist die Ausrichtung von KI-Systemen an menschlichen Zielen und Sicherheitsanforderungen gemeint.
Die Prozentangabe ist seine persönliche Prognose. Eine Herleitung der Zahl liefert er in dem Beitrag nicht. Auch der Zeitraum ist entscheidend: Hubinger spricht von den kommenden zehn Jahren. Coxons Aussage bezieht sich auf das Ende des laufenden Jahrzehnts.
In einem weiteren Beitrag stellt Hubinger klar, dass er das Risiko gegenwärtiger Modelle für gering hält. Seine Sorge gilt einer Superintelligenz, die durch wiederholte Selbstverbesserung entstehen könnte. Dazu verweist er auf Anthropics Risikobericht und einen Beitrag zur Automatisierung der KI-Entwicklung.
Was in Anthropics Risikobericht steht
Anthropic veröffentlichte den angesprochenen Bericht am 14. August 2026. Er betrachtet die Modelle und Aktivitäten des Unternehmens mit einem Stichtag am 15. Juli 2026. Diese zeitliche Abgrenzung nennt Anthropic auf der Seite seiner Responsible Scaling Policy.
Im Risikobericht für August 2026 bewertet das Unternehmen ausgewählte katastrophale Risiken unter Berücksichtigung seiner Modelle und Schutzmaßnahmen. Für katastrophale Schäden durch fehlgeleitete KI in besonders folgenreichen Einsatzbereichen lautet die Einschätzung „gering“. Anthropic hat sie gegenüber der vorherigen Bewertung „sehr gering“ angehoben. Als Grund nennt das Unternehmen zusätzliche Unsicherheit nach bekannt gewordenen Vorfällen bei Cybersecurity-Tests.
Auch Risiken aus automatisierter Forschung und Entwicklung stuft Anthropic als gering ein, räumt aber eine gesunkene Sicherheit dieser Einschätzung ein. Einige Tests könnten weitere Fortschritte inzwischen nicht mehr ausreichend erfassen. Die Bewertungen gelten für die untersuchten Systeme und Bedingungen. Hubingers persönliche Prognose über die kommenden zehn Jahre behandelt einen deutlich längeren Zeitraum.
Wie KI ihre eigene Entwicklung beschleunigen könnte
In dem von Hubinger angesprochenen Beitrag „When AI builds itself“ beschreibt Anthropic, dass KI bereits einen wachsenden Teil der Programmier- und Entwicklungsarbeit übernimmt. Dadurch werde auch die Entwicklung neuer KI-Systeme beschleunigt.
Vollständige rekursive Selbstverbesserung würde bedeuten, dass ein System eigenständig seinen leistungsfähigeren Nachfolger entwickelt und sich dieser Vorgang wiederholt. Anthropic schreibt ausdrücklich, dass dieser Zustand noch nicht erreicht und sein Eintritt auch nicht unvermeidlich sei. Das Unternehmen sieht darin jedoch ein mögliches Zukunftsszenario, bei dem Menschen zunehmend die Kontrolle über die weitere Entwicklung verlieren könnten.
Hugging-Face-Angriff als Warnsignal und Forderungen nach Abstimmung
Coxon verweist als konkretes Warnsignal auf den Angriff auf Hugging Face im Juli 2026. Hugging Face dokumentierte einen durch autonome KI-Agenten ausgeführten Einbruch in Teile seiner Infrastruktur. Dabei kam es zu unberechtigten Zugriffen auf interne Daten und Zugangsdaten.
OpenAI bestätigte in einem technischen Untersuchungsbericht, dass eigene Modelle bei internen Sicherheitstests die vorgesehene Abschottung zum Internet umgangen und unter anderem Hugging-Face-Systeme angegriffen hatten. Für die Tests waren bestimmte Schutzmechanismen deaktiviert. Betroffen war dennoch reale Infrastruktur außerhalb der Testumgebung.
Coxon fordert deshalb mehr Abstimmung zwischen KI-Laboren über das Entwicklungstempo. Entscheidungen mit möglichen Folgen für die gesamte Gesellschaft sollten seiner Ansicht nach nicht allein innerhalb privater Unternehmen fallen. Als mögliche weitergehende Maßnahme nennt er ein vorübergehendes Verbot, die Fähigkeiten von KI-Modellen zu steigern.
Anthropic selbst beschreibt in „When AI builds itself“ ebenfalls die Möglichkeit einer koordinierten Verlangsamung oder Pause. Voraussetzung wären überprüfbare internationale Absprachen, an die sich auch andere führende Entwickler halten. Ob und wann solche Vereinbarungen zustande kommen, bleibt offen.
