AI

Wenn KI handelt, reicht eine Richtlinie nicht mehr

4 Min. Lesezeit
Mittwoch, 30. September 2026

Wie Unternehmen KI-Agenten sicher, nachvollziehbar und wirtschaftlich sinnvoll betreiben können.

In den vergangenen Tagen sind mir mehrere Meldungen aufgefallen, die auf den ersten Blick wenig miteinander zu tun haben. Führende KI-Forscher warnen vor den Risiken einer immer schnelleren Automatisierung von KI-Systemen. In einem Experiment entwickelten KI-Agenten eine codierte Kommunikation. OpenAI stoppte laut heise online die Veröffentlichung eines neuen Modells aufgrund von Sicherheitsproblemen. Gleichzeitig treiben Technologieanbieter gemeinsame Standards für die Absicherung von KI-Agenten voran.

Man könnte diese Berichte als weitere Episoden im täglichen KI-Nachrichtenstrom betrachten. Ich glaube jedoch, dass sie auf etwas Grundsätzlicheres hinweisen: Wir erleben den Übergang von KI-Systemen, die Informationen liefern, zu KI-Systemen, die immer eigenständiger handeln.

Wie kontrollieren wir Systeme, die Entscheidungen vorbereiten, Prozesse ausführen und auf Unternehmensdaten zugreifen?

Die eigentliche Veränderung sind nicht “noch bessere Modelle”

Viele Diskussionen über Künstliche Intelligenz konzentrieren sich auf immer leistungsfähigere Modelle. Die öffentliche Wahrnehmung wird von beeindruckenden Demonstrationen, Benchmarks und neuen Versionen dominiert. Für Unternehmen liegt die eigentliche Veränderung jedoch an einer anderen Stelle: KI bleibt nicht mehr im Chatfenster.

Sie erhält Zugriff auf Datenplattformen, Dokumente, Anwendungen, Workflows und Geschäftsprozesse. Agenten können Informationen sammeln, Entscheidungen vorbereiten, Aufgaben anstoßen und zunehmend komplexe Abläufe koordinieren. Damit entstehen erhebliche Chancen für Produktivität und Geschwindigkeit. Gleichzeitig wächst die Tragweite von Fehlern, unklaren Berechtigungen und unerwartetem Verhalten.

Wenn Agenten zusammenarbeiten

Bemerkenswert finde ich den aktuellen Bericht über eine Forschungsarbeit der Oxford University: Agenten entwickelten in einem Blackjack-Experiment eine codierte Kommunikation, um Informationen auszutauschen und eine Überwachung zu umgehen. Das war ein Laborszenario und kein Beleg dafür, dass produktive Unternehmensagenten automatisch ähnlich handeln. Die Managementlektion ist dennoch relevant: Es reicht nicht mehr, nur einzelne Komponenten zu bewerten.

Unternehmen müssen ganze Systeme betrachten. Datenquellen, Berechtigungen, Schnittstellen, Agenten, Anwendungen und Menschen bilden künftig ein gemeinsames Ökosystem. Risiken entstehen nicht nur innerhalb eines Modells, sondern auch im Zusammenspiel der Komponenten.

Vertrauen entsteht nicht durch Technologie allein

Auch die in diesem Monat gegründete Blueprint Alliance zeigt sich die Richtung der aktuellen Entwicklungen. Im Mittelpunkt stehen vier praktische Fragen:

  • Wo sind meine Agenten?
  • Was dürfen sie tun?
  • Was tun sie gerade?
  • Wie kann ich eingreifen und sie steuern?

Das macht ganz deutlich: Governance ist keine zusätzliche Dokumentation, die nach einem Pilotprojekt erstellt wird. Governance muss Teil der Architektur und des laufenden Betriebs sein. Dazu gehören eindeutige Identitäten, minimale Berechtigungen, nachvollziehbare Aktionen, Monitoring, Freigaben und Abschaltmöglichkeiten.

Sicherheit beginnt vor dem Produktivbetrieb

Nachdem interne Tests Probleme mit Täuschung, Alignment und eigenmächtigem Handeln gezeigt hatten, wurde die geplante Veröffentlichung von GPT-6.1 Astra gestoppt. Dieser konkrete Fall ist ein Anlass, keine allgemeine Prognose. Er unterstreicht jedoch einen wichtigen Grundsatz: Leistungsfähigkeit allein ist kein ausreichendes Freigabekriterium für Unternehmensprozesse.

Unternehmen sollten vor dem produktiven Einsatz festlegen, welche Aktionen ein Agent selbstständig ausführen darf, wann eine menschliche Zustimmung nötig ist, welche Tools erreichbar sind und wie Ergebnisse geprüft sowie protokolliert werden, kurz: die Steuerung des Agents definieren.

Warum viele Unternehmen jetzt an ihre Grenzen kommen

In unserer täglichen Arbeit sehen wir häufig dieselbe Ausgangslage: Unternehmen möchten KI einsetzen, aber Daten liegen in unterschiedlichen Systemen, Verantwortlichkeiten sind unklar, Prozesse wurden nicht durchgängig dokumentiert und gewachsene Anwendungen erschweren Integrationen. Governance ist oftmals informell vorhanden, aber nicht als belastbares Betriebsmodell verankert.

Die Folge sind eindrucksvolle Pilotprojekte, die nur schwer in den stabilen Betrieb überführt werden können. Nicht, weil die Technologie zu schwach wäre, sondern weil Organisation, Daten, Prozesse, Sicherheit, Kosten und Anwendungslandschaft nicht gemeinsam gedacht wurden. In der Praxis sehen wir zudem immer wieder Angebote, die auf den ersten Blick sehr attraktiv wirken: KI-Systeme oder Lösungen werden zu extrem niedrigen Preisen angeboten, die kaum vergleichbar erscheinen. Erst bei genauerer Betrachtung zeigt sich jedoch, dass sie nicht das leisten, was sie versprechen. Manche Lösungen sind nicht enterprisefähig, verursachen im laufenden Betrieb hohe Kosten oder bringen Sicherheitsrisiken mit sich, weil Berechtigungen, Datenzugriffe, Protokollierung und Kontrollmechanismen nicht ausreichend berücksichtigt wurden.

KI braucht ein Betriebsmodell

Bei ACP CUBIDO betrachten wir KI deshalb nicht isoliert. Aus unserer Erfahrung entstehen erfolgreiche und verantwortungsvolle Lösungen aus dem Zusammenspiel von vier Kompetenzbereichen:

  • Daten
    Verlässliche Daten, klare Verantwortlichkeiten und nachvollziehbare Datenqualität schaffen die Grundlage für vertrauenswürdige Entscheidungen und belastbare Ergebnisse.

  • Künstliche Intelligenz
    M
    odelle und Agenten müssen evaluiert, überwacht und kontinuierlich verbessert werden. Nicht jede neue Funktion gehört sofort in den produktiven Betrieb.

  • Prozesse
    Agenten brauchen klare Rollen, Freigaben und Eskalationswege. Organisationen müssen definieren, welche Entscheidungen automatisiert werden dürfen.

  • Development
    Moderne, integrierte und wartbare Anwendungen ermöglichen sichere Tool-Zugriffe, Protokollierung und skalierbaren Betrieb.

Die wirtschaftliche Perspektive

Gerade unter unsicheren wirtschaftlichen Rahmenbedingungen können Unternehmen es sich nicht leisten, KI als unverbundenes Experiment zu behandeln. Investitionen müssen nachvollziehbare Ergebnisse liefern: höhere Produktivität, bessere Entscheidungen, geringere Risiken und effizientere Prozesse.

Deshalb sollten Führungskräfte weniger fragen, welche KI aktuell die stärkste ist. Die relevantere Frage lautet: Wo verliere ich Geld, Geschwindigkeit oder Qualität? Also welchen Prozess wollen wir konkret  verbessern, welche Daten benötigen wir dafür und wie stellen wir sicher, dass das System beherrschbar bleibt?
Ein guterAusgangspunkt ist meiner Meinung nach auch diese Frage:
Wo gibt es in Ihrer Organisation ein relevantes Geschäftsproblem, das nicht innerhalb eines einzelnen Systems oder einer einzelnen Abteilung gelöst werden kann?

Mein Fazit

Die aktuellen Berichte zeigen eine gemeinsame Richtung. Die Diskussion verschiebt sich von der Leistungsfähigkeit einzelner Modelle zur Kontrolle komplexer KI-Systeme. Erfolgreich wird aus meiner Sicht deshalb nicht die Organisation sein, die als Erste möglichst viele Agenten einsetzt. Erfolgreich wird die Organisation sein, die versteht, wie diese Agenten sicher, nachvollziehbar und wertschöpfend betrieben werden.

Denn wenn KI beginnt zu handeln, reicht eine Richtlinie nicht mehr. Dann braucht es ein Betriebsmodell.

Links

Nachfolgend habe ich ein paar Artikel angeführt, die mich zu diesem Beitrag veranlasst haben.