Explainable AI: Die Kunst guter Entscheidungen
Ergebnisse einer KI wirken oft unmittelbar plausibel, während ihre Herleitung zunächst im Hintergrund bleibt. Explainable AI öffnet hingegen den Blick auf das, was hinter einer Empfehlung steht ...
20.08.2026 Michael Dannhauer
ShareKI-Agenten übernehmen zunehmend eigenständig Aufgaben. Doch mit wachsender Autonomie steigt auch die Verantwortung. Unternehmen müssen deshalb nicht nur entscheiden, ob sie KI-Agenten einsetzen, sondern vor allem, welche Entscheidungen diese selbst treffen dürfen. Ein Blick auf Forschung, Unternehmenspraxis und ein mögliches Entscheidungsmodell.
Wenn ein KI-Agent plötzlich zum Hacker wird
Ein Test mit einem KI-Agenten von OpenAI sorgte für Aufmerksamkeit, als er aus einer abgeschotteten Testumgebung ausbrach, über eine Schwachstelle Zugang zum Internet erlangte und die Plattform Hugging Face angriff, um Informationen für seine Testaufgabe zu beschaffen. Ähnliche Vorfälle wurden auch aus Testläufen von Meta und Anthropic bekannt, bei denen KI-Agenten unbefugte Aktionen ausführten oder Schwachstellen ausnutzten. Die Fälle unterscheiden sich im Detail, machen aber einen gemeinsamen Zielkonflikt sichtbar: Je selbstständiger KI-Agenten handeln können, desto wichtiger wird die Frage, wo ihre Entscheidungsfreiheit endet und menschliche Kontrolle beginnt.
Im Rahmen dieser Debatte geht es jedoch nicht darum zu klären, wie autonom ein KI-Agent sein kann, sondern welche Entscheidungen er eigenständig treffen sollte. Mit jeder zusätzlichen Entscheidungsbefugnis steigen die Anforderungen an Verantwortung, Transparenz und Kontrolle. Wer legt fest, welche Handlungsspielräume ein Agent erhält? Wann muss ein Mensch eingreifen können? Und welche Entscheidungen dürfen überhaupt automatisiert werden?
Diese Fragen stellen sich längst nicht mehr nur Entwickler großer KI-Modelle. Sie beschäftigen Unternehmen überall dort, wo KI-Agenten operative Prozesse in Logistik, Supply Chain, Produktion oder Personaleinsatz unterstützen. Soll ein KI-Agent beispielsweise nach einer Lieferverzögerung den Produktionsplan eigenständig anpassen? Darf er Transporte im Fall eines Ressourcenengpasses automatisch neu disponieren? Oder sollte er lediglich verschiedene Handlungsoptionen berechnen und einem Menschen zur Entscheidung vorlegen? Die Antworten darauf liefert nicht die KI. Sie werden von Menschen festgelegt.
Zwischen technischer Machbarkeit und Verantwortung
Technisch wäre heute vieles möglich. Unternehmen könnten KI-Agenten weitreichende Entscheidungsbefugnisse übertragen. Ebenso könnten sie jede einzelne Aktion von Mitarbeitenden bestätigen lassen. Beides ist in der Praxis jedoch selten sinnvoll.
Darauf weist auch die wissenschaftliche Übersichtsarbeit Unraveling Human-AI Teaming: A Review and Outlook (2025) hin. Die Forschenden analysieren den aktuellen Stand der Zusammenarbeit zwischen Menschen und KI und kommen zu einem differenzierten Ergebnis: Weder Menschen noch KI-Systeme treffen grundsätzlich bessere Entscheidungen. Auch ihre Zusammenarbeit führt nicht automatisch zu besseren Resultaten. Entscheidend ist vielmehr, wie Aufgaben, Verantwortlichkeiten und Entscheidungsbefugnisse verteilt werden.
Die Managementaufgabe bei der Einführung von KI-Agenten besteht in der bewussten Gestaltung eines Entscheidungsrahmens, innerhalb dessen ein KI-Agent handeln darf.
Wie Unternehmen den Handlungsspielraum von KI-Agenten gestalten
Die ersten Praxisbeispiele zeigen bereits ein klares Muster. KI-Agenten übernehmen vor allem standardisierte und wiederkehrende Aufgaben. Sobald Entscheidungen komplex werden oder größere Auswirkungen haben, bleibt der Mensch verantwortlich.
So setzt die BMW Group Agentic AI unter anderem im Flottenmanagement und im Einkauf ein. KI-Agenten verarbeiten Kundenanfragen, gleichen Daten zwischen verschiedenen Systemen ab und übernehmen Routineaufgaben wie die Erstellung von Inventuraufträgen oder die Kommunikation mit Lieferanten. Nach Angaben des Unternehmens lassen sich dadurch bis zu 90 Prozent der bislang manuellen Arbeitsschritte automatisieren. Komplexe Entscheidungen und Ausnahmesituationen bleiben jedoch ausdrücklich in der Verantwortung der Mitarbeitenden.
Ein ähnliches Prinzip verfolgt der Logistikdienstleister C.H. Robinson. Dort analysieren mehrere KI-Agenten Transportdaten, erstellen Frachtofferten, erkennen Störungen und entwickeln alternative Handlungsmöglichkeiten für die Disposition. Ziel ist nicht, menschliche Entscheidungen zu ersetzen, sondern standardisierte Abläufe zu beschleunigen, fundierte Entscheidungsgrundlagen bereitzustellen und Mitarbeitende gezielt zu entlasten.
Beide Beispiele verdeutlichen ein gemeinsames Prinzip: Unternehmen definieren nicht einen allgemeinen Autonomiegrad für einen KI-Agenten. Sie legen fest, welche Entscheidungen innerhalb eines Prozesses autonom getroffen werden dürfen und welche nicht.
Diese Beobachtung deckt sich mit den Ergebnissen des gemeinsamen Trendreports von INFORM und LOGISTIK HEUTE. Demnach bevorzugen 46 Prozent der befragten Unternehmen ein Modell, bei dem KI Entscheidungen vorbereitet und Menschen die finale Entscheidung treffen. Eine vollständig autonome Entscheidungsbefugnis befürworten lediglich vier Prozent der Unternehmen. Die Praxis zeigt damit ein klares Bild: Unternehmen gestalten Autonomie nicht auf Systemebene, sondern auf Entscheidungsebene.
Ein mögliches Entscheidungsmodell
Aus den Erkenntnissen aus Forschung und Praxis lässt sich ein einfaches Entscheidungsmodell ableiten.
- Automatisieren
Routineentscheidungen können vollständig an einen KI-Agenten übertragen werden.
Der Agent entscheidet innerhalb klar definierter Regeln und setzt seine Entscheidung unmittelbar um. Geeignet ist dieses Modell für häufig wiederkehrende Aufgaben mit begrenzten Auswirkungen, etwa Standardanfragen, Stammdatenpflege oder klar definierte Prozessschritte. - Freigeben
Der KI-Agent analysiert eine Situation, entwickelt Handlungsempfehlungen und bereitet eine Entscheidung vor.
Die Umsetzung erfolgt jedoch erst nach der Freigabe durch einen Menschen. Dieses Vorgehen eignet sich beispielsweise für Produktionsplanung, Transportdisposition oder andere operative Entscheidungen mit spürbaren Auswirkungen. - Entscheiden
Bei strategischen, sicherheitskritischen oder haftungsrelevanten Fragestellungen bleibt die Entscheidung vollständig beim Menschen.
Der KI-Agent liefert Analysen, Prognosen als Entscheidungsgrundlagen, trifft jedoch keine eigenständige Entscheidung.
Nicht der KI-Agent besitzt einen Autonomiegrad. Jede einzelne Entscheidung besitzt ihren eigenen Autonomiegrad.
Fazit: Nicht jede Entscheidung braucht denselben Grad an Autonomie
Die zentrale Herausforderung besteht nicht darin, möglichst autonome KI-Agenten einzusetzen, sondern für jede Entscheidung den passenden Grad an Autonomie festzulegen. Dieser Gedanke findet sich inzwischen auch in zahlreichen Governance-Frameworks und regulatorischen Leitlinien für den Einsatz Künstlicher Intelligenz. Auch INFORM orientiert die Weiterentwicklung seiner KI-basierten Softwarelösungen an diesem Prinzip: Menschen behalten die Kontrolle, KI unterstützt sie mit transparenten, nachvollziehbaren Empfehlungen.
Wer über KI-Agenten spricht, sollte deshalb nicht zuerst über deren technische Fähigkeiten diskutieren. Entscheidend ist eine durchdachte Entscheidungsarchitektur, in der klar geregelt ist, welche Entscheidungen automatisiert werden können, welche der Freigabe bedürfen und welche ausschließlich Menschen treffen. Denn am Ende besitzt nicht der KI-Agent einen Autonomiegrad. Jede einzelne Entscheidung besitzt ihren eigenen Autonomiegrad.
ÜBER UNSERE EXPERT:INNEN
Michael Dannhauer
Michael Dannhauer ist seit 2002 im Corporate Marketing bei INFORM tätig und beschäftigt sich mit Themen rund um die Optimierung von Geschäftsprozessen mithilfe von KI.
