KI-Agenten scheitern bei langfristigen Entscheidungen

Ausgangslage

Forscher haben einen neuen Benchmark namens Taste-Bench entwickelt, um die Fähigkeit von KI-Agenten zu bewerten, langfristige strategische Entscheidungen zu treffen. Die Auswertung zeigt enttäuschende Resultate: Selbst das beste geprüfte Modell, GPT-5.6 Sol, erreichte lediglich eine Richtigkeitsquote von rund 60 Prozent.

Bisherige Benchmarks konzentrierten sich hauptsächlich auf die Abschlussquote von Aufgaben, nicht auf die Qualität der einzelnen Schritte. Dies führte zu einer Lücke in der Bewertung der strategischen Entscheidungsfähigkeit von KI-Agenten.

Hintergrund

KI-Agenten werden zunehmend für Aufgaben eingesetzt, die sich über viele Schritte erstrecken, wie die Erstellung von Forschungspapieren oder die Weiterentwicklung von Softwareprojekten. Dabei müssen sie laufend Entscheidungen treffen, deren Auswirkungen oft erst viel später sichtbar werden. Die Forscher bezeichnen diese Fähigkeit als „taste“ oder „Geschmack“ eines Agenten.

Ihre Entscheidungen können erhebliche Auswirkungen haben, insbesondere wenn sie sich über lange Zeiträume erstrecken. Die Fähigkeit, die richtigen Entscheidungen zu treffen, ist daher entscheidend für ihren Erfolg.

Methodik

Taste-Bench besteht aus 502 Fragen, die auf tausenden bewerteten Agenten-Durchläufen basieren. Die Fragen umfassen zwei Typen von Verzweigungspunkten, sogenannte „decision forks“. Beim ersten Typ laufen zwei unabhängige Versuche auseinander, während beim zweiten Typ ein Agent innerhalb eines Laufs selbst eine Korrektur vornimmt. Die Modelle müssen zwischen den beiden möglichen Richtungen wählen.

Ein Generator-Modell sortierte triviale Fragen aus und entfernte unentscheidbare Fälle. Eine menschliche Kontrolle bestätigte nahezu alle automatisch erstellten Bezeichnungen, was die Verlässlichkeit des Vergleichsmassstabs erhöht.

Ergebnisse

Die Tests zeigten, dass die Modelle bei einfachen Zweier-Entscheidungen nur in etwa 60 Prozent der Fälle richtig lagen. Längeres Nachdenken verbesserte die Genauigkeit kaum. Besonders schwierig waren „detour“-Forks, bei denen die Modelle den Fehler früher erkennen mussten als der handelnde Agent.

Einordnung für die Schweiz

Obwohl KI-Agenten zunehmend in verschiedenen Bereichen eingesetzt werden, sind sie noch nicht in der Lage, komplexe, langfristige Entscheidungen zuverlässig zu treffen. Dies könnte insbesondere für Unternehmen relevant sein, die KI für strategische Planungen oder komplexe Projekte einsetzen.

Ausblick

Die Forscher zeigen, dass sich die Urteilsfähigkeit von KI-Agenten durch gezieltes Training verbessern lässt. Dies könnte in Zukunft zu leistungsfähigeren Modellen führen, die in der Lage sind, langfristige Entscheidungen besser zu treffen. Bis dahin sollten Unternehmen die aktuellen Grenzen der KI-Technologie im Blick behalten.

Einordnung

Die Ergebnisse des Taste-Bench zeigen, dass KI-Agenten noch nicht in der Lage sind, komplexe, langfristige Entscheidungen zuverlässig zu treffen. Dies unterstreicht die Notwendigkeit weiterer Forschung und Entwicklung in diesem Bereich.

Was das für KMU bedeutet

Für Schweizer KMU bedeutet dies, dass sie bei der Nutzung von KI-Agenten für strategische Entscheidungen vorsichtig sein sollten. Unternehmen sollten daher weiterhin auf menschliche Expertise setzen und KI als unterstützendes Werkzeug betrachten.