Eine aktuelle Studie des AI Security Institute im Vereinigten Königreich zeigt, dass gängige Benchmarks zur Bewertung von Künstlicher Intelligenz die Fähigkeiten von KI-Agenten systematisch unterschätzen. Dies geschieht vor allem durch die Begrenzung des Rechenbudgets. Bei Software-Engineering-Aufgaben stiegen die Erfolgsquoten um etwa 25 Prozent, als das Token-Budget verzehnfacht wurde. Besonders neuere Modelle profitieren von dieser Anpassung. Laut AISI ist der tatsächliche Fortschritt an der technologischen Front etwa 60 Prozent steiler als frühere Messungen vermuten ließen. Diese Erkenntnisse werfen Fragen zur Validität bestehender Bewertungsmethoden auf und verdeutlichen die Notwendigkeit, Benchmarks anzupassen, um ein realistisches Bild der Leistungsfähigkeit von KI-Agenten zu erhalten. Eine abschließende Bewertung ist zum jetzigen Zeitpunkt verfrüht, jedoch ist es relevant, die Implikationen für die Branche zu betrachten.