Studie zeigt: Teure Coding-Agenten-Harnesses verbessern nicht die Ergebnisse
1 Min. Lesezeit KI für Softwareentwicklung (Copilots, SDLC, Testing) -/5
Kurz zusammengefasst
  • Eine kontrollierte Studie hat ergeben, dass der Wechsel zwischen verschiedenen Coding-Agenten-Harnesses wie Claude Code, OpenCode oder mini-SWE-agent kaum zu einer signifikanten Verbesserung
  • Im Vergleich dazu bleibt die Erfolgsquote nahezu unverändert, selbst wenn die gleiche Konfiguration mehrfach verwendet wird.
  • Allerdings können die Kosten pro Aufgabe erheblich steigen, teilweise bis zum Dreifachen, was hauptsächlich auf die wiederholte Versendung des Systemprompts bei jedem Schritt zurückzuführen
-/5 (0)
Eine kontrollierte Studie hat ergeben, dass der Wechsel zwischen verschiedenen Coding-Agenten-Harnesses wie Claude Code, OpenCode oder mini-SWE-agent kaum zu einer signifikanten Verbesserung der Bestehensquoten führt. Im Vergleich dazu bleibt die Erfolgsquote nahezu unverändert, selbst wenn die gleiche Konfiguration mehrfach verwendet wird. Allerdings können die Kosten pro Aufgabe erheblich steigen, teilweise bis zum Dreifachen, was hauptsächlich auf die wiederholte Versendung des Systemprompts bei jedem Schritt zurückzuführen ist. Diese Erkenntnisse werfen Fragen zur Effizienz und Wirtschaftlichkeit solcher Systeme auf und sollten im Kontext der aktuellen Entwicklungen in der Technologiebranche betrachtet werden. Eine abschließende Bewertung ist zum jetzigen Zeitpunkt verfrüht, da die langfristigen Auswirkungen dieser Trends noch unklar sind.