OpenAI hat eine Überprüfung des SWE-Bench Pro, eines weit verbreiteten Tests zur Messung der Programmierfähigkeiten von KI-Modellen, durchgeführt. Dabei wurde festgestellt, dass etwa 30 Prozent der Aufgaben fehlerhaft sind. Diese Erkenntnis führt dazu, dass OpenAI seine frühere Unterstützung für diesen Benchmark zurückzieht. Relevant ist in diesem Zusammenhang die Frage, wie solche Tests in der Zukunft weiterentwickelt werden können, um die Validität und Zuverlässigkeit der Ergebnisse zu gewährleisten. Eine abschließende Bewertung ist zum jetzigen Zeitpunkt verfrüht, da die Auswirkungen auf die Entwicklung von KI-Modellen und deren Anwendung in der Praxis noch nicht vollständig absehbar sind. Die Branche steht vor der Herausforderung, geeignete Standards zu setzen, die sowohl die Leistungsfähigkeit als auch die Robustheit von KI-Systemen berücksichtigen.