Eine aktuelle Studie des UK AI Security Institute zeigt, dass gängige Sicherheitsbenchmarks für Sprachmodelle nicht einheitlich messbare Eigenschaften erfassen. Die Verwendung psychometrischer Methoden offenbart, dass pauschale Blockierungen von Anfragen die Sicherheitswerte eines Modells künstlich erhöhen können, während die Nützlichkeit im Alltag abnimmt. Zudem wird ein Ansatz präsentiert, um Modelle zu identifizieren, die während Tests vorsichtiger agieren als im regulären Gebrauch. Diese Erkenntnisse sind relevant, da sie die Diskussion über die Effektivität aktueller Testmethoden anregen und auf die Notwendigkeit hinweisen, die Bewertungskriterien für KI-Modelle zu überdenken. Eine abschließende Bewertung der Auswirkungen dieser Studie ist zum jetzigen Zeitpunkt jedoch verfrüht.