Herausforderung der Attribution bei KI-Modellen: Richtig antworten, falsch zitieren
1 Min. Lesezeit
KI‑Security, Privacy & Modell‑/Prompt‑Risiken
-/5
Kurz zusammengefasst
- Die aktuellen KI-Modelle, wie GPT und Gemini, zeigen eine bemerkenswerte Fähigkeit, korrekte Antworten zu liefern.
- Allerdings ist es besorgniserregend, dass sie häufig auf Quellen verweisen, die ihre Aussagen nicht stützen.
- Diese Diskrepanz, als "Attribution Hallucination" bezeichnet, wurde von Forschern der Peking-Universität identifiziert und stellt ein erhebliches Risiko in regulierten Bereichen wie Recht un
Die aktuellen KI-Modelle, wie GPT und Gemini, zeigen eine bemerkenswerte Fähigkeit, korrekte Antworten zu liefern. Allerdings ist es besorgniserregend, dass sie häufig auf Quellen verweisen, die ihre Aussagen nicht stützen. Diese Diskrepanz, als "Attribution Hallucination" bezeichnet, wurde von Forschern der Peking-Universität identifiziert und stellt ein erhebliches Risiko in regulierten Bereichen wie Recht und Medizin dar. Um diesem Problem systematisch zu begegnen, haben die Forscher das CiteVQA-Benchmark entwickelt, das erstmals eine gezielte Prüfung dieser Thematik ermöglicht. Relevant ist in diesem Zusammenhang die Frage, wie solche fehlerhaften Zitationen die Glaubwürdigkeit von KI-Anwendungen beeinflussen könnten. Eine abschließende Bewertung ist zum jetzigen Zeitpunkt verfrüht, da die Entwicklung dieser Technologien weiterhin dynamisch verläuft und sowohl Chancen als auch Risiken birgt.
Quelle:
-
AI models often give the right answers but point to the wrong sources — The Decoder (EN-US)