KI-Forschung: Experten-Rollen schaden der Fakten-Genauigkeit

Eine neue Studie widerlegt einen verbreiteten KI-Mythos: Die Anweisung, sich wie ein Experte zu verhalten, kann die faktische Genauigkeit von Sprachmodellen erheblich mindern. Diese Erkenntnis stellt gängige Prompt-Engineering-Praktiken infrage und zwingt zu einem neuen Umgang mit KI-Systemen für verlässliche Informationen.

Seit über einem Jahr propagieren viele Tutorials die Methode, KI-Modellen eine Experten-Rolle zuzuweisen – etwa „Sei ein Experte für Quantenphysik“. Doch eine Pre-Print-Studie von Forschern der University of Southern California (USC) liefert nun gegenteilige Beweise. Die Arbeit mit dem Titel „Expert Personas Improve LLM Alignment but Damage Accuracy“ zeigt: Während solche Rollen bei stilistischen Aufgaben helfen, schaden sie systematisch der faktischen Treffsicherheit. Ein kritischer Befund für alle, die auf KI für Wissensabfragen setzen.

Da KI-Systeme zunehmend komplexere Aufgaben übernehmen, wird die Einhaltung gesetzlicher Rahmenbedingungen für Unternehmen immer wichtiger. Dieser kostenlose Leitfaden erklärt verständlich, welche neuen Pflichten und Fristen die EU-KI-Verordnung für Anbieter und Nutzer vorsieht. EU-KI-Verordnung kompakt: Jetzt Gratis-E-Book sichern

Das Paradox des „falschen Experten“

Der Kern der Forschung offenabr ein Paradox: Bittet man ein KI-Modell, eine Experten-Rolle einzunehmen, verhält es sich oft wie ein „falscher Experte“. Statt klüger zu werden, wird es unwilliger, Unwissen zuzugeben, zeigt weniger Zögern und unterlässt sorgfältige Abwägungen. Das Ergebnis? Die KI begründet falsche Aussagen mit einer professionell wirkenden, aber inhaltlich fehlerhaften Autorität. Die stärkste Form der KI-Halluzination, so die Forscher, ist nicht das Scheitern an einer Aufgabe, sondern die Fähigkeit, „Wissen nur vorzutäuschen“.

Konkret testete das Team den Effekt mit dem MMLU-Benchmark, einem Standard für die Bewertung von KI-Wissen in akademischen Fächern. Die Ergebnisse sind eindeutig: Eine detaillierte Experten-Rolle ließ die Genauigkeit von 71,6 Prozent auf 66,3 Prozent abstürzen. Selbst die kürzeste Rollenbeschreibung senkte den Wert auf 68,0 Prozent. Dieser messbare Rückgang betrifft diskriminative Aufgaben wie Faktenabruf, Wissensbeurteilung und Multiple-Choice-Fragen. Die Anweisung zur Experten-Rolle stört offenbar den Zugriff auf das vortrainierte Wissen des Modells.

Die zwei Gesichter der Rollen-Anweisung

Die Wirkung ist nicht durchweg negativ, sondern hängt stark vom Aufgabentyp ab. Die Studie unterscheidet:
* Diskriminative Aufgaben: Brauchen Faktenwissen aus dem Gedächtnis des Modells. Hier schaden Experten-Rollen.
* Generative Aufgaben: Erfordern Anpassungsfähigkeit für Format, Stil oder Sicherheitsrichtlinien. Hier helfen Experten-Rollen.

So verbesserte eine lange Experten-Rolle die Leistung in füllf generativen Kategorien. In Sicherheitsszenarien erhöhte eine „Sicherheitsaufsicht“-Rolle die Wahrscheinlichkeit, „Jailbreak“-Angriffe abzulehnen, von 53,2 Prozent auf 70,9 Prozent. Die Rollen lenken also Stil und Verhalten effektiv, sie machen die KI aber nicht wissender. Das Grundproblem ist der stumpfe Einsatz eines einzigen Mechanismus für völlig verschiedene Aufgaben – von Stilkontrolle über Wertausrichtung bis hin zu Faktenbeurteilung.

PRISM: Die intelligente Rollen-Steuerung

Die Studie bietet auch einen Lösungsansatz: PRISM (Bootstrapping Intent-Based Persona Routing). Dieses System soll als „intelligenter Vermittler“ fungieren. Es analysiert zuerst das Wesen einer Nutzeranfrage und leitet sie dann an die passende Betriebsart oder „Rolle“ weiter. Das Ziel ist klar: weg von immer längeren und einschüchternden Experten-Prompts, hin zu einer klugen Aufgabenteilung. So soll das Modell sowohl professionell als auch ehrlich agieren können und nicht länger selbstsicher falsche Antworten produzieren.

Diese Entwicklung markiert eine Evolution im Prompt-Engineering. Künftige KI-Interaktionen könnten dynamische Routingsysteme nutzen, die Rollen nur dann aktivieren, wenn sie für eine spezifische Aufgabe wirklich nützlich sind – etwa für kreatives Schreiben oder Sicherheitsprotokolle. Für wissensintensive Abfragen bliebe die reine Faktengenauigkeit erhalten.

Folgen für KI-Entwicklung und Vertrauen

Die Erkenntnisse haben weitreichende Konsequenzen. Der weit verbreitete Einsatz von Rollen-Prompts im letzten Jahr bedeutet, dass viele Nutzer möglicherweise ungenauere Informationen von KI-Modellen erhalten haben, von denen sie Spitzenleistungen erwarteten. Dies verschärft die Debatte um KI-Halluzinationen und die Verlässlichkeit generierter Inhalte. In kritischen Domänen wie Gesundheitswesen, Recht oder Journalismus wird das Verstehen und Eindämmen solcher Ungenauigkeiten noch dringlicher.

Aktuelle Studien untermauern die Sorge um verzerrte KI-Antworten. Eine Untersuchung vom 22. März 2026 in Computers in Human Behavior Reports zeigte, dass Bemühungen um mehr Inklusivität neue Vorurteile schaffen können – etwa die Überbetonung männlicher Verhaltensweisen bei weiblichen Figuren. Auch im Februar 2025 fand man heraus, dass populäre KI-Assistenten bei aktuellen Themen häufig Fakten verzerren oder falsch darstellen. Diese Einblicke unterstreichen die vielschichtige Herausforderung der KI-Zuverlässigkeit.

Während die KI-Entwicklung neue Risiken birgt, verschärfen auch gesetzliche Neuerungen die Anforderungen an die IT-Sicherheit in Unternehmen. Dieser Experten-Report zeigt Geschäftsführern, wie sie ihre Cyber-Security 2024 stärken und sich gegen neue Bedrohungen wappnen. Kostenlosen Cyber-Security-Leitfaden jetzt herunterladen

Was bedeutet das für die Zukunft?

Die Enthüllungen zwingen zu einem grundlegenden Umdenken in der Steuerung und Bewertung großer Sprachmodelle. Der Fokus für Prompt-Ingenieure und Entwickler wird sich auf nuanciertere, adaptive Strategien verlagern. Statt breiter, irreführender Direktiven wie „Sei ein Experten“ könnten künftige Systeme „Fähigkeitsprofile“ integrieren, die spezialisierte Modelle für bestimmte Aufgaben orchestrieren. Rechtliche KI-Plattformen setzen bereits auf agentenbasierte Architekturen, die mehrstufige Workflows mit kuratierten Inhalten handhaben und dabei Genauigkeit und Überprüfbarkeit priorisieren.

Das Ziel sind KI-Systeme, die sowohl professionell als auch ehrlich sind. Sie müssen präzise Informationen liefern, ohne in die Falle des „Wissensvortäuschens“ zu tappen. Dafür ist ein tieferes Verständnis nötig, wie verschiedene Prompt-Techniken das Modellverhalten beeinflussen. Nur so lässt sich die faktische Integrität gerade in hochriskanten Anwendungen sicherstellen. Echte Zuverlässigkeit, nicht nur oberflächliche Expertise, wird entscheidend sein, um das öffentliche Vertrauen und das volle Potenzial der Künstlichen Intelligenz zu bewahren.