Die Illusion von Kompetenz im Training
Gute Leistung während eines Trainings bedeutet nicht zwangsläufig, dass nachhaltiges Lernen stattgefunden hat; ebenso bedeutet das Gefühl, den Inhalt verstanden zu haben, nicht automatisch, dass er bei Bedarf im Arbeitsumfeld abgerufen oder angewendet werden kann.
Artikelübersicht
Zentrale Konzepte
Kompetenzillusion
Eine Lücke zwischen dem, was eine Person zu wissen oder tun zu können glaubt, und dem, was sie in einer unabhängigen Bewertung tatsächlich nachweisen kann.
Wiedererkennen ist nicht Erinnern
Die richtige Antwort beim Sehen zu erkennen bedeutet nicht, sie ohne Auswahlmöglichkeiten und Unterstützung aus dem Gedächtnis erzeugen zu können.
Metakognitive Kalibrierung
Der Grad der Übereinstimmung zwischen dem Kompetenzniveau, das eine teilnehmende Person bei sich vermutet, und dem Niveau, das die Bewertung zeigt.
Abruf als Lernereignis
Der Versuch, Wissen aus dem Gedächtnis abzurufen, ist nicht nur ein Bewertungsinstrument; er kann selbst Teil des Lernprozesses sein.
Vorgeschlagenes Diagnosemodell
Selbsteinschätzung
Vor der Bewertung schätzt die teilnehmende Person ihren Grad der Beherrschung ein.
Selbstständiger Abruf
Wissen abrufen oder die Aufgabe ausführen, ohne auf das Trainingsmaterial zurückzugreifen.
Unterstützung entfernen
Modelle, Anleitungen und Beispiele, die während des Trainings verfügbar waren, werden entfernt.
Transfer
Dasselbe Prinzip oder dieselbe Fähigkeit in einer neuen Situation anwenden, die sich vom vertrauten Beispiel unterscheidet.
Zeitliche Verzögerung
Einen Teil der Bewertung nach 7, 30 oder 60 Tagen wiederholen, abhängig von der Art der Fähigkeit.
Einleitung
Ein Training kann scheinbar ideal enden: hohe Beteiligung, richtige Antworten, gute Ergebnisse im Abschlusstest, hohe Zufriedenheit mit dem Trainer und das klare Gefühl der Teilnehmenden, neues Wissen und neue Fähigkeiten erworben zu haben.
Doch die wichtigere Frage beginnt erst nach dem Ende des Programms:
Hat die teilnehmende Person tatsächlich gelernt?
Die Frage mag einfach erscheinen, berührt aber eines der komplexesten Themen der Lernwissenschaft und des Trainings: Gute Leistung während des Trainings bedeutet nicht zwangsläufig nachhaltiges Lernen, und das Gefühl, den Inhalt verstanden zu haben, garantiert nicht, dass er später am Arbeitsplatz abgerufen oder angewendet werden kann.
Hier zeigt sich das Phänomen der „Illusion of Competence“ — ein Zustand, in dem die Einschätzung der eigenen Kenntnisse oder Fähigkeiten höher ist als das tatsächliche Beherrschungsniveau.
Dieses Phänomen ist im institutionellen Training besonders bedeutsam, weil ein Programm anhand sichtbarer Kennzahlen erfolgreich wirken kann, ohne die erwartete Veränderung der Leistung zu bewirken.
Daraus ergibt sich eine grundlegende Frage:
Messen wir in unseren Trainingsprogrammen, was die Teilnehmenden tatsächlich gelernt haben, oder nur, was sie leisten konnten, solange der Inhalt noch frisch und unmittelbar präsent war?
Erstens: Was bedeutet Kompetenzillusion?
Im Lernkontext bezeichnet die Kompetenzillusion eine Nichtübereinstimmung zwischen Perceived Competence und Actual Competence.
Eine teilnehmende Person kann also glauben, etwas zu wissen oder eine Aufgabe besser ausführen zu können, als es ihre tatsächliche Fähigkeit in einer unabhängigen Bewertung zeigt.
Das bedeutet nicht, dass sie ihre Fähigkeiten bewusst übertreibt; die Einschätzung kann vollkommen ehrlich sein, aber auf ungenauen Hinweisen beruhen.
Sie kann das Gefühl haben, den Inhalt zu beherrschen, weil sie:
- ✓die Erklärung des Trainers leicht verstanden hat.
- ✓die richtige Antwort erkannt hat, als sie sie sah.
- ✓die Aktivität mit vorhandenen Anweisungen und Hilfen ausgeführt hat.
- ✓beobachtet hat, wie der Trainer die Fähigkeit professionell ausführt.
- ✓die Aufgabe direkt nach der Erklärung wiederholt hat.
- ✓in einem kurz nach der Präsentation des Inhalts durchgeführten Test ein hohes Ergebnis erzielt hat.
Diese Hinweise können jedoch eher Verarbeitungsflüssigkeit, Vertrautheit oder unmittelbare Leistung messen als nachhaltiges Lernen.
Hier zeigt sich eine der wichtigsten Unterscheidungen, die Trainingsdesigner verstehen sollten:
Wissen wiederzuerkennen ist nicht dasselbe wie es abzurufen, und Abruf ist nicht dasselbe wie die Fähigkeit, es in einer neuen Situation anzuwenden.
Zweitens: Leistung während des Trainings ist nicht gleich Lernen
Die Lernwissenschaft unterscheidet zwei Konzepte, die häufig verwechselt werden:
Leistung PerformanceDas, was ein Lernender während der Übung oder unmittelbar nach dem Training zeigen kann.
Lernen LearningEine stabilere Veränderung von Wissen oder Fähigkeit, die aus dem Erhalt der Leistung oder ihrem Transfer auf spätere Situationen abgeleitet werden kann.
Soderstrom und Bjork haben gezeigt, dass Bedingungen, die die Leistung während der Übung verbessern, nicht immer dieselben sind, die das beste langfristige Lernen erzeugen.
Das ist für Training von entscheidender Bedeutung.
Ein Trainer kann sehr klar erklären, dann abgestufte Beispiele geben und anschließend eine Übung anbieten, die dem Beispiel sehr ähnlich ist.
Die Ergebnisse werden häufig gut aussehen.
Doch was geschieht, wenn die teilnehmende Person zwei Wochen später ohne Hilfe ein anderes Problem lösen soll?
Hier beginnt der eigentliche Test des Lernens.
Daher lässt sich folgende Gleichung formulieren:
Ein Trainingsprogramm kann während der Sitzung einen Performance Gain erzeugen, ohne notwendigerweise im gleichen Maß Durable Learning zu bewirken.
Drittens: Warum entsteht die Illusion des Lernens?
1. Vertrautheit Familiarity
Wenn eine teilnehmende Person ein Konzept oder Modell mehrfach sieht, beginnt sie zu glauben, es zu kennen.
Informationen zu sehen und beim Auftauchen wiederzuerkennen ist jedoch etwas anderes, als sie aus dem Gedächtnis selbst zu erzeugen.
Das ist der Unterschied zwischen:
Recognition — Wiedererkennenund Recall — AbrufEine Person kann die richtige Antwort unter vier Optionen erkennen, aber dieselbe Antwort ohne Auswahlmöglichkeiten nicht selbst erzeugen.
2. Verarbeitungsflüssigkeit Processing Fluency
Je leichter Inhalte zu lesen und zu verstehen sind, desto stärker kann der Eindruck entstehen, sie bereits zu beherrschen.
Dabei entsteht ein wichtiges Paradox:
Gefühlte Leichtigkeit des Lernens ist nicht immer ein Beweis für starkes tatsächliches Lernen.
Eine strukturierte Präsentation, ein kompetenter Trainer und klare Beispiele sind wichtig, aber jede Schwierigkeit aus der Lernerfahrung zu entfernen kann aus einer aktiven lernenden Person einen komfortablen Empfänger machen.
3. Übermäßige Unterstützung während des Trainings
Eine Aufgabe kann hervorragend ausgeführt werden, wenn Folgendes verfügbar ist:
Schritte, Modell, Trainer, Kolleginnen und Kollegen, Anweisungen und frühere Beispiele.
Doch die Frage lautet:
Was bleibt von dieser Leistung übrig, wenn diese Hilfen wegfallen?
Je stärker der Erfolg von externer Unterstützung abhängt, desto vorsichtiger sollte dieser Erfolg als Beherrschung interpretiert werden.
Viertens: Gedächtnis ist nicht nur ein Informationsspeicher
Eine wichtige Unterscheidung in diesem Bereich, die Bjork und Bjork eingeführt haben, ist die zwischen:
Storage StrengthDer Stärke, mit der Wissen im Gedächtnis gespeichert ist.
und Retrieval StrengthDer Leichtigkeit, mit der dieses Wissen zu einem bestimmten Zeitpunkt zugänglich ist.
Information kann unmittelbar nach dem Training vertraut und leicht abrufbar sein, weil die Person erst wenige Minuten zuvor damit gearbeitet hat; die Abrufstärke ist daher vorübergehend hoch.
Mit der Zeit und sinkender Abrufleichtigkeit zeigt sich jedoch, ob das Wissen ausreichend gefestigt wurde, um später wiederhergestellt zu werden.
Deshalb kann eine Prüfung direkt nach der Erklärung ein völlig anderes Bild liefern als eine Prüfung nach einiger Zeit.
Zeit wird damit zu einem Bestandteil der Validität von Trainingsmessung und nicht nur zu einer organisatorischen Frage.
Fünftens: Metakognition und Kalibrierung
Die Kompetenzillusion ist eng mit Metacognition — Metakognition — verbunden, also der Fähigkeit, das eigene Wissen und Lernen zu beobachten, zu beurteilen und zu bewerten.
Ein wichtiges Konzept dabei ist:
Metacognitive Calibration — metakognitive Kalibrierungder Grad der Übereinstimmung zwischen:
dem, was eine Person zu wissen glaubt
und dem, was sie tatsächlich nachweisen kann.
Je näher beide Werte beieinanderliegen, desto besser ist die Kalibrierung.
Zum Beispiel kann eine teilnehmende Person sagen:
„Ich bin zu 90 % sicher, dass ich diese Fähigkeit beherrsche.“
Eine unabhängige Bewertung kann anschließend zeigen, dass die Leistung 55 % nicht übersteigt — ein klarer Kalibrierungsabstand.
Dieser Abstand selbst kann zu einer wichtigen und messbaren Trainingskennzahl werden.
Sechstens: Testen ist nicht nur ein Messinstrument
Eine wichtige Entwicklung in der Lernwissenschaft besteht darin, Tests nicht mehr nur als Mittel zur Bewertung des Lernens zu sehen; sie können selbst das Lernen verbessern.
Forschung zu Retrieval Practice zeigt, dass der Versuch, Wissen aus dem Gedächtnis abzurufen, in vielen Situationen die Beibehaltung besser unterstützen kann als reines Wiederholen des Materials.
Das bedeutet, dass die Aufforderung:
„Schließen Sie das Material und schreiben Sie die fünf Schritte aus dem Gedächtnis auf.“
für das Lernen wertvoller sein kann als:
„Lesen Sie die fünf Schritte noch einmal.“
Der Test wird damit zu einem Learning Event und nicht nur zu einem Assessment Event.
Siebtens: Wie zeigt sich die Kompetenzillusion im Trainingsraum?
Sie kann sich anhand verschiedener Hinweise zeigen, zum Beispiel:
- ✓Hohe Sicherheit bei schwachem selbstständigem Abruf.
- ✓Erfolg bei Multiple-Choice-Fragen, aber Misserfolg bei offenen Fragen.
- ✓Erfolgreiche Durchführung mit einem Modell, aber Scheitern nach dessen Entfernung.
- ✓Erfolg bei einem vertrauten Beispiel, aber Scheitern in einer neuen Situation.
- ✓Hohes Ergebnis im unmittelbaren Abschlusstest und Leistungsabfall nach einigen Wochen.
- ✓Theoretisches Verständnis eines Konzepts ohne Fähigkeit, es in einer beruflichen Entscheidung einzusetzen.
Daher sollte die einzige Frage nicht lauten:
Hat die teilnehmende Person richtig geantwortet?
Sondern:
Unter welchen Bedingungen konnte sie antworten?
Achtens: Ein vorgeschlagenes Modell zur Erkennung der Kompetenzillusion im Training
Eine praktische Diagnose kann aus fünf aufeinanderfolgenden Stufen aufgebaut werden:
Vor der Prüfung schätzt die teilnehmende Person ihre Sicherheit bezüglich der Beherrschung der Fähigkeit von 0 bis 100 % ein.
Sie soll Wissen abrufen oder die Aufgabe ausführen, ohne das Trainingsmaterial zu verwenden.
Modelle, Anleitungen und Beispiele, die während des Trainings verfügbar waren, werden entfernt.
Die Person wird mit einer neuen Situation konfrontiert, die vom Übungsbeispiel abweicht, aber dasselbe Prinzip oder dieselbe Fähigkeit erfordert.
Ein Teil der Bewertung wird nach einem geeigneten Zeitraum wiederholt, etwa nach 7, 30 oder 60 Tagen, abhängig von der Art der Fähigkeit.
Echte Beherrschung kann daher als Zusammenspiel von vier Dimensionen betrachtet werden:
und nicht nur als Erfolg in einem unmittelbaren Abschlusstest.
Neuntens: Indikator der wahrgenommenen Kompetenzlücke
Organisationen können ihrem System zur Trainingsbewertung einen einfachen Indikator hinzufügen:
Beispiel:
Wahrgenommene Sicherheit = 90 %
Tatsächliche Leistung = 62 %
Damit:
Kalibrierungslücke = +28 Prozentpunkte
Je größer die positive Lücke ist, desto wahrscheinlicher liegt die Sicherheit über der nachgewiesenen Kompetenz.
Dieser Indikator sollte jedoch als Diagnoseinstrument und nicht als endgültiges Urteil verwendet werden, da Qualität der Prüfung, Art der Fähigkeit und Messkontext das Ergebnis beeinflussen.
Zehntens: Vom Test der teilnehmenden Person zum Test ihrer Selbstständigkeit
Dieser Artikel schlägt einen Wandel in der Philosophie der Trainingsbewertung vor.
Statt zu fragen:
Kann die teilnehmende Person die Aufgabe ausführen?
stellen wir eine präzisere Frage:
Kann sie die Aufgabe nach einiger Zeit und in einem anderen Kontext als dem Training korrekt und selbstständig ausführen?
Es lassen sich vier Ebenen unterscheiden:
Die Person erkennt das Konzept, wenn sie es sieht.
Sie kann es ohne externe Quelle wiedergeben.
Sie kann es ohne direkte Anleitung nutzen.
Sie kann es in einer neuen oder ungewohnten Situation einsetzen.
Diese vierte Ebene kommt dem beruflichen Wert von Training am nächsten.
Elftens: Sollte Training schwieriger werden?
Es geht nicht darum, Inhalte unnötig zu verkomplizieren oder Teilnehmende absichtlich zu erschöpfen.
Einige bewusst gestaltete Lernschwierigkeiten können jedoch hilfreich sein; dies steht im Zusammenhang mit dem Konzept Desirable Difficulties — wünschenswerte Schwierigkeiten.
Beispiele sind:
- ✓Übung über die Zeit verteilen.
- ✓Abruf versuchen, bevor man zum Material zurückkehrt.
- ✓Anwendungskontexte variieren.
- ✓Verschiedene Problemtypen abwechseln.
- ✓Die lernende Person zunächst selbst erzeugen und lösen lassen, bevor die vollständige Antwort gegeben wird.
Unter einigen dieser Bedingungen kann die unmittelbare Leistung sinken, während Beibehaltung und Transfer später besser werden.
Damit verändert sich die Philosophie des Trainingsdesigns:
Das Ziel ist nicht, dass alles leicht erscheint, sondern Bedingungen zu schaffen, die Lernen nachhaltiger und nutzbarer machen.
Zwölftens: Was bedeutet das für den Trainer?
Ein professioneller Trainer sollte sich nicht allein auf seinen Eindruck von der Beteiligung der Teilnehmenden verlassen.
Während des Programms kann er sich fragen:
Teste ich Abruf oder Wiedererkennen?
Kann die teilnehmende Person die Aufgabe ohne Modell lösen?
Habe ich eine neue Situation angeboten?
Habe ich die Antwort zu früh gegeben?
Messe ich die Sicherheit, bevor ich das Ergebnis zeige?
Werde ich wissen, was nach dem Kurs vom Lernen übrig geblieben ist?
Diese Fragen verändern die Rolle des Trainers vom Inhaltsvermittler zum Gestalter von Lernbedingungen.
Dreizehntens: Was bedeutet das für Organisationen?
Auf institutioneller Ebene wird das Problem noch wichtiger.
Wenn eine Organisation Trainingserfolg misst durch:
Anwesenheit, Anzahl der Stunden, Programmabschluss, Zufriedenheit der Teilnehmenden und unmittelbaren Abschlusstest;
dann misst sie möglicherweise eher die Qualität des Trainingserlebnisses als die Nachhaltigkeit des Lernens.
Das macht diese Kennzahlen nicht wertlos, aber allein reichen sie nicht aus, um Beherrschung zu beurteilen.
Daher sollten Organisationen zusätzliche Indikatoren einbeziehen, zum Beispiel:
- ✓Wissensbeibehaltung nach einem Zeitraum.
- ✓Selbstständige Anwendung.
- ✓Transfer der Fähigkeit auf neue Situationen.
- ✓Genauigkeit der Selbsteinschätzung der eigenen Kompetenz.
- ✓Fehlerquote nach dem Training.
- ✓Bedarf an Unterstützung nach dem Programm.
- ✓Aufrechterhaltung der Leistung über die Zeit.
Vierzehntens: Praktische Regel — Lernen nicht beurteilen, solange es noch „warm“ ist
Die Kernidee des Artikels lässt sich in einer Trainingsregel zusammenfassen:
Beurteilen Sie die Stärke des Lernens nicht, solange Informationen, Beispiele, Anleitungen und Trainer noch im Gedächtnis und Umfeld der teilnehmenden Person präsent sind.
Der eigentliche Test beginnt, wenn:
Zeit vergeht,
Unterstützung verschwindet,
sich die Situation verändert,
und die Person selbstständig erinnern, entscheiden und anwenden muss.
Erst dann kommen wir der Antwort näher, ob das Programm tatsächlich nutzbares Lernen erzeugt hat.
Fazit
Eine der größten Herausforderungen im Training besteht nicht darin, dass Teilnehmende nicht lernen, sondern darin, dass das Trainingserlebnis sie davon überzeugen kann, mehr gelernt zu haben, als sie später nachweisen können.
Zufriedenheit ist keine Beherrschung.
Vertrautheit ist kein Wissen.
Wiedererkennen ist kein Abruf.
Abruf ist keine Anwendung.
Unmittelbare Leistung ist nicht zwangsläufig nachhaltiges Lernen.
Die Verbesserung von Training hängt daher davon ab, die Frage neu zu definieren, die wir nach jedem Programm stellen.
Statt:
War das Trainingsprogramm erfolgreich?
könnte die wissenschaftlichere Frage lauten:
Was kann die teilnehmende Person selbstständig erinnern und anwenden, nachdem Zeit vergangen ist, sich die Umstände verändert haben und Unterstützung verschwunden ist?
Wenn diese Frage Teil des Trainingsdesigns und der Bewertung wird, wechseln wir von der Messung des Trainingserlebnisses zur Überprüfung, ob Lernen stattgefunden hat, und vom Fokus auf das Geschehen im Trainingsraum zu dem, was danach erhalten blieb.
Dieser Wandel kann Training, das nur vorübergehendes Wissen vermittelt, von Training unterscheiden, das nachhaltige berufliche Fähigkeit aufbaut.
Grundlegende Literatur
Bjork, E. L., & Bjork, R. A. (2011). Making things hard on yourself, but in a good way: Creating desirable difficulties to enhance learning. In M. A. Gernsbacher et al. (Eds.), Psychology and the real world: Essays illustrating fundamental contributions to society. Worth Publishers.
Dunlosky, J., Rawson, K. A., Marsh, E. J., Nathan, M. J., & Willingham, D. T. (2013). Improving students’ learning with effective learning techniques: Promising directions from cognitive and educational psychology. Psychological Science in the Public Interest, 14(1), 4–58.
Karpicke, J. D., & Roediger, H. L., III. (2008). The critical importance of retrieval for learning. Science, 319(5865), 966–968.
Roediger, H. L., III, & Karpicke, J. D. (2006). Test-enhanced learning: Taking memory tests improves long-term retention. Psychological Science, 17(3), 249–255.
Soderstrom, N. C., & Bjork, R. A. (2015). Learning versus performance: An integrative review. Perspectives on Psychological Science, 10(2), 176–199.
Neuen Kommentar hinzufügen