Une formation peut se terminer de façon apparemment idéale : forte participation, réponses correctes, bons résultats au post-test, forte satisfaction à l’égard du formateur et sentiment clair chez les participants d’avoir acquis de nouvelles connaissances et compétences.

Mais la question la plus importante commence après la fin du programme :

Le participant a-t-il réellement appris ?

La question peut sembler simple, mais elle touche l’un des sujets les plus complexes des sciences de l’apprentissage et de la formation : une bonne performance pendant la formation ne signifie pas nécessairement qu’un apprentissage durable a eu lieu, et le sentiment d’avoir compris le contenu ne garantit pas la capacité à le rappeler ou l’appliquer lorsqu’il sera nécessaire au travail.

C’est ici qu’apparaît le phénomène appelé « illusion de compétence » Illusion of Competence : un état dans lequel l’estimation qu’une personne fait de ses connaissances ou capacités dépasse son niveau réel de maîtrise.

Ce phénomène est particulièrement important dans la formation institutionnelle, car il peut donner l’impression qu’un programme est réussi selon les indicateurs visibles sans produire le niveau attendu de changement de performance.

Cet article pose donc une question fondamentale :

Dans nos programmes de formation, mesurons-nous ce que le participant a réellement appris, ou seulement ce qu’il a pu faire tant que le contenu était encore frais et présent devant lui ?

Dans le contexte de l’apprentissage, l’illusion de compétence désigne un décalage entre Perceived Competence et Actual Competence.

Autrement dit, le participant peut croire qu’il sait quelque chose ou qu’il peut réaliser une tâche à un niveau supérieur à ce que révèle sa capacité réelle lors d’une évaluation indépendante.

Cela ne signifie pas nécessairement qu’il exagère volontairement ses capacités ; son jugement peut être parfaitement sincère, mais fondé sur des indices peu fiables.

Il peut penser maîtriser le contenu parce qu’il a :

• ✓Compris facilement l’explication du formateur.
• ✓Reconnu la bonne réponse lorsqu’il l’a vue.
• ✓Réalisé l’activité avec des consignes et des orientations.
• ✓Observé le formateur exécuter la compétence avec maîtrise.
• ✓Répété la tâche immédiatement après l’explication.
• ✓Obtenu un résultat élevé à un test administré peu après la présentation du contenu.

Mais ces indicateurs peuvent mesurer davantage la fluidité de traitement, la familiarité ou la performance immédiate que l’apprentissage durable.

Cela fait apparaître l’une des distinctions les plus importantes que les concepteurs de formation doivent comprendre :

Reconnaître une connaissance n’est pas la même chose que la rappeler, et la rappeler n’est pas la même chose que savoir l’utiliser dans une situation nouvelle.

Les sciences de l’apprentissage distinguent deux notions souvent confondues :

Ce que l’apprenant est capable de montrer pendant la pratique ou immédiatement après la formation.

Un changement plus durable des connaissances ou des capacités, que l’on peut inférer de la rétention de la performance ou de son transfert à des situations ultérieures.

Soderstrom et Bjork ont montré que les conditions qui améliorent la performance pendant la pratique ne sont pas toujours celles qui produisent le meilleur apprentissage à long terme.

C’est un point essentiel en formation.

Le formateur peut fournir une explication extrêmement claire, puis des exemples progressifs, puis permettre aux participants d’effectuer un exercice très proche de l’exemple.

Les résultats sembleront souvent bons.

Mais que se passe-t-il si, deux semaines plus tard, on demande au participant de résoudre un problème différent sans aide ?

C’est là que commence le véritable test de l’apprentissage.

On peut donc formuler l’équation suivante :

Un programme peut produire un Performance Gain pendant la séance sans nécessairement produire le même niveau de Durable Learning.

1. Familiarité Familiarity

Lorsqu’un participant voit plusieurs fois un concept ou un modèle, il commence à avoir le sentiment de le connaître.

Mais voir une information et la reconnaître lorsqu’elle apparaît est différent de pouvoir la produire de mémoire.

C’est la différence entre :

Le participant peut reconnaître la bonne réponse parmi quatre choix, mais être incapable de produire cette même réponse lorsqu’on la lui demande sans options.

2. Fluidité de traitement Processing Fluency

Plus le contenu devient facile à lire et à comprendre, plus l’apprenant peut avoir le sentiment de le maîtriser.

Un paradoxe important apparaît alors :

La facilité perçue de l’apprentissage n’est pas toujours une preuve de la solidité de l’apprentissage réel.

Une présentation structurée, un formateur compétent et des exemples clairs sont importants, mais éliminer toute difficulté de l’expérience d’apprentissage peut transformer le participant en récepteur confortable plutôt qu’en apprenant actif.

3. Soutien excessif pendant la formation

Le participant peut très bien réaliser une tâche lorsqu’il dispose de :

les étapes, le modèle, le formateur, les collègues, les consignes et les exemples précédents.

Mais la question est :

Que reste-t-il de cette performance lorsque ces soutiens sont retirés ?

Plus la réussite du participant dépend d’un soutien externe, plus il faut être prudent avant d’interpréter cette réussite comme une maîtrise réelle.

Une distinction importante dans ce domaine, proposée par Bjork et Bjork, est celle entre :

La force avec laquelle la connaissance est stockée en mémoire.

La facilité avec laquelle cette connaissance peut être récupérée à un moment donné.

Une information peut être familière et facile à rappeler immédiatement après la formation parce que le participant l’a traitée quelques minutes auparavant ; la force de récupération est donc temporairement élevée.

Mais avec le temps, lorsque le rappel devient moins facile, il devient plus clair de savoir si la connaissance a été suffisamment consolidée pour pouvoir être récupérée.

Ainsi, tester le participant immédiatement après l’explication peut donner une image très différente de celle obtenue après un certain délai.

Le temps devient donc un élément de la validité de l’évaluation de la formation, et pas seulement une question d’organisation.

L’illusion de compétence est étroitement liée à la Metacognition — métacognition —, c’est-à-dire la capacité d’une personne à surveiller, évaluer et juger ses propres connaissances et son apprentissage.

Un concept important ici est :

le degré de correspondance entre :

ce que la personne croit savoir

et ce qu’elle peut réellement démontrer qu’elle sait.

Plus les deux sont proches, meilleure est la calibration.

Par exemple, le participant peut dire :

« Je suis certain à 90 % d’avoir maîtrisé cette compétence. »

Puis une évaluation indépendante peut montrer que sa performance ne dépasse pas 55 %, révélant un écart de calibration clair.

Cet écart peut lui-même devenir une donnée de formation importante et mesurable.

L’une des évolutions importantes des sciences de l’apprentissage est que le test n’est plus considéré uniquement comme un moyen d’évaluer l’apprentissage ; il peut également contribuer à l’améliorer.

Les recherches sur Retrieval Practice montrent que tenter de récupérer les connaissances en mémoire peut, dans de nombreuses situations, favoriser la rétention davantage que la simple relecture du matériel.

Cela signifie que demander au participant :

« Fermez le support et écrivez de mémoire les cinq étapes. »

peut être plus utile pour l’apprentissage que :

« Relisez les cinq étapes. »

Le test devient ici un Learning Event et pas seulement un Assessment Event.

Elle peut apparaître à travers plusieurs indicateurs, par exemple :

• ✓Confiance élevée avec faible rappel indépendant.
• ✓Réussite aux questions à choix multiple mais échec aux questions ouvertes.
• ✓Réussite de la tâche avec un modèle et échec lorsque le modèle est retiré.
• ✓Réussite sur un exemple familier mais échec dans une situation nouvelle.
• ✓Score élevé au post-test immédiat puis baisse de la performance quelques semaines plus tard.
• ✓Connaissance théorique du concept sans capacité à l’utiliser dans une décision professionnelle.

La seule question ne devrait donc pas être :

Le participant a-t-il répondu correctement ?

Mais plutôt :

Dans quelles conditions a-t-il pu répondre ?

Un diagnostic pratique peut être construit en cinq étapes successives :

Avant le test, le participant évalue de 0 à 100 % sa confiance dans sa maîtrise de la compétence.

Il lui est demandé de récupérer les connaissances ou d’exécuter la tâche sans consulter le support de formation.

Les modèles, orientations et exemples disponibles pendant la formation sont retirés.

Le participant est placé dans une situation nouvelle, différente de l’exemple travaillé, mais nécessitant le même principe ou la même compétence.

Une partie de l’évaluation est répétée après une période appropriée, par exemple 7, 30 ou 60 jours, selon la nature de la compétence.

La maîtrise réelle peut alors être comprise comme la combinaison de quatre dimensions :

et non simplement comme la réussite à un post-test immédiat.

Les organisations peuvent ajouter un indicateur simple à leur système d’évaluation de la formation :

Exemple :

Confiance perçue = 90 %

Performance réelle = 62 %

Donc :

Écart de calibration = +28 points de pourcentage

Plus l’écart positif est important, plus il est probable que la confiance dépasse la compétence démontrée.

Cet indicateur doit toutefois être utilisé comme outil diagnostique et non comme jugement définitif, car la qualité du test, la nature de la compétence et le contexte de mesure influencent le résultat.

Cet article propose un changement dans la philosophie de l’évaluation de la formation.

Au lieu de demander :

Le participant peut-il réaliser la tâche ?

nous posons une question plus précise :

Peut-il la réaliser correctement et de manière autonome, après un délai, dans un contexte différent de celui de la formation ?

On peut envisager quatre niveaux :

Le participant reconnaît le concept lorsqu’il le voit.

Il peut le récupérer sans source externe.

Il peut l’utiliser sans orientation directe.

Il peut l’utiliser dans une situation nouvelle ou non familière.

Ce quatrième niveau est celui qui se rapproche le plus de la valeur professionnelle de la formation.

Il ne s’agit pas de compliquer le contenu ni d’épuiser volontairement le participant.

Mais certaines difficultés d’apprentissage soigneusement conçues peuvent être utiles ; cela renvoie au concept de Desirable Difficulties — difficultés souhaitables.

Par exemple :

• ✓Espacer la pratique dans le temps.
• ✓Tenter un rappel avant de revenir au support.
• ✓Varier les contextes d’application.
• ✓Alterner différents types de problèmes.
• ✓Demander à l’apprenant de produire et de résoudre avant de lui donner la réponse complète.

Dans certaines de ces situations, la performance immédiate peut diminuer alors que la rétention et le transfert s’améliorent ensuite.

La philosophie de conception de la formation change alors :

L’objectif n’est pas que le participant ait le sentiment que tout est facile, mais de créer des conditions qui rendent l’apprentissage plus durable et plus utilisable.

Le formateur professionnel ne devrait pas se fier uniquement à son impression de l’engagement des participants.

Pendant le programme, il peut se demander :

Est-ce que j’évalue le rappel ou la reconnaissance ?

Le participant peut-il résoudre la tâche sans le modèle ?

Lui ai-je proposé une situation nouvelle ?

Ai-je donné la réponse trop rapidement ?

Est-ce que je mesure sa confiance avant de lui révéler son résultat ?

Saurai-je ce qu’il reste de son apprentissage après la fin de la formation ?

Ces questions font passer le rôle du formateur de présentateur de contenu à concepteur des conditions d’apprentissage.

Le problème devient encore plus important au niveau institutionnel.

Si une organisation mesure la réussite de la formation à travers :

la présence, le nombre d’heures, l’achèvement du programme, la satisfaction des participants et le post-test immédiat ;

elle mesure peut-être en réalité davantage la qualité de l’expérience de formation que la solidité de l’apprentissage.

Cela ne rend pas ces indicateurs inutiles, mais ils ne suffisent pas à eux seuls pour juger de la maîtrise.

Les organisations doivent donc ajouter des indicateurs tels que :

• ✓Rétention des connaissances après un certain temps.
• ✓Application autonome.
• ✓Transfert de la compétence à des situations nouvelles.
• ✓Précision de l’estimation que fait le salarié de sa propre compétence.
• ✓Taux d’erreurs après la formation.
• ✓Besoin de soutien après le programme.
• ✓Maintien de la performance dans le temps.

L’idée centrale de l’article peut être résumée en une règle de formation :

Ne jugez pas la force de l’apprentissage tant que les informations, les exemples, les orientations et le formateur sont encore présents dans la mémoire et l’environnement du participant.

Le véritable test commence lorsque :

le temps passe,

le soutien disparaît,

la situation change,

et le participant doit rappeler, décider et appliquer de manière autonome.

Ce n’est qu’alors que nous nous rapprochons de la réponse à la question de savoir si le programme a produit un apprentissage réellement utilisable.

L’un des plus grands défis de la formation n’est pas que le participant n’apprenne pas, mais que l’expérience de formation réussisse à le convaincre qu’il a appris davantage que ce qu’il pourra démontrer plus tard.

La satisfaction n’est pas la maîtrise.

La familiarité n’est pas la connaissance.

La reconnaissance n’est pas le rappel.

Le rappel n’est pas l’application.

La performance immédiate n’est pas nécessairement un apprentissage durable.

Améliorer la formation implique donc de redéfinir la question que nous posons après chaque programme.

Au lieu de :

Le programme de formation a-t-il réussi ?

la question la plus scientifique pourrait être :

Que peut rappeler et appliquer le participant de manière autonome après que du temps s’est écoulé, que les circonstances ont changé et que le soutien a disparu ?

Lorsque cette question fait partie de la conception et de l’évaluation de la formation, nous passons de la mesure de l’expérience de formation à la vérification de l’apprentissage, et de l’attention portée à ce qui s’est passé dans la salle à ce qui est resté après.

Cette évolution permet de distinguer la formation qui apporte un savoir temporaire de celle qui construit une capacité professionnelle durable.

Bjork, E. L., & Bjork, R. A. (2011). Making things hard on yourself, but in a good way: Creating desirable difficulties to enhance learning. In M. A. Gernsbacher et al. (Eds.), Psychology and the real world: Essays illustrating fundamental contributions to society. Worth Publishers.

Dunlosky, J., Rawson, K. A., Marsh, E. J., Nathan, M. J., & Willingham, D. T. (2013). Improving students’ learning with effective learning techniques: Promising directions from cognitive and educational psychology. Psychological Science in the Public Interest, 14(1), 4–58.

Karpicke, J. D., & Roediger, H. L., III. (2008). The critical importance of retrieval for learning. Science, 319(5865), 966–968.

Roediger, H. L., III, & Karpicke, J. D. (2006). Test-enhanced learning: Taking memory tests improves long-term retention. Psychological Science, 17(3), 249–255.

Soderstrom, N. C., & Bjork, R. A. (2015). Learning versus performance: An integrative review. Perspectives on Psychological Science, 10(2), 176–199.