核心概念
能力错觉
个人认为自己知道或能够做到的程度,与其在独立评估中实际能够证明的程度之间的差距。
识别不等于回忆
看到正确答案时能够识别,并不意味着在没有选项和支持时能够从记忆中主动产生答案。
元认知校准
学员自认为具备的能力水平,与评估所揭示的实际能力水平之间的一致程度。
把提取作为学习事件
尝试从记忆中提取知识不仅是评估工具,本身也可以成为学习过程的一部分。
建议的诊断模型
信心
学员在评估前对自己的掌握程度进行估计。
独立回忆
在不查阅培训材料的情况下回忆知识或完成任务。
移除支持
撤去培训期间可用的模型、指导和示例。
迁移
在不同于熟悉示例的新情境中应用相同的原则或技能。
时间延迟
根据技能性质,在7、30或60天后重复部分评估。
引言
一门培训课程可能以看似理想的方式结束:参与度高、回答正确、后测成绩良好、对培训师满意度高,参与者也明显感觉自己获得了新的知识和技能。
但更重要的问题是在项目结束之后才开始:
学员真的学会了吗?
这个问题看似简单,却触及学习科学与培训中最复杂的问题之一:培训中的良好表现并不一定意味着形成了持久学习,而学员感觉理解了内容,也不一定意味着在工作中需要时能够回忆或应用。
这时就会出现所谓的“能力错觉” Illusion of Competence:个人对自己知识或能力水平的估计,高于其真实掌握水平。
这一现象在机构培训中尤其重要,因为它可能使项目从表面指标看起来成功,却未能产生预期程度的绩效变化。
因此,本文提出一个根本问题:
在我们的培训项目中,我们衡量的究竟是学员真正学到了什么,还是只衡量内容仍然新鲜、仍在眼前时他们能够完成什么?
第一:什么是能力错觉?
在学习情境中,能力错觉是指感知能力 Perceived Competence 与实际能力 Actual Competence 之间的不匹配。
也就是说,学员可能认为自己知道某件事或能够完成某项任务的程度,高于独立评估所揭示的真实能力。
这并不一定意味着学员有意夸大自己的能力;其判断可能完全真诚,只是建立在不准确的线索之上。
学员可能因为以下原因而觉得自己已经掌握内容:
- ✓能够轻松理解培训师的讲解。
- ✓看到正确答案时能够识别出来。
- ✓在有说明和指导的情况下完成活动。
- ✓观看培训师熟练地示范技能。
- ✓在讲解后立即重复任务。
- ✓在内容呈现后不久进行的测试中取得高分。
然而,这些指标可能更多衡量加工流畅性、熟悉感或即时表现,而不是持久学习。
这也揭示了培训设计者必须理解的一个关键区别:
识别知识不等于能够回忆知识,而能够回忆也不等于能够在新情境中使用知识。
第二:培训中的表现不等于学习
学习科学区分两个经常被混淆的概念:
表现 Performance学习者在练习期间或培训刚结束时能够展示出来的行为。
学习 Learning知识或能力中更持久的变化,可通过表现保持或向后续情境迁移来推断。
Soderstrom 和 Bjork 指出,能够改善练习期间表现的条件,并不总是能够带来最佳长期学习的条件。
这一点对培训极其重要。
培训师可能提供非常清晰的讲解,然后给出循序渐进的示例,再让学员完成一个与示例非常相似的练习。
结果通常会很好看。
但如果两周后要求学员在没有帮助的情况下解决一个不同的问题,会发生什么?
真正的学习测试从这里开始。
因此,可以提出以下公式:
培训项目可能在课堂中产生 Performance Gain,却不一定产生同等程度的 Durable Learning。
第三:为什么会产生学习错觉?
1. 熟悉感 Familiarity
当学员多次看到某个概念或模型时,会开始感觉自己已经知道它。
但看到信息并在出现时认出它,与能够从记忆中主动产生它是不同的。
这就是以下两者的区别:
Recognition — 识别与 Recall — 回忆学员可能在四个选项中看到正确答案时知道答案,但在没有选项时却无法主动给出同样的答案。
2. 加工流畅性 Processing Fluency
内容越容易阅读和理解,学习者越可能感觉自己已经掌握。
这里会出现一个重要悖论:
感知到的学习容易程度,并不总是实际学习强度的证据。
结构清晰的呈现、能力强的培训师和明确的示例都很重要,但如果把学习体验中的所有困难都消除,可能会让学员成为舒适的接受者,而不是主动学习者。
3. 培训中的过度支持
当以下支持都存在时,学员可能把任务完成得非常好:
步骤、模型、培训师、同伴、说明以及之前的示例。
但问题是:
当这些支持被移除后,这种表现还剩下多少?
学员的成功越依赖外部支持,就越需要谨慎地把这种成功解释为真正的掌握。
第四:记忆不仅仅是信息存储器
在这一领域,Bjork 与 Bjork 提出的一个重要区分是:
Storage Strength知识在记忆中储存的强度。
与 Retrieval Strength在某一时刻访问这些知识的容易程度。
培训刚结束时,信息可能很熟悉也容易回忆,因为学员几分钟前才接触过它,因此提取强度会暂时很高。
但随着时间过去、提取变得不再容易,我们才能看出这些知识是否已经巩固到足以重新恢复的程度。
因此,讲解结束后立即测试学员,得到的结果可能与一段时间之后再测试完全不同。
所以,时间本身是培训测量效度的一部分,而不仅仅是组织安排问题。
第五:元认知与校准
能力错觉与 Metacognition(元认知)密切相关,也就是个人监控、评价并判断自己知识与学习的能力。
这里有一个重要概念:
Metacognitive Calibration — 元认知校准它指以下两者之间的一致程度:
个人认为自己知道的内容
以及其实际上能够证明自己知道的内容。
二者越接近,校准越准确。
例如,学员可能会说:
“我有90%的把握认为自己已经掌握这项技能。”
但独立评估可能显示其表现不超过55%,这就形成了明显的校准差距。
这一差距本身就可以成为有意义、可测量的培训数据。
第六:测试不仅是测量工具
学习科学中的一个重要转变是:测试不再只被视为评估学习的方式,也可以成为改善学习的方式。
Retrieval Practice 的研究表明,在许多情况下,尝试从记忆中提取知识,比单纯重新学习材料更能支持长期保持。
这意味着,向学员提出:
“合上材料,凭记忆写出五个步骤。”
可能比下面这种做法更有学习价值:
“再把这五个步骤读一遍。”
此时,测试成为 Learning Event,而不仅仅是 Assessment Event。
第七:能力错觉如何在培训课堂中表现出来?
它可能通过以下一些指标表现出来:
- ✓信心很高,但独立回忆能力较弱。
- ✓选择题表现成功,但开放题失败。
- ✓有模型时能完成任务,模型撤去后失败。
- ✓熟悉示例中成功,但在新情境中失败。
- ✓即时后测分数很高,但数周后表现下降。
- ✓理论上知道概念,却无法在专业决策中使用。
因此,不应只问:
学员回答正确了吗?
更应问:
他们是在什么条件下回答出来的?
第八:识别培训中能力错觉的建议模型
可以通过五个连续阶段建立一个实用诊断流程:
测试前,学员以0到100%评估自己对该技能的掌握信心。
要求学员在不查阅培训材料的情况下回忆知识或完成任务。
撤去培训中提供的模型、指导和示例。
让学员面对一个不同于训练示例的新情境,但需要使用相同原则或技能。
根据技能性质,在7、30或60天后重复部分测量。
因此,真正的掌握可以被视为四个维度共同作用的结果:
而不仅仅是在即时后测中取得成功。
第九:感知能力差距指标
机构可以在培训评估体系中加入一个简单指标:
示例:
感知信心 = 90%
实际表现 = 62%
因此:
校准差距 = +28 个百分点
正向差距越大,信心高于已证明能力的可能性就越高。
但这个指标应作为诊断工具,而不是最终判断,因为测试本身的质量、技能性质和测量情境都会影响结果。
第十:从测试学员到测试学员的独立性
本文提出对培训评估理念进行转变。
与其问:
学员能完成这项任务吗?
不如提出一个更精确的问题:
在时间过去后、并且情境不同于培训情境时,学员还能否正确、独立地完成任务?
可以设想四个层级:
学员看到概念时能够识别它。
学员能够在没有外部来源的情况下主动提取它。
学员能够在没有直接指导的情况下使用它。
学员能够在新的或不熟悉的情境中使用它。
第四层级最接近培训的职业价值。
第十一:我们是否应该让培训更难?
目的并不是让内容复杂化,也不是故意让学员疲惫。
但某些经过设计的学习困难可能是有益的,这与 Desirable Difficulties(有益困难)的概念有关。
例如:
- ✓把练习分散到不同时间。
- ✓在回看材料之前先尝试回忆。
- ✓改变应用情境。
- ✓交错练习不同类型的问题。
- ✓在给出完整答案之前,先要求学习者自行生成和解决。
在其中一些情况下,即时表现可能下降,但之后的保持和迁移却可能改善。
这会改变培训设计的理念:
目标不是让学员感觉一切都很容易,而是构建能够让学习更加持久、更加可用的条件。
第十二:这对培训师意味着什么?
专业培训师不应只依赖自己对学员参与度的印象。
在培训过程中,培训师可以问自己:
我是在测试回忆,还是识别?
学员在没有模型的情况下能解决任务吗?
我是否给了他们一个新的情境?
我是否过早给出了答案?
我是否在公布结果之前先测量了他们的信心?
课程结束后,我是否知道他们的学习还保留了多少?
这些问题会把培训师的角色从内容呈现者转变为学习条件的设计者。
第十三:这对机构意味着什么?
在机构层面,这个问题更加重要。
如果机构通过以下指标衡量培训成功:
出勤、培训小时数、项目完成、参与者满意度以及即时后测;
那么它实际上可能更多是在衡量培训体验的质量,而不是学习的持久性。
这并不意味着这些指标没有价值,但单独依赖它们不足以判断是否真正掌握。
因此,机构需要增加以下指标:
- ✓一段时间后的知识保持。
- ✓独立应用。
- ✓技能向新情境的迁移。
- ✓员工对自身能力判断的准确度。
- ✓培训后的错误率。
- ✓项目结束后对支持的需求程度。
- ✓表现随时间持续的程度。
第十四:一条实用规则——不要在学习仍然“温热”时判断学习
本文的核心思想可以浓缩为一条培训规则:
当信息、示例、指导和培训师仍然存在于学员的记忆和环境中时,不要判断学习的强度。
真正的测试开始于:
时间过去,
支持消失,
情境改变,
学员必须独立地回忆、判断和应用。
只有在这时,我们才更接近知道培训项目是否产生了可使用的学习。
结语
培训中最大的挑战之一,并不是学员没有学习,而是培训体验成功地让他们相信自己学得比之后能够证明的更多。
满意不等于掌握。
熟悉不等于知识。
识别不等于回忆。
回忆不等于应用。
即时表现不一定等于持久学习。
因此,改进培训需要重新定义我们在每个项目结束后提出的问题。
与其问:
培训项目成功了吗?
更科学的问题也许是:
当时间过去、环境改变、支持消失后,学员还能独立回忆和应用什么?
当这个问题成为培训设计和评估的一部分时,我们就从测量培训体验转向验证学习是否真正发生,并从关注课堂内发生了什么转向关注课程结束后还留下了什么。
这种转变可以区分只是提供暂时知识的培训,与真正建立可持续职业能力的培训。
基础参考文献
Bjork, E. L., & Bjork, R. A. (2011). Making things hard on yourself, but in a good way: Creating desirable difficulties to enhance learning. In M. A. Gernsbacher et al. (Eds.), Psychology and the real world: Essays illustrating fundamental contributions to society. Worth Publishers.
Dunlosky, J., Rawson, K. A., Marsh, E. J., Nathan, M. J., & Willingham, D. T. (2013). Improving students’ learning with effective learning techniques: Promising directions from cognitive and educational psychology. Psychological Science in the Public Interest, 14(1), 4–58.
Karpicke, J. D., & Roediger, H. L., III. (2008). The critical importance of retrieval for learning. Science, 319(5865), 966–968.
Roediger, H. L., III, & Karpicke, J. D. (2006). Test-enhanced learning: Taking memory tests improves long-term retention. Psychological Science, 17(3), 249–255.
Soderstrom, N. C., & Bjork, R. A. (2015). Learning versus performance: An integrative review. Perspectives on Psychological Science, 10(2), 176–199.
添加新评论