Учебная программа может завершиться на первый взгляд идеально: высокая вовлечённость, правильные ответы, хорошие результаты посттеста, высокая удовлетворённость тренером и ясное ощущение у участников, что они приобрели новые знания и навыки.

Но более важный вопрос начинается после завершения программы:

Действительно ли участник научился?

Вопрос может показаться простым, однако он затрагивает одну из самых сложных проблем науки об обучении: хороший результат в ходе занятия не обязательно означает устойчивое обучение, а ощущение понимания не обязательно означает способность вспомнить или применить материал в рабочей ситуации.

Здесь возникает явление, которое можно назвать «иллюзией компетентности» Illusion of Competence — состояние, при котором оценка человеком собственных знаний или возможностей выше его реального уровня владения.

Особенно важно это явление в корпоративном обучении: программа может выглядеть успешной по видимым показателям, но не обеспечивать ожидаемого изменения в результативности.

Поэтому статья ставит фундаментальный вопрос:

Что мы измеряем в наших программах: то, чему участник действительно научился, или лишь то, что он смог сделать в момент, когда содержание ещё было свежим и находилось перед ним?

В контексте обучения иллюзия компетентности означает несоответствие между Perceived Competence и Actual Competence.

Иными словами, участник может считать, что знает или умеет больше, чем показывает его реальная способность при независимой оценке.

Это не означает, что участник намеренно преувеличивает свои способности; его оценка может быть искренней, но основанной на неточных признаках.

Он может считать, что освоил материал, потому что:

• ✓Легко понял объяснение тренера.
• ✓Узнал правильный ответ, когда увидел его.
• ✓Выполнил задание при наличии инструкций и подсказок.
• ✓Наблюдал, как тренер профессионально выполняет навык.
• ✓Сразу повторил задачу после объяснения.
• ✓Получил высокий результат в тесте, проведённом вскоре после подачи материала.

Однако эти признаки могут измерять скорее лёгкость обработки, знакомость или немедленный результат, чем устойчивое обучение.

Здесь проявляется одно из важнейших различий, которое должны понимать разработчики обучения:

Узнать знание — не то же самое, что воспроизвести его; а воспроизвести — не то же самое, что применить в новой ситуации.

Наука об обучении различает два понятия, которые часто смешивают:

То, что обучающийся способен показать во время практики или сразу после обучения.

Более устойчивое изменение знаний или способности, которое можно вывести из сохранения результата или его переноса на последующие ситуации.

Soderstrom и Bjork показали, что условия, улучшающие результат во время практики, не всегда совпадают с условиями, обеспечивающими лучшее долгосрочное обучение.

Для обучения это принципиально важно.

Тренер может дать очень ясное объяснение, затем последовательные примеры и после этого предложить упражнение, почти полностью похожее на образец.

Часто результаты будут хорошими.

Но что произойдёт, если через две недели участника попросят решить другую задачу без помощи?

Именно здесь начинается настоящий тест обучения.

Поэтому можно сформулировать следующее соотношение:

Программа может дать Performance Gain во время занятия, но не обязательно обеспечит такой же уровень Durable Learning.

1. Familiarity — знакомость

Когда участник многократно видит понятие или модель, ему начинает казаться, что он уже знает их.

Но видеть информацию и узнавать её при предъявлении — не то же самое, что воспроизвести её из памяти.

Это различие между:

Участник может узнать правильный ответ среди четырёх вариантов, но не суметь самостоятельно сформулировать тот же ответ без вариантов.

2. Processing Fluency — лёгкость обработки

Чем легче материал читается и понимается, тем сильнее обучающемуся может казаться, что он его освоил.

Здесь возникает важный парадокс:

Ощущаемая лёгкость обучения не всегда свидетельствует о силе реального обучения.

Структурированная подача, компетентный тренер и ясные примеры важны, но полное устранение всех трудностей может превратить участника в комфортного получателя информации вместо активного обучающегося.

3. Избыточная поддержка во время обучения

Участник может отлично выполнить задачу, когда перед ним есть:

шаги, модель, тренер, коллеги, инструкции и предыдущие примеры.

Но вопрос в том:

Что остаётся от этого результата, когда такая поддержка исчезает?

Чем сильнее успех участника зависит от внешней поддержки, тем осторожнее следует трактовать этот успех как реальное владение.

Одно из важных различий в этой области, предложенное Bjork и Bjork, — различие между:

Силой хранения знания в памяти.

Лёгкостью доступа к этому знанию в конкретный момент.

Сразу после обучения информация может быть знакомой и легко воспроизводимой, потому что участник работал с ней несколько минут назад; поэтому сила извлечения временно высока.

Но с течением времени, когда извлечение становится труднее, становится понятно, насколько прочно знание закрепилось и можно ли восстановить его позднее.

Поэтому проверка сразу после объяснения может дать совершенно иную картину, чем проверка спустя некоторое время.

Так время становится частью валидности измерения обучения, а не просто организационным фактором.

Иллюзия компетентности тесно связана с понятием Metacognition — метакогниции, то есть способности человека наблюдать за собственным знанием и обучением и оценивать их.

Важное понятие здесь:

степень соответствия между:

тем, что человек считает известным ему

и тем, что он действительно способен доказать своим знанием.

Чем ближе эти два уровня, тем точнее калибровка.

Например, участник может сказать:

«Я на 90% уверен, что освоил этот навык».

Затем независимая оценка может показать результат не выше 55% — это явный калибровочный разрыв.

Сам этот разрыв может стать важным и измеримым показателем обучения.

Одно из важных изменений в науке об обучении заключается в том, что тест больше не рассматривается только как средство оценки обучения; он может быть способом его улучшения.

Исследования Retrieval Practice показывают, что попытка извлечь знание из памяти во многих ситуациях лучше поддерживает его сохранение, чем простое повторное изучение материала.

Это означает, что просьба участнику:

«Закрой материал и запиши пять шагов по памяти».

может быть полезнее для обучения, чем:

«Прочитай пять шагов ещё раз».

Тест здесь становится Learning Event, а не только Assessment Event.

Она может проявляться через ряд признаков, например:

• ✓Высокая уверенность при слабом самостоятельном воспроизведении.
• ✓Успех в вопросах с выбором ответа и неудача в открытых вопросах.
• ✓Успешное выполнение задачи с моделью и неудача после её удаления.
• ✓Успех на знакомом примере и неудача в новой ситуации.
• ✓Высокий результат немедленного посттеста и снижение результата через несколько недель.
• ✓Теоретическое знание понятия без способности использовать его в профессиональном решении.

Поэтому недостаточно спрашивать только:

Ответил ли участник правильно?

Важнее спросить:

В каких условиях он смог ответить?

Практическую диагностику можно построить из пяти последовательных этапов:

До теста участник оценивает свою уверенность во владении навыком от 0 до 100%.

Его просят воспроизвести знание или выполнить задачу без обращения к учебным материалам.

Убираются модели, инструкции и примеры, доступные во время обучения.

Участник сталкивается с новой ситуацией, отличной от тренировочного примера, но требующей того же принципа или навыка.

Часть оценки повторяется спустя подходящий срок, например 7, 30 или 60 дней — в зависимости от характера навыка.

Таким образом, реальное владение можно рассматривать как сочетание четырёх измерений:

а не просто как успех в немедленном посттесте.

Организации могут добавить простой показатель в систему оценки обучения:

Пример:

Воспринимаемая уверенность = 90%

Фактический результат = 62%

Следовательно:

Калибровочный разрыв = +28 процентных пунктов

Чем шире положительный разрыв, тем выше вероятность, что уверенность превышает доказанную компетентность.

Но этот показатель следует использовать как диагностический инструмент, а не как окончательное суждение, поскольку на результат влияют качество самого теста, характер навыка и контекст измерения.

Статья предлагает изменить философию оценки обучения.

Вместо вопроса:

Может ли участник выполнить задачу?

мы задаём более точный вопрос:

Может ли он выполнить её правильно и самостоятельно спустя время и в контексте, отличном от учебного?

Можно выделить четыре уровня:

Участник узнаёт понятие, когда видит его.

Он может восстановить его без внешнего источника.

Он может использовать знание без прямого руководства.

Он может использовать знание в новой или незнакомой ситуации.

Именно четвёртый уровень ближе всего к профессиональной ценности обучения.

Речь не идёт о том, чтобы усложнять содержание или намеренно утомлять участника.

Однако некоторые продуманные трудности обучения могут быть полезны; это связано с понятием Desirable Difficulties — желательных трудностей.

К ним относятся:

• ✓Распределение практики во времени.
• ✓Попытка воспроизведения до возвращения к материалу.
• ✓Изменение контекстов применения.
• ✓Чередование разных типов задач.
• ✓Требование к обучающемуся самому сгенерировать и решить задачу до получения полного ответа.

В некоторых таких условиях немедленный результат может снизиться, но последующее сохранение и перенос могут улучшиться.

Так меняется философия дизайна обучения:

Цель не в том, чтобы участнику всё казалось лёгким, а в том, чтобы создать условия, делающие обучение более устойчивым и применимым.

Профессиональный тренер не должен опираться только на своё впечатление о вовлечённости участников.

Во время программы он может спрашивать себя:

Проверяю ли я воспроизведение или узнавание?

Может ли участник решить задачу без модели?

Дал ли я ему новую ситуацию?

Не слишком ли быстро я дал ответ?

Измеряю ли я его уверенность до того, как покажу результат?

Буду ли я знать, что осталось от обучения после окончания курса?

Эти вопросы переводят роль тренера от поставщика контента к инженеру условий обучения.

На институциональном уровне проблема становится ещё более значимой.

Если организация измеряет успех обучения через:

посещаемость, количество часов, завершение программы, удовлетворённость участников и немедленный посттест;

то фактически она может измерять качество учебного опыта больше, чем устойчивость обучения.

Это не делает такие показатели бесполезными, но сами по себе они недостаточны для оценки владения.

Поэтому организациям нужны дополнительные показатели, например:

• ✓Сохранение знания спустя время.
• ✓Самостоятельное применение.
• ✓Перенос навыка в новые ситуации.
• ✓Точность самооценки сотрудником собственной компетентности.
• ✓Частота ошибок после обучения.
• ✓Потребность в поддержке после программы.
• ✓Сохранение результативности во времени.

Основную идею статьи можно свести к одному правилу обучения:

Не оценивайте силу обучения, пока информация, примеры, подсказки и тренер всё ещё присутствуют в памяти и окружении участника.

Настоящая проверка начинается, когда:

проходит время,

исчезает поддержка,

меняется ситуация,

и участнику приходится самостоятельно вспоминать, принимать решение и применять знание.

Только тогда мы приближаемся к пониманию того, создала ли программа действительно применимое обучение.

Одна из главных проблем обучения не в том, что участник не учится, а в том, что учебный опыт может убедить его, будто он выучил больше, чем сможет впоследствии доказать.

Удовлетворённость — не владение.

Знакомость — не знание.

Узнавание — не воспроизведение.

Воспроизведение — не применение.

Немедленный результат не обязательно означает устойчивое обучение.

Поэтому развитие обучения связано с переопределением вопроса, который мы задаём после каждой программы.

Вместо:

Была ли учебная программа успешной?

более научным вопросом может быть:

Что участник способен самостоятельно вспомнить и применить после того, как пройдёт время, изменятся обстоятельства и исчезнет поддержка?

Когда этот вопрос становится частью дизайна и оценки обучения, мы переходим от измерения учебного опыта к проверке того, произошло ли обучение, и от внимания к тому, что происходило в аудитории, к тому, что осталось после неё.

Именно этот переход отличает обучение, дающее временное знание, от обучения, создающего устойчивую профессиональную способность.

Bjork, E. L., & Bjork, R. A. (2011). Making things hard on yourself, but in a good way: Creating desirable difficulties to enhance learning. In M. A. Gernsbacher et al. (Eds.), Psychology and the real world: Essays illustrating fundamental contributions to society. Worth Publishers.

Dunlosky, J., Rawson, K. A., Marsh, E. J., Nathan, M. J., & Willingham, D. T. (2013). Improving students’ learning with effective learning techniques: Promising directions from cognitive and educational psychology. Psychological Science in the Public Interest, 14(1), 4–58.

Karpicke, J. D., & Roediger, H. L., III. (2008). The critical importance of retrieval for learning. Science, 319(5865), 966–968.

Roediger, H. L., III, & Karpicke, J. D. (2006). Test-enhanced learning: Taking memory tests improves long-term retention. Psychological Science, 17(3), 249–255.

Soderstrom, N. C., & Bjork, R. A. (2015). Learning versus performance: An integrative review. Perspectives on Psychological Science, 10(2), 176–199.