Um treinamento pode terminar de uma forma que parece ideal: participação elevada, respostas corretas, bons resultados no teste posterior, alta satisfação com o instrutor e uma sensação clara entre os participantes de que adquiriram novos conhecimentos e habilidades.

Mas a pergunta mais importante começa depois que o programa termina:

O participante realmente aprendeu?

A pergunta pode parecer simples, mas toca em uma das questões mais complexas das ciências do aprendizado e do treinamento: um bom desempenho durante o treinamento não significa necessariamente que tenha ocorrido aprendizado duradouro, e sentir que se compreendeu o conteúdo não significa necessariamente conseguir recordá-lo ou aplicá-lo quando necessário no trabalho.

É aqui que surge o fenómeno denominado «ilusão de competência» Illusion of Competence: um estado em que a estimativa que a pessoa faz do seu nível de conhecimento ou capacidade é superior ao seu nível real de domínio.

Esse fenômeno é particularmente importante no treinamento institucional, pois pode fazer com que o programa pareça bem-sucedido segundo indicadores visíveis sem produzir o nível esperado de mudança no desempenho.

Por isso, este artigo coloca uma questão fundamental:

Em nossos programas de treinamento, medimos aquilo que o participante realmente aprendeu ou apenas aquilo que conseguiu fazer enquanto o conteúdo ainda estava fresco e presente diante dele?

No contexto da aprendizado, a ilusão de competência refere-se a uma falta de correspondência entre Perceived Competence e Actual Competence.

Ou seja, o participante pode acreditar que sabe ou consegue executar determinada tarefa em um grau superior ao que sua capacidade real revela em uma avaliação independente.

Isso não significa necessariamente que o participante exagere deliberadamente suas capacidades; sua avaliação pode ser totalmente sincera, mas baseada em sinais pouco precisos.

Pode sentir que dominou o conteúdo porque:

• ✓Compreendeu facilmente a explicação do instrutor.
• ✓Reconheceu a resposta correta quando a viu.
• ✓Executou a atividade com instruções e orientação disponíveis.
• ✓Observou o instrutor executar a habilidade com profissionalismo.
• ✓Repetiu a tarefa imediatamente após a explicação.
• ✓Obteve um resultado elevado em um teste realizado pouco depois da apresentação do conteúdo.

No entanto, esses indicadores podem medir fluidez de processamento, familiaridade ou desempenho imediato mais do que aprendizado duradouro.

Aqui surge uma das distinções mais importantes que os designers de treinamento devem compreender:

Reconhecer conhecimento não é o mesmo que recordá-lo, e recordá-lo não é o mesmo que conseguir usá-lo numa situação nova.

A ciência da aprendizado distingue dois conceitos que são frequentemente confundidos:

Aquilo que o aluno consegue demonstrar durante a prática ou imediatamente após o treinamento.

Uma mudança mais estável no conhecimento ou na capacidade, que pode ser inferida por meio da retenção do desempenho ou de sua transferência para situações posteriores.

Soderstrom e Bjork demonstraram que as condições que melhoram o desempenho durante a prática nem sempre são as mesmas que produzem o melhor aprendizado de longo prazo.

Esse ponto é extremamente importante no treinamento.

O instrutor pode apresentar uma explicação muito clara, seguida de exemplos graduais, e depois permitir que os participantes realizem um exercício muito semelhante ao exemplo.

Os resultados parecerão muitas vezes bons.

Mas o que acontece se, duas semanas depois, se pedir ao participante que resolva um problema diferente sem ajuda?

É aqui que começa o verdadeiro teste da aprendizado.

Assim, pode formular-se a seguinte equação:

Um programa de treinamento pode produzir um Performance Gain durante a sessão sem produzir necessariamente o mesmo nível de Durable Learning.

1. Familiaridade Familiarity

Quando o participante vê repetidamente um conceito ou modelo, começa a sentir que já o conhece.

Mas ver uma intreinamento e reconhecê-la quando aparece é diferente de conseguir produzi-la a partir da memória.

Esta é a diferença entre:

O participante pode reconhecer a resposta correta quando ela surge entre quatro opções, mas não conseguir produzir a mesma resposta quando lhe é pedido sem alternativas.

2. Fluidez de processamento Processing Fluency

Quanto mais fácil o conteúdo se torna de ler e compreender, mais o aluno pode sentir que já o dominou.

Aqui surge um paradoxo importante:

A facilidade de aprendizado percebida nem sempre é prova de aprendizado real sólida.

Uma apresentação organizada, um instrutor competente e exemplos claros são importantes, mas eliminar todas as dificuldades da experiência de aprendizado pode transformar o participante em um receptor confortável em vez de um aluno ativo.

3. Apoio excessivo durante o treinamento

O participante pode executar a tarefa de forma excelente quando tem diante de si:

os passos, o modelo, o instrutor, os colegas, as instruções e os exemplos anteriores.

Mas a pergunta é:

O que resta deste desempenho quando esses apoios são retirados?

Quanto mais o sucesso do participante depender de apoio externo, maior deve ser a cautela ao interpretar esse sucesso como domínio.

Uma distinção importante neste domínio, proposta por Bjork e Bjork, é a existente entre:

A força com que o conhecimento está armazenado na memória.

A facilidade com que esse conhecimento pode ser acessado num determinado momento.

A intreinamento pode parecer familiar e ser facilmente recordada imediatamente após a treinamento porque o participante lidou com ela poucos minutos antes; por isso, a força de recuperação é temporariamente elevada.

Mas, com a passagem do tempo e a redução da facilidade de recuperação, torna-se mais claro se o conhecimento se consolidou suficientemente para poder ser recuperado.

Por isso, avaliar o participante imediatamente após a explicação pode apresentar uma imagem muito diferente da avaliação realizada depois de algum tempo.

Assim, o tempo torna-se um elemento da validade da avaliação do treinamento, e não apenas uma questão organizacional.

A ilusão de competência está estreitamente relacionada com a Metacognition — metacognição —, isto é, a capacidade de a pessoa monitorar, avaliar e julgar seu próprio conhecimento e aprendizado.

Um conceito importante neste contexto é:

o grau de correspondência entre:

aquilo que a pessoa acredita saber

e aquilo que consegue efetivamente demonstrar que sabe.

Quanto mais próximos estiverem os dois, melhor será a calibração.

Por exemplo, o participante pode dizer:

«Tenho 90% de certeza de que dominei esta habilidade.»

Depois, uma avaliação independente pode revelar que seu desempenho não ultrapassa 55%, mostrando uma clara diferença de calibração.

Essa diferença pode, por si só, tornar-se um dado de treinamento importante e mensurável.

Uma mudança importante nas ciências do aprendizado é que o teste deixou de ser visto apenas como um meio de avaliar o aprendizado; pode também ser um meio de melhorá-lo.

A investigação sobre Retrieval Practice mostrou que tentar recuperar conhecimentos da memória pode, em muitas circunstâncias, favorecer a retenção melhor do que simplesmente voltar a estudar o material.

Isso significa que pedir ao participante:

«Feche o material e escreva de memória os cinco passos.»

pode ter mais valor para a aprendizado do que:

«Volte a ler os cinco passos.»

O teste torna-se aqui um Learning Event e não apenas um Assessment Event.

Pode manifestar-se através de vários indicadores, como:

• ✓Confiança elevada com fraca recordação independente.
• ✓Sucesso em perguntas de escolha múltipla e insucesso em perguntas abertas.
• ✓Executar a tarefa com o modelo e falhar quando o modelo é retirado.
• ✓Sucesso num exemplo familiar e insucesso numa situação nova.
• ✓Resultado elevado no pós-teste imediato e diminuição do desempenho semanas depois.
• ✓Conhecer o conceito teoricamente e não conseguir usá-lo numa decisão profissional.

Por isso, a única pergunta não deve ser:

O participante respondeu corretamente?

Mas sim:

Em que condições conseguiu responder?

Pode construir-se um diagnóstico prático através de cinco etapas consecutivas:

Antes do teste, o participante classifica de 0 a 100% sua confiança no domínio da habilidade.

É solicitado que recupere o conhecimento ou execute a tarefa sem consultar o material de treinamento.

São retirados os modelos, orientações e exemplos disponíveis durante o treinamento.

O participante enfrenta uma situação nova, diferente do exemplo treinado, mas que exige o mesmo princípio ou habilidade.

Parte da avaliação é repetida após um período adequado, por exemplo 7, 30 ou 60 dias, conforme a natureza da habilidade.

O domínio real pode então ser entendido como o resultado da combinação de quatro dimensões:

e não apenas como sucesso em um pós-teste imediato.

As organizações podem acrescentar um indicador simples ao seu sistema de avaliação de treinamento:

Exemplo:

Confiança percebida = 90%

Desempenho real = 62%

Logo:

Diferença de calibração = +28 pontos percentuais

Quanto maior for a diferença positiva, maior será a possibilidade de a confiança superar a competência demonstrada.

Contudo, esse indicador deve ser tratado como uma ferramenta de diagnóstico e não como um julgamento final, porque a qualidade do próprio teste, a natureza da habilidade e o contexto da medição influenciam o resultado.

Este artigo propõe uma mudança na filosofia da avaliação do treinamento.

Em vez de perguntar:

O participante consegue executar a tarefa?

colocamos uma pergunta mais precisa:

Consegue executá-la corretamente e de forma independente, depois de passar algum tempo e em um contexto diferente do treinamento?

Podemos imaginar quatro níveis:

O participante reconhece o conceito quando o vê.

Consegue recuperá-lo sem uma fonte externa.

Consegue usá-lo sem orientação direta.

Consegue usá-lo numa situação nova ou não familiar.

Este quarto nível é o que mais se aproxima do valor profissional do treinamento.

O objetivo não é complicar o conteúdo nem cansar deliberadamente o participante.

Contudo, algumas dificuldades educacionais cuidadosamente concebidas podem ser úteis; isso se relaciona com o conceito Desirable Difficulties — dificuldades desejáveis.

Entre os exemplos:

• ✓Distribuir a prática ao longo do tempo.
• ✓Tentar recuperar antes de voltar ao material.
• ✓Variar os contextos de aplicação.
• ✓Intercalar diferentes tipos de problemas.
• ✓Pedir ao aluno que gere e resolva antes de receber a resposta completa.

Em algumas destas condições, o desempenho imediato pode diminuir, enquanto a retenção e a transferência melhoram posteriormente.

Assim, muda a filosofia do design do treinamento:

O objetivo não é que o participante sinta que tudo é fácil, mas criar condições que tornem o aprendizado mais duradouro e utilizável.

O instrutor profissional não deve depender apenas de sua impressão sobre o envolvimento dos participantes.

Durante o programa pode perguntar a si mesmo:

Estou a avaliar recordação ou reconhecimento?

O participante consegue resolver a tarefa sem o modelo?

Apresentei-lhe uma situação nova?

Dei-lhe a resposta demasiado cedo?

Estou a medir a sua confiança antes de revelar o resultado?

Saberei o que ficou da sua aprendizado depois de terminar o curso?

Essas perguntas transformam o papel do instrutor de apresentador de conteúdos em engenheiro das condições de aprendizado.

O problema torna-se ainda mais importante ao nível institucional.

Se uma organização mede o sucesso do treinamento por meio de:

presença, número de horas, conclusão do programa, satisfação dos participantes e pós-teste imediato;

pode estar, na realidade, medindo a qualidade da experiência de treinamento mais do que a robustez do aprendizado.

Isso não torna esses indicadores inúteis, mas eles não são suficientes, por si só, para avaliar o domínio.

Por isso, as organizações precisam de acrescentar indicadores como:

• ✓Retenção do conhecimento após algum tempo.
• ✓Aplicação independente.
• ✓Transferência da competência para situações novas.
• ✓Precisão da estimativa que o funcionário faz da sua própria competência.
• ✓Taxa de erros após o treinamento.
• ✓Necessidade de apoio depois do programa.
• ✓Manutenção do desempenho ao longo do tempo.

A ideia central do artigo pode ser resumida em uma regra de treinamento:

Não avalie a força do aprendizado enquanto a informação, os exemplos, as orientações e o instrutor ainda estiverem presentes na memória e no ambiente do participante.

O verdadeiro teste começa quando:

passa o tempo,

desaparece o apoio,

muda a situação,

e o participante tiver de recordar, decidir e aplicar de forma independente.

Só então nos aproximamos de saber se o programa produziu aprendizado realmente utilizável.

Um dos maiores desafios do treinamento não é o participante não aprender, mas a experiência de treinamento conseguir convencê-lo de que aprendeu mais do que conseguirá demonstrar posteriormente.

Satisfação não é domínio.

Familiaridade não é conhecimento.

Reconhecimento não é recordação.

Recordação não é aplicação.

Desempenho imediato não é necessariamente aprendizado duradouro.

Por isso, melhorar o treinamento implica redefinir a pergunta que fazemos após cada programa.

Em vez de:

O programa de treinamento foi bem-sucedido?

a pergunta mais científica poderá ser:

O que o participante consegue recordar e aplicar de forma independente depois de passar o tempo, mudarem as circunstâncias e desaparecer o apoio?

Quando essa pergunta passa a fazer parte do design e da avaliação do treinamento, deixamos de medir apenas a experiência de treinamento para verificar se ocorreu aprendizado, e deixamos de olhar apenas para o que aconteceu na sala para observar o que permaneceu depois.

Essa mudança pode distinguir o treinamento que oferece conhecimento temporário daquele que constrói capacidade profissional sustentável.

Bjork, E. L., & Bjork, R. A. (2011). Making things hard on yourself, but in a good way: Creating desirable difficulties to enhance learning. In M. A. Gernsbacher et al. (Eds.), Psychology and the real world: Essays illustrating fundamental contributions to society. Worth Publishers.

Dunlosky, J., Rawson, K. A., Marsh, E. J., Nathan, M. J., & Willingham, D. T. (2013). Improving students’ learning with effective learning techniques: Promising directions from cognitive and educational psychology. Psychological Science in the Public Interest, 14(1), 4–58.

Karpicke, J. D., & Roediger, H. L., III. (2008). The critical importance of retrieval for learning. Science, 319(5865), 966–968.

Roediger, H. L., III, & Karpicke, J. D. (2006). Test-enhanced learning: Taking memory tests improves long-term retention. Psychological Science, 17(3), 249–255.

Soderstrom, N. C., & Bjork, R. A. (2015). Learning versus performance: An integrative review. Perspectives on Psychological Science, 10(2), 176–199.