Uma ação de formação pode terminar de uma forma que parece ideal: participação elevada, respostas corretas, bons resultados no teste posterior, elevada satisfação com o formador e uma sensação clara entre os participantes de que adquiriram novos conhecimentos e competências.

Mas a pergunta mais importante começa depois de o programa terminar:

O formando aprendeu realmente?

A pergunta pode parecer simples, mas toca numa das questões mais complexas das ciências da aprendizagem e da formação: um bom desempenho durante a formação não significa necessariamente que tenha ocorrido aprendizagem duradoura, e sentir que se compreendeu o conteúdo não significa necessariamente conseguir recordá-lo ou aplicá-lo quando necessário no trabalho.

É aqui que surge o fenómeno denominado «ilusão de competência» Illusion of Competence: um estado em que a estimativa que a pessoa faz do seu nível de conhecimento ou capacidade é superior ao seu nível real de domínio.

Este fenómeno é particularmente importante na formação institucional, pois pode fazer com que o programa pareça bem-sucedido segundo os indicadores visíveis, sem produzir o nível esperado de mudança no desempenho.

Por isso, este artigo coloca uma questão fundamental:

Nos nossos programas de formação, medimos aquilo que o formando realmente aprendeu ou apenas aquilo que conseguiu fazer enquanto o conteúdo ainda estava fresco e presente diante dele?

No contexto da aprendizagem, a ilusão de competência refere-se a uma falta de correspondência entre Perceived Competence e Actual Competence.

Ou seja, o formando pode acreditar que sabe ou consegue executar determinada tarefa num grau superior ao que a sua capacidade real revela numa avaliação independente.

Isto não significa necessariamente que o formando exagere deliberadamente as suas capacidades; a sua avaliação pode ser totalmente sincera, mas basear-se em sinais pouco precisos.

Pode sentir que dominou o conteúdo porque:

• ✓Compreendeu facilmente a explicação do formador.
• ✓Reconheceu a resposta correta quando a viu.
• ✓Executou a atividade com instruções e orientação disponíveis.
• ✓Observou o formador executar a competência com profissionalismo.
• ✓Repetiu a tarefa imediatamente após a explicação.
• ✓Obteve um resultado elevado num teste realizado pouco depois da apresentação do conteúdo.

No entanto, estes indicadores podem medir fluidez de processamento, familiaridade ou desempenho imediato mais do que aprendizagem duradoura.

Aqui surge uma das distinções mais importantes que os designers de formação devem compreender:

Reconhecer conhecimento não é o mesmo que recordá-lo, e recordá-lo não é o mesmo que conseguir utilizá-lo numa situação nova.

A ciência da aprendizagem distingue dois conceitos que são frequentemente confundidos:

Aquilo que o aprendente consegue demonstrar durante a prática ou imediatamente após a formação.

Uma mudança mais estável no conhecimento ou na capacidade, que pode ser inferida através da retenção do desempenho ou da sua transferência para situações posteriores.

Soderstrom e Bjork demonstraram que as condições que melhoram o desempenho durante a prática nem sempre são as mesmas que produzem a melhor aprendizagem a longo prazo.

Este ponto é extremamente importante na formação.

O formador pode apresentar uma explicação muito clara, seguida de exemplos graduais, e depois permitir que os formandos realizem um exercício muito semelhante ao exemplo.

Os resultados parecerão muitas vezes bons.

Mas o que acontece se, duas semanas depois, se pedir ao formando que resolva um problema diferente sem ajuda?

É aqui que começa o verdadeiro teste da aprendizagem.

Assim, pode formular-se a seguinte equação:

Um programa de formação pode produzir um Performance Gain durante a sessão sem produzir necessariamente o mesmo nível de Durable Learning.

1. Familiaridade Familiarity

Quando o formando vê repetidamente um conceito ou modelo, começa a sentir que já o conhece.

Mas ver uma informação e reconhecê-la quando aparece é diferente de conseguir produzi-la a partir da memória.

Esta é a diferença entre:

O formando pode reconhecer a resposta correta quando ela surge entre quatro opções, mas não conseguir produzir a mesma resposta quando lhe é pedido sem alternativas.

2. Fluidez de processamento Processing Fluency

Quanto mais fácil o conteúdo se torna de ler e compreender, mais o aprendente pode sentir que já o dominou.

Aqui surge um paradoxo importante:

A facilidade de aprendizagem percecionada nem sempre é prova de aprendizagem real sólida.

Uma apresentação organizada, um formador competente e exemplos claros são importantes, mas eliminar todas as dificuldades da experiência de aprendizagem pode transformar o formando num recetor confortável em vez de num aprendente ativo.

3. Apoio excessivo durante a formação

O formando pode executar a tarefa de forma excelente quando tem diante de si:

os passos, o modelo, o formador, os colegas, as instruções e os exemplos anteriores.

Mas a pergunta é:

O que resta deste desempenho quando esses apoios são retirados?

Quanto mais o sucesso do formando depender de apoio externo, maior deve ser a cautela ao interpretar esse sucesso como domínio.

Uma distinção importante neste domínio, proposta por Bjork e Bjork, é a existente entre:

A força com que o conhecimento está armazenado na memória.

A facilidade com que esse conhecimento pode ser acedido num determinado momento.

A informação pode parecer familiar e ser facilmente recordada imediatamente após a formação porque o formando lidou com ela poucos minutos antes; por isso, a força de recuperação é temporariamente elevada.

Mas, com a passagem do tempo e a redução da facilidade de recuperação, torna-se mais claro se o conhecimento se consolidou suficientemente para poder ser recuperado.

Por isso, avaliar o formando imediatamente após a explicação pode apresentar uma imagem muito diferente da avaliação realizada depois de algum tempo.

Assim, o tempo torna-se um elemento da validade da avaliação da formação, e não apenas uma questão organizacional.

A ilusão de competência está estreitamente relacionada com a Metacognition — metacognição —, isto é, a capacidade de a pessoa monitorizar, avaliar e julgar o seu próprio conhecimento e aprendizagem.

Um conceito importante neste contexto é:

o grau de correspondência entre:

aquilo que a pessoa acredita saber

e aquilo que consegue efetivamente demonstrar que sabe.

Quanto mais próximos estiverem os dois, melhor será a calibração.

Por exemplo, o formando pode dizer:

«Tenho 90% de certeza de que dominei esta competência.»

Depois, uma avaliação independente pode revelar que o seu desempenho não ultrapassa 55%, mostrando uma clara diferença de calibração.

Essa diferença pode, por si só, tornar-se um dado formativo importante e mensurável.

Uma mudança importante nas ciências da aprendizagem é que o teste deixou de ser visto apenas como um meio de avaliar a aprendizagem; pode também ser um meio de a melhorar.

A investigação sobre Retrieval Practice mostrou que tentar recuperar conhecimentos da memória pode, em muitas circunstâncias, favorecer a retenção melhor do que simplesmente voltar a estudar o material.

Isto significa que pedir ao formando:

«Feche o material e escreva de memória os cinco passos.»

pode ter mais valor para a aprendizagem do que:

«Volte a ler os cinco passos.»

O teste torna-se aqui um Learning Event e não apenas um Assessment Event.

Pode manifestar-se através de vários indicadores, como:

• ✓Confiança elevada com fraca recordação independente.
• ✓Sucesso em perguntas de escolha múltipla e insucesso em perguntas abertas.
• ✓Executar a tarefa com o modelo e falhar quando o modelo é retirado.
• ✓Sucesso num exemplo familiar e insucesso numa situação nova.
• ✓Resultado elevado no pós-teste imediato e diminuição do desempenho semanas depois.
• ✓Conhecer o conceito teoricamente e não conseguir utilizá-lo numa decisão profissional.

Por isso, a única pergunta não deve ser:

O formando respondeu corretamente?

Mas sim:

Em que condições conseguiu responder?

Pode construir-se um diagnóstico prático através de cinco etapas consecutivas:

Antes do teste, o formando classifica de 0 a 100% a sua confiança no domínio da competência.

É-lhe pedido que recupere o conhecimento ou execute a tarefa sem consultar o material de formação.

São retirados os modelos, orientações e exemplos disponíveis durante a formação.

O formando enfrenta uma situação nova, diferente do exemplo treinado, mas que exige o mesmo princípio ou competência.

Parte da avaliação é repetida após um período adequado, por exemplo 7, 30 ou 60 dias, consoante a natureza da competência.

O domínio real pode então ser entendido como o resultado da combinação de quatro dimensões:

e não apenas como sucesso num pós-teste imediato.

As organizações podem acrescentar um indicador simples ao seu sistema de avaliação da formação:

Exemplo:

Confiança percecionada = 90%

Desempenho real = 62%

Logo:

Diferença de calibração = +28 pontos percentuais

Quanto maior for a diferença positiva, maior será a possibilidade de a confiança superar a competência demonstrada.

Contudo, este indicador deve ser tratado como uma ferramenta de diagnóstico e não como um julgamento final, porque a qualidade do próprio teste, a natureza da competência e o contexto da medição influenciam o resultado.

Este artigo propõe uma mudança na filosofia da avaliação da formação.

Em vez de perguntar:

O formando consegue executar a tarefa?

colocamos uma pergunta mais precisa:

Consegue executá-la corretamente e de forma independente, depois de passar algum tempo e num contexto diferente do da formação?

Podemos imaginar quatro níveis:

O formando reconhece o conceito quando o vê.

Consegue recuperá-lo sem uma fonte externa.

Consegue utilizá-lo sem orientação direta.

Consegue utilizá-lo numa situação nova ou não familiar.

Este quarto nível é o que mais se aproxima do valor profissional da formação.

O objetivo não é complicar o conteúdo nem cansar deliberadamente o formando.

Contudo, algumas dificuldades educativas cuidadosamente concebidas podem ser úteis; isto relaciona-se com o conceito Desirable Difficulties — dificuldades desejáveis.

Entre os exemplos:

• ✓Distribuir a prática ao longo do tempo.
• ✓Tentar recuperar antes de voltar ao material.
• ✓Variar os contextos de aplicação.
• ✓Intercalar diferentes tipos de problemas.
• ✓Pedir ao aprendente que gere e resolva antes de receber a resposta completa.

Em algumas destas condições, o desempenho imediato pode diminuir, enquanto a retenção e a transferência melhoram posteriormente.

Assim, muda a filosofia do design da formação:

O objetivo não é que o formando sinta que tudo é fácil, mas criar condições que tornem a aprendizagem mais duradoura e utilizável.

O formador profissional não deve depender apenas da sua impressão sobre o envolvimento dos formandos.

Durante o programa pode perguntar a si próprio:

Estou a avaliar recordação ou reconhecimento?

O formando consegue resolver a tarefa sem o modelo?

Apresentei-lhe uma situação nova?

Dei-lhe a resposta demasiado cedo?

Estou a medir a sua confiança antes de revelar o resultado?

Saberei o que ficou da sua aprendizagem depois de terminar o curso?

Estas perguntas transformam o papel do formador de apresentador de conteúdos em engenheiro das condições de aprendizagem.

O problema torna-se ainda mais importante ao nível institucional.

Se uma organização mede o sucesso da formação através de:

presença, número de horas, conclusão do programa, satisfação dos participantes e pós-teste imediato;

pode estar, na realidade, a medir a qualidade da experiência formativa mais do que a robustez da aprendizagem.

Isto não torna estes indicadores inúteis, mas eles não são suficientes, por si só, para avaliar o domínio.

Por isso, as organizações precisam de acrescentar indicadores como:

• ✓Retenção do conhecimento após algum tempo.
• ✓Aplicação independente.
• ✓Transferência da competência para situações novas.
• ✓Precisão da estimativa que o colaborador faz da sua própria competência.
• ✓Taxa de erros após a formação.
• ✓Necessidade de apoio depois do programa.
• ✓Manutenção do desempenho ao longo do tempo.

A ideia central do artigo pode resumir-se numa regra de formação:

Não avalie a força da aprendizagem enquanto a informação, os exemplos, as orientações e o formador ainda estiverem presentes na memória e no ambiente do formando.

O verdadeiro teste começa quando:

passa o tempo,

desaparece o apoio,

muda a situação,

e o formando tem de recordar, decidir e aplicar de forma independente.

Só então nos aproximamos de saber se o programa produziu aprendizagem realmente utilizável.

Um dos maiores desafios da formação não é o formando não aprender, mas a experiência formativa conseguir convencê-lo de que aprendeu mais do que conseguirá demonstrar posteriormente.

Satisfação não é domínio.

Familiaridade não é conhecimento.

Reconhecimento não é recordação.

Recordação não é aplicação.

Desempenho imediato não é necessariamente aprendizagem duradoura.

Por isso, melhorar a formação implica redefinir a pergunta que fazemos após cada programa.

Em vez de:

O programa de formação foi bem-sucedido?

a pergunta mais científica poderá ser:

O que consegue o formando recordar e aplicar de forma independente depois de passar o tempo, mudarem as circunstâncias e desaparecer o apoio?

Quando esta pergunta passa a fazer parte do design e da avaliação da formação, deixamos de medir apenas a experiência formativa para verificar se ocorreu aprendizagem, e deixamos de olhar apenas para o que aconteceu na sala para observar o que permaneceu depois.

Esta mudança pode distinguir a formação que oferece conhecimento temporário daquela que constrói capacidade profissional sustentável.

Bjork, E. L., & Bjork, R. A. (2011). Making things hard on yourself, but in a good way: Creating desirable difficulties to enhance learning. In M. A. Gernsbacher et al. (Eds.), Psychology and the real world: Essays illustrating fundamental contributions to society. Worth Publishers.

Dunlosky, J., Rawson, K. A., Marsh, E. J., Nathan, M. J., & Willingham, D. T. (2013). Improving students’ learning with effective learning techniques: Promising directions from cognitive and educational psychology. Psychological Science in the Public Interest, 14(1), 4–58.

Karpicke, J. D., & Roediger, H. L., III. (2008). The critical importance of retrieval for learning. Science, 319(5865), 966–968.

Roediger, H. L., III, & Karpicke, J. D. (2006). Test-enhanced learning: Taking memory tests improves long-term retention. Psychological Science, 17(3), 249–255.

Soderstrom, N. C., & Bjork, R. A. (2015). Learning versus performance: An integrative review. Perspectives on Psychological Science, 10(2), 176–199.