2.3.5. Avaliação

A avaliação, de modo abrangente, é uma etapa relevante para o processo educativo pois apresenta um panorama do que necessita ser revisto, esclarecido e melhorado. No contexto do desenho instrucional, a avaliação é uma etapa transversal, que ocorre ao longo da construção da solução educacional. Ela permite analisar a efetividade da capacitação. É um processo contínuo e permanente que apresenta a coerência entre os déficits de competências, os objetivos de aprendizagem e o processo de ensino, em prol da efetividade das soluções de capacitação. Caso contrário, o processo não segue em frente. É por não realizar essa etapa do DI, que, frequentemente, a capacitação é transformada em panaceia. A propósito, os termos Avaliação ex-ante e ex-post, bastante utilizados em avaliação de políticas públicas, não são usuais na área de DI. Em DI é comum o uso dos termos Análise e Avaliação de Resultados ou Impacto. De acordo com o modelo de Kirkpatrick⁴⁰ há quatro níveis de avaliação em processos de capacitação voltados para o trabalho, três deles referentes ao processo: Avaliação de Reação, Avaliação de Aprendizagem, Avaliação do Comportamento no Trabalho (transferência do aprendizado) e Avaliação de Resultados (que abrange a adição de valor).

Na Enap, as áreas finalísticas trabalham com instrumentos de avaliação customizados para cada realidade, de acordo com as características de seus produtos e público-alvo. Em 2021, no esforço de aprimorar os processos avaliativos dos produtos e serviços educacionais oferecidos, a Escola definiu uma lista de três perguntas-padrão⁴¹ aplicadas a qualquer ação de aprendizagem realizada pelas diferentes áreas, abaixo listadas:

Essa experiência contribuiu para o seu desenvolvimento? [0 -10]
As atividades, conhecimentos ou informações foram relevantes para os desafios que você enfrenta? [0 -10]
Você recomendaria esse curso, oficina, para um amigo ou colega? [0 -10]

A estratégia reflete o entendimento da Escola de que a uniformização de algumas perguntas permite à Enap não apenas coletar, consolidar e analisar os dados relativos à satisfação de seus usuários, mas também realizar análises comparativas, dentro e fora da Escola, com potencial para subsidiar as decisões de melhoria de seus processos e serviços. Para tanto, foram definidos indicadores transversais de avaliação acompanhados no âmbito do Planejamento Estratégico da Enap. A Escola reconhece que a comparação do desempenho de diferentes ações educacionais, diferentes áreas e em diferentes momentos deve ser feita com cautela, uma vez que as variações nos resultados das avaliações podem ser reflexo das idiossincrasias de cada metodologia, contexto e público-alvo, e não apenas um retrato da qualidade dos produtos e serviços.

O resultado das perguntas transversais de avaliação de reação aplicadas ao final de todas ações educacionais realizadas pela Enap é divulgado em um "Painel de dados NPS”, disponível para todos os servidores da Enap na intranet da escola. Os dados representados restringem-se às três perguntas transversais de avaliação de reação. As respostas a outras perguntas dos instrumentos de avaliação de reação devem ser analisadas internamente pelas áreas dentro de suas estratégias de monitoramento de seus processos e produtos. O painel permite que as áreas acompanhem e comparem seus resultados, e que o Escritório de Projetos da Enap acompanhe os respectivos indicadores e metas estabelecidos no Planejamento Estratégico. A iniciativa baseia-se na premissa de que a análise histórica e comparativa do desempenho da Escola com relação à satisfação de seus usuários pode servir de subsídio para o aprimoramento da estratégia de avaliação da qualidade dos produtos e serviços da Escola.

2.3.5.1. Avaliação de processo

Durante o desenvolvimento dos cursos, diversos processos avaliativos são desenvolvidos, a partir das perspectivas dos alunos, da coordenação e dos docentes, a saber:

• Levantamento e alinhamento de expectativas

Objetiva o ajuste das expectativas e alinhamento do curso com o público. Realizado no primeiro dia de aula, é aplicado aos cursos de especialização; aos cursos de formação para carreiras; aos cursos de aperfeiçoamento para carreiras; e aos cursos relacionados aos projetos especiais.

A depender da estrutura do curso, adotam-se estratégias distintas. Assim, em cursos de curta duração, é realizada uma pequena dinâmica para que os participantes se apresentem e explicitem suas expectativas. Buscam-se informações pessoais sobre a carreira do participante, como formação, órgão em que trabalha, cargo que ocupa, seu interesse pelo assunto, experiências com a temática do curso, os cursos já realizados sobre o tema, a relação do trabalho com a temática e suas expectativas sobre o curso. Em cursos de longa duração, adotam-se momentos mais estruturados, como oficinas de integração. Essas são comuns em cursos de especialização e em cursos de formação inicial para carreiras.

Objetiva-se a verificação da aderência dos participantes com o público-alvo proposto e da adequação do curso aos participantes.

Esse momento de levantamento de expectativas serve também como um marco para comparação com as impressões finais dos mesmos participantes, que são colhidas nos momentos finais dos cursos, em dinâmicas equivalentes àquelas realizadas no momento inicial.

• Observação em sala de aula

Consiste em um monitoramento de cada curso, realizado em sala de aula por um ou mais servidores da Enap, que acompanham todas as atividades, a partir da observação de tópicos preestabelecidos, observando a utilização dos recursos pedagógicos pelo professor, a participação dos alunos e levantamento de questões importantes para a elaboração de futuros cursos, o funcionamento dos equipamentos, metodologia e aplicação dos conteúdos para a prática de cada gestor, alcance dos objetivos descritos no programa de curso. O servidor que monitora participa também auxiliando no provimento de algum material extra solicitado pelo professor.

Objetiva-se realizar intervenções com os professores para melhoria do curso, levantar sugestões e observar a participação dos cursistas, observando as questões levantadas para aprimoramento do curso ou elaboração de novos cursos. Ao final, é elaborado um relatório, no qual constam todos os fatos ocorridos e sugestões para o aprimoramento de curso ou elaboração de novos cursos.

2.3.5.2. Avaliação de reação

A avaliação de reação corresponde ao primeiro nível de avaliação proposto pelo modelo de Donald Kirkpatrick (44), marco teórico discutido e almejado no âmbito da Enap. Esse nível compreende os executores do programa – alunos e professores –, incluindo também o observador em sala de aula.

• Aluno

Trata-se de avaliação fechada e anônima realizada após o término das aulas de cada disciplina, curso, palestra ou oficina, nas modalidades presencial e a distância, com o objetivo de conhecer o grau de satisfação dos participantes em relação ao evento (eficiência do programa), considerando o desempenho do professor, o programa do curso/disciplina e os resultados e aplicabilidade.

Para avaliar o desempenho do professor, são utilizadas questões como “domínio dos conteúdos e uso de estratégias de ensino adequadas” e “respostas adequadas aos questionamentos dos alunos”. Para avaliação do programa do curso/disciplina, são utilizadas questões como “encadeamento dos temas” e “conteúdos propostos para o alcance dos objetivos do curso”. Com relação aos resultados e aplicabilidade, as questões utilizadas no instrumento tratam da percepção dos alunos sobre os conhecimentos adquiridos no curso e sua relevância para a atividade profissional.

Os formulários preenchidos são sistematicamente tabulados, por componente curricular ou curso isolado, como referência imediata do desempenho no mesmo, e para futura análise cruzada com informações coletadas das demais fontes, durante o curso. Contribuem também como feedback ao respectivo docente, para análise de melhorias nas atividades subsequentes e melhorias para edições futuras.

Nos cursos de especialização e nos cursos a distância, o instrumento de avaliação é aplicado por meio eletrônico, na plataforma Moodle. Os demais cursos presenciais utilizam aplicação de formulários impressos.

• Docente

É realizada ao final de cada disciplina ou curso, a partir da perspectiva do docente sobre o desenvolvimento de sua disciplina e o desempenho da turma. Constitui-se em breve relatório em forma de questionário, contendo questões abertas e fechadas, acerca das seguintes dimensões: atuação didática, programa (cumprimento, adequação ao perfil do participante e à proposta do curso), autoavaliação, comportamento do grupo de alunos sob a ótica do professor e infraestrutura da instituição.

• Oficinas de avaliação intermediária e final

Aplicadas aos cursos de especialização, em nível de pós-graduação lato sensu, cursos de formação para carreiras e cursos de ambientação. São oficinas realizadas durante e após o encerramento das aulas e buscam obter a avaliação dos alunos sobre o desenvolvimento do curso como um todo, bem como sua avaliação sobre em que medida está alcançando ou alcançou o seu objetivo.

Essa atividade objetiva também identificar e debater com os participantes as possibilidades de melhoria do curso, considerando dimensões relacionadas ao conteúdo programático, metodologia, corpo docente, avaliação de aprendizagem, recursos didáticos, infraestrutura e logística, administração. As oficinas intermediárias contribuem para o realinhamento do curso e reafirmação dos “contratos” entre coordenação e participantes.

2.3.5.3. Avaliação do Processo de aprendizagem

A avaliação de aprendizagem corresponde ao segundo nível de avaliação proposto pelo modelo de Donald Kirkpatrick⁴². É aplicada nos cursos de formação inicial para carreiras, cursos do Programa de Aperfeiçoamento para Carreiras, cursos de especialização e cursos a distância.

O objetivo da avaliação de aprendizagem é o de verificar a capacidade do aluno de aplicar os conceitos, técnicas e reflexões realizadas durante a disciplina na análise, resolução ou construção de soluções para problemas e/ou temas concretos do contexto e da prática governamental.

Em razão de seu objetivo de verificar a capacidade de aplicação do aluno, a avaliação poderá ser realizada por meio de trabalhos em grupo, provas e trabalhos individuais, entre outras.

Nos cursos de formação profissional e especialização, a avaliação é proposta pelo docente, e validada pela Enap. Os critérios de avaliação constam do regulamento de cada um dos programas e cursos de especialização, os quais são publicados em portarias internas da Enap.

Os cursos de especialização contemplam avaliação de aprendizagem por disciplina/ componente curricular e o trabalho de conclusão de curso.

Nos cursos a distância, a aprovação nas avaliações de aprendizagem é requisito para o processo de certificação. Para tanto, são disponibilizadas aos participantes atividades pontuadas, individuais ou em grupo, frequentemente sob a forma de questionários avaliativos (múltipla escolha, associação, verdadeiro ou falso etc.), discussões em fóruns, atividades práticas e estudos de caso.

Dada a especificidade de escola de governo, o resultado dos processos avaliativos constitui requisito para aprovação em concurso público e também para a promoção na carreira. Os resultados da avaliação de aprendizagem fornecem evidências que se articulam aos outros processos avaliativos que ocorrem em nível institucional e a partir das avaliações externas, de forma a compor uma visão integrada da oferta de educação com vistas ao desenvolvimento profissional.

⁴⁰ Segundo Oliveira, José Mendes de e Csik, Marcia (2018), o modelo de avaliação de Kirkpatrick prevê 4 níveis de avaliação:

Reação- mensura a visão do participante sobre o evento de aprendizagem e captura os sentimentos e opiniões sobre a capacitação;
Aprendizagem - mensura se novos conhecimentos, habilidades e atitudes foram ou não adquiridos;
Comportamento - mensura se os conhecimentos, as habilidades ou as atitudes recém-adquiridos estão sendo usados no ambiente cotidiano do participante;
Resultados - mensura o impacto da mudança de comportamento na organização.

⁴¹Este documento foi elaborado no contexto do Projeto Estratégico - Indicadores Transversais de Avaliação de Reação da Enap. O documento tem como objetivo garantir que o referencial relacionado ao projeto seja refletido no Plano de Desenvolvimento Institucional (PDI) 2022-2024 da Enap.

Page updated

Google Sites

Report abuse