Posts com a Tag ‘Avaliação Educacional’

Tomei abuso | IF/IA/Midjournei (jun 2023)

 

N aula anterior, estudamos definições de conhecimentos declarativos e apresentamos diferentes possibilidades de elaboração de um item de prova correspondentes.

Hoje vamos avançar na discussão sobre os agentes da avaliação e os modos de mensurar conhecimentos funcionais.

Com esses objetos de aprendizagem, nossas metas estão assim configuradas:

1. listar itens do tipo resposta construída (RC) e apresentar respectivas situações de uso;
2. apresentar variações da agência na aplicação de instrumentos de avaliação.

Ao final desta aula, esperamos que você seja capaz de produzir um formulário de prova com itens do tipo RC, partindo da sua realidade profissional.

 

---

1. Objetos funcionais de aprendizagem

Na leitura básica 3 (Tópico 3.1), apresentamos mais um par tipológico para a designação de objetos de aprendizagem: objetos que estão prontos e devem ser internalizados, como termos isolados e conceitos (generalizações) e objetos que, apesar de prontos, devem ser manipulados para produzir outros objetos em situações problema.

Eles correspondem, respectivamente, aos objetos declarativos de aprendizagem e aos objetos funcionais de aprendizagem e são também designadas como objetos do tipo “saber que” e objetos do tipo “saber como fazer.”[1] Vamos relembrar a exemplificação.

Nas Ilustração 1, o SABER QUE está representando o “lembrar que” (lembrar que os sem fontes não é possível representar o passado).

Na Ilustração 2, o SABER COMO está representado pelo “fazer” (fazer a limpeza de um manuscrito do século XVI, sua leitura, transcrição e interpretação, questionando sobre o que disse e o que quis dizer o autor da carta de sesmaria).

Para Biggs e Tang, os objetos funcionais estão na base da experiência diária dos alunos. Eles também constituem a maioria das tarefas em ambientes de trabalho. Exigem do aluno a mobilização de várias habilidades e conhecimentos em tarefas complexas.

Cada profissional deve inventariar essas tarefas a partir da sua própria experiência ou listá-las a partir de um padrão de qualidade prescrito pela corporação da qual ele faz parte. Diagnóstico médico, cultivo de determinada espécie de gramínea, aterrisagem de uma aeronave ou mesmo a simples troca de óleo do motor de um automóvel são exemplos de objetos funcionais de aprendizagem.

O mesmo procedimento ocorre em relação ao ensino de história na escolarização básica. Se você prescreve a construção de uma maquete sobre um engenho de açúcar no Brasil do século XVIII ou se estimula os alunos a produzirem um vídeo sobre um personagem do bairro, deve listar as habilidades, conhecimento e capacidades, bem como os processos necessários à execução da atividade.

Por essa razão, o enunciado de um item que mensura esse tipo de aprendizagem apresenta algumas particularidades. Em geral, é do tipo resposta construída e não apresenta respostas convergentes. O esforço do professor é até maior para elaborá-lo, principalmente no ato da construção de rubricas.

Imagine-se criando critérios de correção para provas somativas (final de curso – que possibilitam a aquisição de créditos ou a aprovação de ano) a partir de atividades do tipo: estudo de caso, incidente crítico, relatórios de pesquisa efetuada em grupo, a criação de uma escultura, a execução de uma peça musical ou a apresentação de uma performance teatral. Os itens de resposta construída, discutidos a seguir, vão auxiliar você a enfrentar desafios desse tipo.

Observe que o comando anunciado na Ilustração 4.3 exige do aluno o domínio de conhecimentos factuais e conceituais sobre a história de Aracaju e o período da II Guerra Mundial. Também exige que ele mobiliza as tarefas de produzir um ensaio narrativo que, por sua vez, exige poder de crítica e criatividade, habilidades não facilmente mensuráveis com um item de resposta selecionada.

Na Ilustração 4, a complexidade se repete. Veja que o comando exige do aluno a mobilização de conhecimentos conceituais, princípios e técnicas especializados, aprendidos em outras disciplinas do curso de Geografia, para traduzir a decisão judicial em textos, artefatos e imagens convincentes sobre os prejuízos causados pela ocupação desordenada da área.

 

---

2 Itens de avaliação para objetos funcionais

Já vimos que a divisão RS/RC É puramente didática. A depender da nossa demanda diária, podemos, inclusive, iniciar uma prova com itens RS e encerrá-la com itens RC e vice-versa. Nesse caso, ao contrário de representarem dicotomia, os tipos seriam empregáveis como um contínuo.[2] Itens RC podem ainda compor atividades e itens RS podem compor a avaliação somativa e vice-versa.

Os qualificativos “selecionada” e “construída” explicitamente caracterizam os tipos, discriminando a natureza da ação do aluno, a informação contida no item e os meios de expedição da nota.

No item do tipo RS (Ilustração 5), o aluno seleciona resposta apresentada e o professor atribui uma nota objetivamente na base do certo ou errado.

Um tipo mais raro de RC, o da resposta construída objetivamente selecionada (RCOS) (Ilustração 4.6), como o próprio nome indica, mistura atributos do RC e do RS, ou seja, exige que o aluno construa uma resposta a partir de alternativas apresentadas e que o professor (ou um programa automatizado) julgue erro/acerto e atribua uma nota. Neste tipo e no anterior (objetivo), qualquer pessoa pode corrigir a prova e atribuir a nota.

No item do tipo RC (Ilustração 4.7), o aluno constrói a resposta ausente no formato e o professor (ou mais de um professor) atribui uma nota a partir de uma “rubrica” ou “escala de classificação descritiva” ou de um “guia de pontuação”.[3] Na leitura básica 5, veremos a o detalhamento da rubrica.

Se vocês buscarem modelos nas provas do Exame Nacional de Cursos perceberão que as avaliações do tipo RC estão bastante limitadas. Isso ocorre por causa da natureza do exame. O ENADE avalia sistema, em um mesmo dia, no mesmo ambiente.

Nos exames de 2019, por exemplo, os itens de prova induziram os alunos a raciocinarem, dominantemente, por meio de estudos de casos ocorridos no passado recente ou simulados.

Outra opção comum foi a indução à leitura e à interpretação de textos, gráficos, imagens e tabelas, utilizados de modo isolado ou combinado. Em ambas as situações, o aluno foi solicitado a construir uma resposta curta.

A depender do nível de ensino e do campo profissional, itens enfatizam um pouco mais ou um pouco menos o domínio das causas, as consequências ou condicionantes, o domínio do cálculo de grandezas (custo, quantidade, tempo, tensão etc.), do planejamento e da previsão e, principalmente, das ações, procedimentos e condutas requeridas em situação de trabalho. Esses últimos ocupam 1/3 dos comandos do conjunto de itens do ENADE.[4]

Os modos de graduar o nível de complexidade são idênticos aos que vimos com os itens do tipo RS. As alterações estão relacionadas à natureza e à quantidade dos verbos e dos objetos de aprendizagem.

As ações de “dar a conhecer” e “descrever” ocupam aproximadamente metade dos comandos. As demais são distribuídas entre o resolver problemas (23%), relacionar (10%), criar (6%) e avaliar (4%). A quantidade de verbos, por sua  vez, está distribuída em comandos com uma ação (90%), a exemplo de “calcule”, e comandos com duas ações (10%), a exemplo de elabore hipótese e justifique-a.

As ações que constituem enunciados de atividades e de testes nos livros didáticos de História ainda são pouco estudadas de modo sistemático. Em geral, os pesquisadores investigam se os autores investigam como determinado autor emprega determinada taxonomia de objetivos. Aqui, sugerimos que você comece a observar os modos como organiza suas atividades, os verbos que emprega e, principalmente, se varia ou se repete em demasia certo tipo de item de resposta construída. Observe se está duplicando o verbo ou multiplicando os objetos, como ocorre nesses exames de escala.

Essa prática de duplicar o verbo no comando é uma forma de elevar a complexidade do item. Contudo, a estratégia mais empregada nesse tipo de prova é sequenciar duas, três e até quatro solicitações (comandos) dentro de um mesmo item.

Outra, também comum, é multiplicar a quantidade e variar a natureza do objeto no mesmo item de prova. Nesse sentido, as provas do ENADE são um bom repositório.

Na ilustração 8, temos um item de prova do formato resposta curta (RS/RC) com ações duplicadas: justifique a escolha e cite uma variável. Na Ilustração 9 a acumulação dos verbos e o objeto requerido torna ainda mais complexa a questão: identifique a falha, reprojete e desenhe o circuito correto e projete um registrador.  Na Ilustração 10, o item simula outra situação de ambiente de trabalho: um parto. Aqui, a tarefa é ainda mais complexa. O aluno é solicitado a ler e interpretar informações textuais e imagéticas, descrever o contexto, fazer um julgamento e tomar uma decisão justificada.

 

Esses foram casos extraídos de um exame de sistema. Na literatura consultada para este curso (ver referência ao final), encontramos aproximadamente meia centena de situações. No Quadro 11, listamos os que podem gerar itens do tipo RC (e RCOS) e que valem para a maioria das formações que ofertamos na UFS.

É claro que, depois deste curso, teremos quase meia centena de situações. Mas, consideremos, por ora, as informações capturadas na literatura e listadas no Quadro 11: quais desses substantivos serviram a você em um eventual planejamento para as atividades de aprendizagem e as provas da sua disciplina?

A resposta, que supomos acertada, é “depende”. Observem que os nomes, em geral, designam fatos, processos e produtos. São indicações de situação que geram instrumentos ou são em si mesmos instrumentos e/ou suportes. O emprego de cada referente dessa lista está condicionado à sua experiência com os rudimentos na área em que você atua.

A maioria dos professores sabe de cor as demandas do seu domínio e as estratégias adequadas para atendê-las. Mas quem está iniciando pode demorar para ganhar convicção e ensaiar uma alternativa de avaliação que se diferencie do colega mais experiente da Escola ou do Departamento.

Uma sugestão para os iniciantes é rascunhar uma matriz. Na horizontal, são listados os objetos de aprendizagem ou as principais atividades de aprendizagem que os realizam. Na vertical, são listadas as estratégias que estão à sua disposição.

No quadro 12, as situações coletadas estão distribuídas e classificadas segundo potencial emprego na avaliação de alunos da disciplina “Prática da Pesquisa Histórica”.

Nas linhas 1 e 2 de menu, vemos as demandas da disciplina, dispostas em sequência lógica. Na coluna 1, temos uma amostra das estratégias de avaliação que geram itens do tipo RC, dispostos em ordem alfabética. Os retângulos destacados em cinza, por fim, indicam potenciais usos de determinada situação ou instrumento e determinado objeto ou atividade de aprendizagem.

A matriz fornece uma visão geral das possibilidades. Mas a aplicação exige o conhecimento da estrutura e função de cada uma das alternativas dispostas na coluna 1.

Se, por exemplo, estamos avaliando no início do período, no momento de problematização e de recorte do objeto, a solicitação de um ensaio curto, de dez minutos, é adequada à correção em sala, pelo professor, seguida de uma discussão partilhada pelo restante da turma. Para essa mesma situação podemos usar o diagrama Venn (Ilustração 13) e o mapa conceitual (Ilustração 13).

 

Se estamos no final do primeiro terço do período, onde o aluno deve apresentar o seu projeto finalizado, a entrega do texto, seguido de apresentação oral ou por poster também é uma adequada estratégia de avaliação.

Se por fim, estamos ao final do período, onde o aluno deve entregar o seu produto, o próprio artigo, uma ficha de autoavaliação é também uma boa alternativa.

Essas iniciativas são comunicadas aos alunos por meio de itens. A prova, sabemos bem, não é uma folha com questões a resolver ou quadrinhos para por um “x”. Mesmo a mais singelo comando, manifesto pela nossa voz, pode ser formalizado em um item, como as lustrações 15, 16 e 17, que acompanham o exemplo que se segue.

Suponhamos que um dos alunos tenha se interessado pelos problemas sociais desencadeados com a mudança da capital, de São Cristóvão para Aracaju. Ele está na etapa das leituras iniciais, buscando a literatura sobre uma questão de livre escolha. É provável que você queira saber se ele é capaz de separar ideias e de reagrupá-las em um texto autoral. Uma adequada prova poderia ser estruturada em um item do tipo resposta curta (RC/RC), como na Ilustração 4.14.

Se o aluno está na fase de problematização e recorte do objeto e você quer saber se ele é capaz de (não apenas) analisar e (mas de também) entender o que diz determinado autor no qual se baseia para estruturar o seu futuro projeto, um item do formato de comentário crítico (RC/CC) é bastante adequado (Ilustração 4.15).

Suponhamos, agora, que o aluno esteja na fase de selecionar e fichar fontes e você deseja saber se ele é capaz de fazer analogias passado-presente, uma das principais habilidades do futuro historiador. A resposta curta, que demanda a análise de partes de texto, reunião dessas partes em uma ideia geral e identificação das evidências já não é suficiente. Você pode lançar mão de um ensaio breve (RC/EB), produzido em sala de aula e durante 2h/aula (Ilustração 4.13).

Se o aluno já está em campo, lendo e interpretando fontes, podemos avaliá-lo a partir da mensuração da sua capacidade de interpretar fontes de um ou de vários tipos de suporte e de produzir um relato apenas com esse reduzido material processado.

Na ilustração 4.14 temos um exemplo, focado na análise de utensílios e imagens fotográficas. A prova é acompanhada de uma orientação teórica e um formulário com dois tipos combinados de comando: a resposta curta e o breve ensaio em forma de narrativa.

Nas ilustrações 4.13, 4.14 e 4.15, empregamos o mesmo estímulo para avaliar diferentes objetos em diferentes níveis de complexidade: a habilidade analítico-sintética, traduzidos na resposta curta, no gênero resumo; a habilidade analítico-sintética na compreensão de textos e na argumentação pessoal, traduzidas no comentário crítico; e a habilidade de induzir por analogia, traduzida no ensaio breve. Na ilustração 4.16, o mesmo exercício se repete com outra disposição: exercícios interpretativos de objetos materialmente diferentes e produção de sentido por meio de narrativa.

Essa mesma flexibilidade é oferecida pelas demais estratégias de avaliação: o projeto de pesquisa, a apresentação oral, apresentação de posters e o artigo e todas requerem a sua decisão de distribuir o poder de avaliar e instituir um padrão de qualidade para as respostas. Aqui entramos na segunda parte da nossa aula, que trata das agências e da construção de rubricas.

---

Conclusões

Na aula de hoje, estudamos algumas razões que condicionam a escolha dos itens do tipo RC e, ainda, os vários formatos disponíveis na literatura especializada. Vimos que a experiência do professor em sua área de atuação científico-profissional é o determinante final. Também vimos que a escolha dos tipos e formatos de item passa pela variação da agência, que resulta em exames do tipo heteroavaliação, coavaliação e autoavaliação.

---

Referências

BIGGS, J. TANG, C. Teaching for Quality Learning at University. 4ed. Buckingham: Society for Higher Education Research/Open University Press, 2011.

HALADYNA, Thomas M.; RODRIGUEZ, Michael. Developing and validating test items. New York: Routledge, 2013.

Notas

[1] Para Biggs e Tang (2011, p.81-82), são “declarativos” os objetos de aprendizagem que preexistem à atividade de ensino-aprendizagem e que, em geral, devem ser internalizados. A distinção entre conhecimento declarativo e conhecimento processual fora “provavelmente estabelecida pelo filósofo Gilbert Ryle, ao empregar as locuções saber o que e saber como”. Biggs; Tang (2011, p.93-94. Grifos dos autores).

[2] Messick (1994). Citado por Haladyna; Rodrigues (2013, p.45).

[3] Haladyna; Rodrigues, 2013, p.44-48.

[4] Agronomia, Arquitetura e Urbanismo, Biomedicina, Educação Física, Enfermagem, Engenharia Ambiental, Engenharia Civil, Engenharia da Computação, Engenharia de Alimentos, Engenharia de Controle e Automação, Engenharia Elétrica, Engenharia Florestal, Engenharia Mecânica, Engenharia Química, Farmácia, Fisioterapia, Fonoaudiologia, Medicina, Medicina Veterinária, Nutrição, Odontologia e Zootecnia. Não computamos os verbos e objetos dos itens de prova dos cursos ministrados nos institutos de ensino superior. INEP (2019).