Conceptions and practices of assessment in higher education: a study of university teachers

Abstract

The higher education system is considered to be a cornerstone for building a European democratic society within the context of an increasingly complex world. Over the last two decades, the European higher education has gone through several changes in terms of the reorganisation of courses, study programmes, and curricula as a result of the Bologna Process, with implications for training projects, teaching, learning and assessment practices. This study aimed at analysing conceptions and practices of assessment from the perspective of university teachers after the implementation of the Bologna Process and at understanding possible implications of the Bologna Process for teaching and assessment practices. The participants were 185 teachers from five Portuguese public universities and 38 teachers from one of the universities participating in the study (sub-study 1); sixty programme coordinators from one of the universities participating in the study (sub-study 2); and two teachers and 34 students enrolled in two curricular units of Master's Degree programmes in teacher education from one of the universities participating in the study (sub-study 3). The participants taught in different areas of knowledge. The research design was based on a mixed method approach, combining both qualitative and quantitative methods, and focusing on different techniques and data collection procedures, as well as on the perspective of different stakeholders. The research project included three sub-studies which point to the existence of a diversity of assessment conceptions and practices and the recognition of the need to update and innovate assessment practices. Findings from the first sub-study indicated that Portuguese university teachers held multiple, potentially contradictory, conceptions of assessment simultaneously. They also use a variety of assessment methods. However, a greater valorisation and use of written tests and exams and a lower valorisation and use of portfolios and reflections were identified. Data suggest statistically significant differences in the use of assessment methods according to the cycles of study, the area of knowledge and pedagogical training. Findings also indicate the existence of a diversity of assessment practices, with a prevalence of assessment practices associated with the use of assessment by the teacher, and lower incidence of assessment practices associated with assessment determined by external factors. They also point to the influence of study cycles and area of knowledge in terms of the use of different assessment practices by the participating teachers. Findings from the qualitative data suggest an optimistic vision of the teachers about their future, looking forward to the involvement in improvement projects and decision making processes and the improving of the assessment methodologies. The university teachers identified difficulties and challenges related to the pedagogical interaction and assessment practices. However, innovative projects (under the Bologna framework) and the work with the students, among others, are identified as factors that enhance teachers’ work. This research project identifies some tensions regarding the impact of Bologna on assessment practices. Findings from the sub-study 2 also indicate the use of a variety of assessment methods, through a mix of learner-centred and traditional methods. The year of study, the type of course, the nature of the programmes, and the institutional regulations are identified by coordinating teachers as factors that may influence the selection of the assessment methods. Lastly, the findings from the third sub-study identify the existence of feedback practices and student involvement in assessment practices. Implications from the findings emerged which represent opportunities for future research, expanding the possibility of obtaining new answers and a more complete understanding of the complex and multifaceted nature of assessment in higher education in Portugal.

O ensino superior é um dos pilares da construção de uma sociedade democrática europeia no contexto de um mundo cada vez mais complexo. Nas últimas duas décadas, o ensino superior europeu passou por várias mudanças em termos da reorganização dos cursos, ciclos de estudos e currículos como resultado do Processo de Bolonha, com implicações para os projetos de formação, para as práticas de ensino, de aprendizagem e de avaliação. Este estudo teve como objetivo analisar as conceções e práticas de avaliação na perspetiva de professores universitários após a implementação do Processo de Bolonha e compreender as possíveis implicações do Processo de Bolonha nas práticas de ensino e de avaliação. Os participantes deste projeto de investigação foram 185 professores de cinco universidades públicas portuguesas e 38 professores de uma das universidades em estudo (sub-estudo 1); 60 coordenadores de curso de uma das universidades em estudo (sub-estudo 2); e dois professores e 34 alunos de duas unidades curriculares de cursos de mestrado de formação de professores de uma das universidades em estudo (sub-estudo 3). Os participantes lecionavam em diferentes áreas de conhecimento. O design de investigação assentou numa abordagem mista, combinando métodos qualitativos e quantitativos, assente em diferentes técnicas e procedimentos de recolha de dados, assim como na perspetiva de diferentes informantes-chave. O projeto incluiu três sub-estudos cujos dados apontam para a existência de uma diversidade de conceções e práticas de avaliação e o reconhecimento da necessidade de atualizar e inovar as práticas de avaliação. Os resultados do sub-estudo 1 indicam que os professores universitários Portugueses possuem múltiplas conceções de avaliação, potencialmente e simultaneamente contraditórias, e utilizam uma variedade de métodos de avaliação. No entanto, identificam uma maior valorização e uso de testes e exames escritos e uma menor valorização e uso de portefólios e reflexões. Os dados também sugerem diferenças estatisticamente significativas no uso de métodos de avaliação de acordo com os ciclos de estudo, a área de conhecimento e a formação pedagógica. Os resultados indicam também a existência de uma diversidade de práticas de avaliação, com prevalência das práticas de avaliação associadas ao uso da avaliação pelo professor e menor incidência das práticas de avaliação associadas à avaliação determinada por fatores externos. Identificam igualmente a influência dos ciclos de estudos e da área de conhecimento no uso de diferentes práticas de avaliação pelos professores participantes. Os dados qualitativos sugerem uma visão otimista dos professores sobre o seu futuro, no que concerne ao envolvimento em projetos de melhoria e processos de tomada de decisão e à melhoria das metodologias de avaliação. Os professores universitários identificaram dificuldades e desafios relacionados com as práticas pedagógicas e de avaliação. No entanto, identificam como fatores de melhoria o envolvimento em projetos inovadores (proporcionados por Bolonha) e o trabalho com os alunos. Relativamente ao Processo de Bolonha, este projeto de investigação identifica algumas tensões em relação ao impacto de Bolonha nas práticas de avaliação. Os resultados do sub-estudo 2 também identificam o uso de uma variedade de métodos de avaliação, através da combinação de métodos tradicionais e de métodos mais centrados no estudante. O ano do curso, o tipo de curso, a natureza dos programas e os regulamentos institucionais são identificados pelos coordenadores como fatores que podem influenciar a seleção dos métodos de avaliação. Por último, os resultados do terceiro sub-estudo identificam a existência de práticas de feedback e o envolvimento do aluno nas práticas de avaliação. As implicações que emergem deste estudo podem representar oportunidades futuras de investigação, no sentido de ampliar a possibilidade de obter novas respostas e uma compreensão mais completa da natureza complexa e multifacetada da avaliação no ensino superior em Portugal.