Lideranças curriculares intermédias no contexto da avaliação externa das escolas em Portugal

Abstract

No contexto supra e transnacional, a avaliação sistemática dos estabelecimentos de ensino não superior é uma preocupação recente. Em Portugal o processo, no seu formato atual, teve início com a publicação da Lei nº31/2002, mas só em 2006 foi lançado um projeto-piloto, com 24 escolas, desenvolvido por um Grupo de Trabalho e, finalmente, em 2007, entrou-se no 1º ciclo avaliativo, denominado Avaliação Externa das Escolas (AEE), a cargo da Inspeção Geral de Educação (IGE). O modelo desenhado pelo Grupo de Trabalho inspirou-se no modelo escocês How Good Is Our School, em linha com políticas educativas descentralizadoras, assentes em finalidades dicotómicas: sumativas, porque centradas nos resultados escolares e na prestação de contas, e formativas, por visarem a melhoria da qualidade do ensino/aprendizagem. Cumprido o 1º ciclo de AEE (2006/07 – 2010/11) e tendo-se iniciado o 2º ciclo, com um referencial remodelado, sem que para tal tenha havido meta-avaliação, ganhou consistência e urgência investigar o impacto e efeitos que o 1º ciclo da AEE provocou nas mais de mil escolas intervencionadas, no sentido de perceber o seu contributo para a qualidade do ensino/ aprendizagem, resultados dos alunos, cultura de auto e heteroavaliação, reforço da autonomia e liderança. Este quadro geral de reconhecimento da avaliação externa como um elemento - chave na mudança dos sistemas educativos trouxe para o centro do debate a importância das lideranças intermédias na melhoria das práticas curriculares e na qualidade do ensino e da aprendizagem, razão por que este estudo objetivou compreender de que modo o primeiro ciclo da AEE, em Portugal, influenciou as dinâmicas curriculares das lideranças intermédias, contribuindo para a mudança e melhoria educativas. Optou-se por uma metodologia mista, baseada na complementaridade entre a abordagem quantitativa e qualitativa, no sentido de rendibilizar potencialidades de interação e aferir, na prática, a sua validade interna e externa. A partir do modelo de AEE adotado e implementado pela IGE, contextualizou-se o estudo, seguindo as várias fases processuais deste dispositivo de avaliação, nas dimensões do antes, durante e após a visita da equipa de avaliação. Nesse sentido, analisou-se o estado da arte concernente à temática da AEE, onde se constatou serem parcos os estudos existentes em Portugal, contrariamente à enorme produção e discussão académica suscitada noutros contextos supra e transnacionais, como documentam os relatórios da OCDE (2009; 2013) e do programa da Comissão Europeia, Eurydice (2004), onde esta temática está já amplamente estudada. A análise dos dados recolhidos, junto de uma amostra nacional de professores, através de um questionário on line (n=1102), de entrevistas (n=12) e de análise documental (atas e relatórios) revela uma tensão entre o impacto e os efeitos do 1º ciclo de AEE. Por um lado, o seu impacto é muito positivo, porque é bem aceite nas escolas, não tem gerado conflitos e favorece a abertura à mudança e à melhoria, mediante o confronto dos pontos fortes e fracos diagnosticados no relatório da IGEC; por outro, o 1º ciclo da AEE produziu alguns efeitos exógenos, ao nível do discurso – pela obrigatoriedade da autoavaliação e do plano de melhoria – embora, no geral, sem tradução mimética nas práticas curriculares das lideranças intermédias, onde o trabalho colaborativo de planificação, articulação e gestão do currículo ainda não está largamente ritualizado e a sua reflexividade, ao nível endógeno da sala de aula, parece estar por cumprir. O estudo permitiu apurar, ainda, evidências empíricas que poderão contribuir para o aperfeiçoamento do 3º modelo de AEE, sobretudo as questões éticas na aplicação dos inquéritos de satisfação, a uniformização de critérios dos avaliadores na condução das entrevistas e a desburocratização da linguagem dos relatórios, para que possam resultar num “fato linguístico” ajustado às medidas de cada universo avaliado. Em conclusão, este estudo revela que os ideais preconizados pela AEE, de complementaridade entre a vertente formativa e sumativa, estão longe de se cumprirem, reclamando-se maior enfoque e valorização dos processos que poderão conduzir aos efeitos/resultados almejados.

Dans le contexte international, l’évaluation systématique des établissements d’enseignement non supérieur est une préoccupation récente. Au Portugal le processus, dans son format actuel, a commencé avec la publication de la Loi nº31/2002, mais un projet pilote a été lancé juste en 2006, avec 24 écoles, développé par un Groupe de Travail, appelé Évaluation Externe des Écoles (AEE), en charge de l’Inspection Général d’Éducation (IGE). Le modèle dessiné par le Groupe de Travail a été inspiré par le modèle écossais How Good Is Our School, en ligne avec les politiques éducatives de décentralisation, basé sur des buts opposés: sommatifs, parce qu’ils se centrent sur les résultats scolaires et la responsabilisation, et formatifs, parce qu’ils ils visent à améliorer la qualité de l’enseignement/apprentissage. Après avoir terminé le premier cycle de l’EEE (2006/07 – 2010/11) et devant le début du deuxième cycle, avec un référentiel rénové, pas précédé d’une méta-évaluation, il est devenu urgent d’étudier l’impact et les effets que le premier cycle de l’AEE a causé en plus de mille écoles intervenues, dans le sens de comprendre sa contribution à la qualité de l’enseignement et de l’apprentissage, aux résultats des élèves, à la culture d’ auto et hétéro-évaluation, renforcement de l’autonomie et du leadership. Cet encadrement général de reconnaissance de l’évaluation externe comme un élément- - clef dans le changement des systèmes éducatifs a amené au centre du débat l’importance du leadership intermédiaire et sa contribution au changement et amélioration éducatifs. On a opté pour une méthodologie mixte, axée sur la complémentarité des abordages quantitatifs et qualitatifs, afin d’accroître leur potentiel d’interaction et mesurer, dans la pratique, leur validité interne et externe. À partir du modèle suivi par l’IGE, l’étude est contextualisée, en contemplant les différentes étapes procédurales de ce dispositif d’évaluation, dans les dimensions de l’avant, durant et après la visite de l’équipe d’évaluation. En conséquence, on a examiné l’état de l’art concernant le thème de l’AEE, et on a constaté qu’il y a très peu d’études au Portugal, contrairement à l’immense production académique dans d’autres contextes internationaux, comme le montrent les rapports de l’OCDE (2009 ; 2013) et du programme de I ’Union Européenne Eurydice (2004), où ce sujet est déjà largement étudié. L'analyse des données rassemblées, près d'un échantillon national d'enseignants, à travers l’enquête par questionnaire on line (n=1102), par interview (n=12) et par analyse documentaire, soutient une tension entre l’impact et les effets du premier cycle de l’AEE. D’une part, son impact est positif, car les écoles l’accueillent bien, il n’a pas provoqué de conflits et favorise le changement et l’amélioration, par la confrontation des forces et faiblesses diagnostiquées dans le rapport de l’IGEC; d’autre part, le premier cycle de l’AEE a produit quelques effets exogènes, au niveau du discours – par l’obligation de l’auto-évaluation et d’un plan d’amélioration – mais pas, en général, au niveau de la traduction mimétique des pratiques curriculaires des leaderships intermédiaires, où la planification, articulation et gestion collaboratives ne sont pas encore ritualisées et sa réflexivité au niveau endogène de la classe reste inexploitée. L’étude a fourni également des évidences qui pourront contribuer au perfectionnement du troisième modèle de l’AEE, principalement sur les questions éthiques dans l’application des questionnaires de satisfaction, l’uniformisation de critères des évaluateurs dans la conduite des interviews et la rationalisation du langage des rapports, pour qu’ils puissent devenir une tenue linguistique adaptée à chaque univers évalué. En conclusion, cette étude révèle que l’idéal de complémentarité recommandé entre l’évaluation formative et sommative est loin d’être atteint et qu’il faut faire une plus grande attention et valorisation des processus qui pourront conduire aux effets/résultats souhaités.

Regarding both national and international contexts, the systematic evaluation of schools is a recent concern. In Portugal the process in its actual format, began with the publication of the Law 31/2002, but it was only in 2006 that a pioneering project, developed by a specific Group work was launched in 24 schools. Finally in 2007, we reached the first evaluation cycle. It became known as External Evaluation of Schools / Avaliação Externa das Escolas (AEE) and it was dependent upon the General Education Inspection / Inspeção Geral de Educação (IGE). The model designed by the Group Work was inspired on the Scottish model How Good Is Our School, together with non centralized educational policy, based on dichotomic aims: summative, for focusing on school results and accountability, and formative, for aiming at the improvement of quality of the teaching /learning process. Having reached the end of the 1st cycle of AEE (2006/07 – 2010/11) and having started the 2nd cycle with a renewed referential, yet without having performed any kind of meta evaluation, it became of the utmost urgency to investigate the impact and effect of the 1st cycle of AEE upon more than one thousand intervened schools and try to understand its contribution to the quality of the teaching /learning process, the results achieved by the students, the self and hetero evaluation culture, the strengthening of autonomy and leadership. Rising awareness of external evaluation as a key factor in the changing of education, highlighted the debate on the importance of intermediate leadership in the improvement of curricula practice and in the quality of the teaching / learning process. This is the reason why this study aimed at grasping in what ways the 1st cycle of AEE influenced curricula dynamics among intermediate leadership, thus contributing to the change and educational improvement in Portugal. We chose a mixed methodology, based upon the complement of quantity and quality approaches, and therefore to maximize the interacting potential and assess its internal and external validity. The model of AEE adopted and implemented by IGE, arose the context of this study, following the several process stages of this evaluation device, according to a timeline of before, during and after the visit of the evaluation crew. So we analysed the state of the art regarding AEE to conclude that there are few existing studies in Portugal, as opposed to the huge production and academic discussion raised in supra and transnational contexts, as documented on OECD reports (2009; 2013) and on the programme of European Committee, Eurydice (2004), in which this subject is deeply studied. Analysing the data we collected by means of a sample of national teachers, an on line inquiry (n=1102), interviews (n=12) and the documental analysis (minutes and reports) reveals a tension between the impact and the effects of the 1st cycle of AEE. On one hand its impact is very positive, since it’s well accepted in schools, it hasn’t created any kind of conflicts and it broadens the opening to change and to improvement, by the contrast of strengths and weaknesses, pointed out in IGEC’s report; on the other hand the 1st cycle of AEE resulted in some exogenous effects, considering the speech – once self evaluation and an improvement plan were required – although in general without a mimetic significance on the curricula practice of intermediate leadership, where collaborative work of planning, articulating and curriculum management aren’t yet largely ritualized and its reflex, at the endogenous level of the classroom seems not to be fulfilled. With this study we came across evidence which may contribute to the betterment of the 3rd cycle of AEE, mainly ethic issues regarding the application of satisfaction surveys, the standardization of criteria used by appraisers in the conducting of interviews and the debureaucratisation of the language used on reports, so that they can result in a “linguistic fact” fit to all.. We conclude by stating that this study shows that the ideals recommended by AEE, concerning the complement of formative e summative aspects, is far from being accomplished, so we claim for a stronger focus and the appreciation of those processes which may lead to the desired effects or results.