Evaluación Multifactorial del Programa de Transformación de la Calidad Educativa: Programa Todos a Aprender (PTA)

Abstract

Num contexto em que uma das principais preocupações na educação é a garantia de qualidade e perante uma situação nacional que apresenta baixos níveis de desempenho dos alunos da educação básica, nomeadamente nas zonas rurais, surge o Programa Todos a Aprender (PTA) como parte integrante de uma política educativa do governo colombiano. O programa tem uma estrutura com cinco componentes básicas (pedagógico, formação situada, condições básicas, gestão educativa e comunicação) e um proceso de formação em cascata, como estratégia para chegar até as instituções educativas, de modo a contribuir para melhoria das práticas docentes e, em consequência, para o fortalecimento das aprendizagens dos alunos. Tendo em conta a importancia deste compromisso nacional, esta investigação visa avaliar o PTA no contexto colombiano, o que implica avaliar a coerência interna (planificação e implementação) e a coerência externa (pertinência no contexto e resultados conseguidos). Portanto, tem por base os seguintes objetivos específicos: identificar a pertinência e relevância do PTA, de acordo com as necessidades do contexto colombiano; determinar a consistencia e coerência interna relativamente à planificação e estruturação; avaliar os processos desenvolvidos na implementação, segundo a sua eficiência; identificar as opiniões dos encarregados da gestão, coordinação e implementação do programa e, por fim, avaliar os resultados previstos e não previstos. O enquadramento teórico da investigaçao integrou dois conceitos chave: a qualidade educativa e a avaliação de programas. Estos referentes foram o ponto de partida para a construção do plano da avaliação multifatorial com base nos presupostos dos métodos mistos de investigação, assumidos como opção metodológica. Nesta linha, a partir de um design de triangulação da informação, na sua variante de modelo multinível, foram aplicadas diferentes técnicas, como a análise documental e instrumentos nas vertientes qualitativa (entrevistas) e quantitativa (questionários), para recolher a perceção dos atores quer relativamente à planificação e estruturação do programa (com uma amostra de 7 pessoas da equipa de gestão e coordenação), quer à sua implementação (com uma amostra de 274 participantes integrada por formadores, tutores e professores). Os resultados da investigação indicaram que o programa é pertinente dado que se adequa às necessidades identificadas no contexto nacional e internacional, embora sejam necessários alguns ajustamentos relativamente às necessidades regionais; no que diz respeito à planificação e estruturação, a triangulação da informação permite concluir que o programa é consistente e apresenta articulação entre as componentes, embora seja importante rever a abrangência do programa e os tempos estabelecidos para o desenvolvimento. A avaliação do processo, na qual se prestou especial atenção à perceção dos atores, apresentou os valores mais positivos, nomeadamane no que diz da eficiência do processo de formação. Consderando a sua ligação com a qualidade e as reformas educativas, destaca-se a perceção positiva sobre as culturas colaborativas desenvolvidas e a satisfação com a profissão e com o papel no PTA. Numa perspetiva metodológica, os resultados desta fase permitiram verificar a qualidade dos intrumentos usados na recolha dos dados além da correlação entre estas diferentes variaveis que fornecem um contributo para explicar a avaliação feita pelos atores do programa. Por fim, uma análise dos produtos do programa, segundo os resultados previstos e não previstos, indicou que embora não se tenha cumprido na totalidade com o objetivo específico do programa fixado en termos quantitativos, foram evidentes as melhorias em aspetos, como a transformação das práticas docentes, conseguida pela disponibilidade para a reflexão e o trabalho em equipa. A comprovar isto mesmo estão os comentarios dos diferentes actores sobre as experiências significativas que têm surgido nas diferentes regiões do país e que são inspiradoras de novas dinámicas de trabalho. Perante os resultados apresentados, conclui-se que o programa tem contribuido para a transformação da qualidade relativamente aos processos de mudança nos docentes e o fortalecimento da sua formação. Contudo ainda não é evidente o compromisso e a capacidade instalada para garantir a sua sustentabilidade no âmbito local e institucional. Por outro lado, confirma-se a validade e, de facto, a necessidade de combinar diferentes propostas teóricas e metologógicas para fazer uma avaliação adequada ao nível da complexidade de um programa como o PTA. Constata-se, também, a necessidade de avaliar os programas através de um sistema multifatorial que integre, para além de aspetos ligados à eficacia, outros fatores que possam explicar a sua eficiência, pertinência e sustentabilidade e fornecer um contributo para um uso prático da avaliação de natureza mais educativa do que política.

“Programa Todos a Aprender” (PTA) was born as an educational policy of the Colombian government in a context where one of the main concerns about education is quality guarantee and there is a low quality of education; elementary school students have low rates of performance, especially in rural areas. The program has five basic components (pedagogical component, training, basic conditions, educational managment and comunication); it also has a training cascade process, as a estrategy to help the schools, in order to improve the teachers’ practice and to enhance the students’ learning. Taking into account the significance of this governmental challenge, the current investigation has the purpose of evaluating the program in the Colombian context. To that end, the internal (design and implementation) and external consistency (relevance and coherence with the context and the results achieved) were assessed. The investigation aims to identify the relevance of the program according to the needs of the Colombian context; to identify the consistency and internal coherence of its design and implementation; to evaluate the efficiency of the developed process in the implementation phase; to identify the opinions of the stakeholders; and to evaluate the results, the expected and the unexpected outcomes. The theoretical framework included two key concepts: educational quality and program evaluation. These references were the support for the multifactorial evaluation design based on the Mixed Methods research principles, adopted as the methodological option. Through a triangulation design, multilevel variant, several data collection methods, as documental analysis, and instruments were applied, in the qualitative (interviews) and quantitative (surveys) perspectives in order to know the perception of the stakeholders; the design team (with seven people) and the implementation team (with 274 participants: trainers, tutors and teachers). The results of the investigation indicate that the program is relevant to meet the main needs identified in both the national and the Latin American contexts. However, it is necessary to make some adjustments to meet the regional needs. In relation to the design, the triangulation of the information made it possible to conclude that the program has consistency and there is an articulation between the components. Nevertheless, it is important to verify its broad scope and the time determined for its development. The evaluation process, focused on the stakeholders’ perception, shows the most positive values, particularly in regards to the efficiency of the training process. In consideration to its asociation with the quality and educational reforms, the collaborative cultures developed and the satisfaction with the profession and the rol into de PTA had special recognition. From a metodological perspective, the results of this phase demostrated the quality of the methods and instruments applied to the data collection. They also revealed the correlation between these different variables which aim to explain the evaluation of the stakeholders about the program. Finally, the analisys of the program products, in regards to the expected an unexpected results, indicate that it was not possible to achieve the quantitative goal of the program. However, some progress was made in the transformation of the teaching practices and it was achieved by their unwilling to reflect and their teamwork, as evidenced by the feedback of stakeholders about the significative experiences arised in several regions of the country and were inspiration for new work dinamics. On the basis of the above considerations, it can be concluded that the program has also made an important contribution to the transformation of the quality associated with the change process of the teachers and the enhance of their training. However, the commitment and the installed capacity to guarantee the sustainability of the program, both the local and institutional levels, has not been evidenced yet. On the other hand, the validity of making a combination of several theoretical and methodological approaches in order to design an evaluation according to a complex program, like the PTA, was confirmed. It has also been demonstrated the need to evaluate the programs through multifactorial systems which include the effectiveness and other elements able to make an explanation about its efficiency, relevance and sustainability. On this way, it is possible to provide a contribution to make a practical use of evaluation, more educational and less political.

En un contexto en el que una de las principales preocupaciones en la educación es la garantía de calidad y ante una situación nacional que reporta bajos índices de desempeño de los estudiantes de educación básica, especialmente en zonas rurales, surgió el Programa Todos a Aprender (PTA) como parte de la política educativa gubernamental colombiana. Este programa se estructura en cinco componentes básicos (pedagógico, formación situada, condiciones básicas, gestión educativa y comunicación) y tiene un proceso de formación en cascada, como estrategia de llegada a las instituciones educativas, para contribuir para al mejoramiento de las prácticas de los docentes y en consecuencia, al fortalecimiento de los aprendizajes de los estudiantes. Dadas las implicaciones de esta apuesta nacional, la presente investigación tiene como objetivo evaluar este programa en el contexto colombiano identificando su coherencia interna (diseño e implementación) y su coherencia externa (pertinencia en el contexto y resultados logrados). Específicamente, se pretendía identificar la pertinencia y relevancia del PTA según las necesidades del contexto colombiano; determinar su consistencia y coherencia interna en relación con su diseño; evaluar los procesos desarrollados durante la implementación, en función de su eficiencia; identificar las opiniones de los actores responsables de la gerencia, coordinación e implementación del programa y finalmente, evaluar sus resultados, tanto previstos como no previstos. El marco teórico de la investigación integró dos conceptos clave: la calidad educativa y la evaluación de programas. Estos referentes fueron el punto de partida para la construcción del plan de evaluación multifactorial desde los presupuestos de los métodos mixtos de investigación, asumidos como opción metodológica. En esta línea, mediante un diseño de triangulación, en su variante de modelo multinivel, fueron aplicadas diferentes técnicas como el análisis documental y variados instrumentos, desde las vertientes cualitativa (entrevistas) y cuantitativa (cuestionarios), para recuperar la percepción de los actores tanto del diseño (con una muestra de 7 personas del equipo de gerencia y coordinación), como de la implementación (con una muestra de 274 participantes, entre formadores, tutores y profesores). Los resultados de la investigación sugieren que el programa es pertinente dado que se adecua a las necesidades identificadas en el contexto nacional e incluso internacional, aunque requiere un mayor ajuste en función de las necesidades regionales. En relación con el diseño, la triangulación de la información permitió concluir que el programa es consistente y presenta articulación entre los componentes; sin embargo, es importante revisar su alcance y los tiempos establecidos para su desarrollo. La evaluación del proceso, para lo cual se prestó especial atención a la percepción de los actores, presentó los valores más positivos, especialmente en lo que corresponde a la eficiencia de la cadena de formación. Considerando su asociación con la calidad y las reformas educativas, se destaca la valoración, también positiva, de las culturas colaborativas desarrolladas y la satisfacción con la profesión y con el rol en el PTA. En una perspectiva metodológica, los resultados en esta fase permitieron constatar la calidad de los instrumentos usados para la recolección de los datos, además de la correlación establecida entre estas diferentes variables que contribuyeron a explicar la evaluación que los actores hacen del programa. Un análisis de los productos del programa, de acuerdo con los resultados esperados y no esperados, nos indicó que si bien no se logró cumplir, en su totalidad, con el objetivo específico del programa propuesto en términos cuantitativos, se evidenciaron mejoras en aspectos como la transformación de la práctica docente gracias a la disposición para la reflexión y el trabajo en equipo. Así lo evidenciaron los comentarios de los actores sobre las experiencias significativas que surgieron en las diferentes regiones del país y que inspiraron nuevas dinámicas de trabajo. De todo lo anterior, se concluye que el programa ha contribuido a la transformación de la calidad en relación con los procesos de cambio de los docentes y el fortalecimiento de su formación, aunque aún no se evidencia el suficiente compromiso y la capacidad instalada para garantizar su sustentabilidad tanto en el ámbito local como institucional. De otra parte, se confirmó la validez de conjugar diferentes apuestas teóricas y metodológicas para diseñar una evaluación ajustada a la complejidad de un programa como el PTA. Se constató también la necesidad de evaluar los programas desde sistemas multifactoriales que integren no solo aspectos asociados a la eficacia, sino también otros factores que puedan explicar su eficiencia, pertinencia y sostenibilidad y ofrecer una contribución para un uso práctico de la evaluación de cariz más educativo que político.