ML Web Abr 2007: Tópico Program Evaluation
Grupo: Geison V. Lira, André Cabral, Maria Helena Senger, Marta Menezes
Facilitadores: Stewart Mennin, Eliana Cláudia
Planejamento: 1) os componentes lêem os 4 artigos até o fim de fevereiro; 2) decidir quais serão os dois artigos para discussão; 3) em março construir as perguntas para os demais componentes; 4) de 1 a 10 de abril questões e papers escolhidos serão colocados online; 5) de 11 a 25 de abril: facilitação da discussão; 6) de 26 a 30 de abril: síntese.
Relatório final com 32 páginas.
Síntese ML-WEB ABRIL 2007: Avaliação de Programas
Durante o mês de abril de 2007, duas publicações direcionaram a discussão em nossa comunidade eletrônica:
Woodward CA. Program Evaluation. In: Norman GR, van der Vleuten CPM, Newble DI, editors. International Handbook of Research in Medical Education. Dordrecht: Kluwer Academic Publishers; 2002. p.127-55.
Bamberger M, Rugh J, Church M, Fort L. Shoestring Evaluation: designing impact evaluation under budget, time and data constraints. American Journal of Evaluation, 2004; 25(1):5-37.
Nas discussões, os seguintes aspectos foram mais detalhados, sendo que os dois primeiros se referiram ao estudo de Woodward e os dois últimos ao artigo de Bamberger et al:
propriedades formativa e somativa da avaliação de programas;
indicadores de processo;
dificuldades enfrentadas no processo de avaliação de programas;
enfrentamento das limitações do plano de avaliação.
Propriedades Formativa e Somativa da Avaliação de Programas
Woodward enfatiza as propriedades formativa e somativa do processo de avaliação, conectando o aspecto formativo ao desenvolvimento e refinamento do processo que está sob avaliação e o somativo aos resultados e conseqüentes impactos deste mesmo processo. É patente a interligação entre estes aspectos, já que, idealmente, os dados obtidos por meio das avaliações formativas devem promover uma correção do processo e isto, em última instância irá interferir nos resultados da avaliação somativa. Em outras palavras, a adequada avaliação de um processo pressupõe a criação de um ciclo contínuo que percorre o caminho entre a obtenção de informações pela avaliação formativa, sua análise e competente divulgação para correção e implementação de novo trajeto, em repetições sucessivas, nem sempre idênticas, até culminar com a avaliação somativa. Esta, por sua vez, ao trazer em seu bojo o caráter de monitoramento do programa também tem papel desencadeador de mudanças e re-direcionamento, incitando uma nova trajetória para um outro ciclo sucessivo.
No entanto, para que este processo cíclico persista, há necessidade que ele seja alimentado. E o combustível natural para nutri-lo é representado pela natureza política da avaliação. Ou seja, para que a trajetória de um processo seja adequadamente corrigida para o novo percurso apontado pela avaliação é necessário haver uma tomada de decisão, é necessário governar. Senão, os ciclos não existirão ou se repetirão sempre da mesma forma e não haverá evolução.
Nítidas afirmações e exemplos sobre a complementaridade entre as propriedades formativa e somativa de uma avaliação e seu intrínseco aspecto político foram pontuados por vários participantes durante o mês de abril. Em linhas gerais, postulou-se:
a necessidade da inclusão da avaliação e seu adequado planejamento, idealmente antes da implantação do processo;
o imprescindível envolvimento (ou mesmo, cumplicidade) dos parceiros (stakeholders) internos e externos;
a similaridade entre as avaliações de programas e de estudantes;
a frustração quando não há governabilidade para a tomada de decisão baseada no que a avaliação apontou.
Por outro lado, também foram descritos exemplos de mau uso dos resultados do procedimento avaliativo, quando estes são utilizados para punir, denegrir ou barganhar. Aqui cabe ressaltar a frase de Woodward: “only naive evaluators do not understand that evaluation is a political activity”. Ao concebermos a natureza política da avaliação, fica evidente que desvios possam ocorrer, principalmente quando os objetivos da avaliação não foram adequadamente delimitados e pactuados.
Ainda, as propriedades formativa e somativa da avaliação trouxeram à tona questões relacionadas ao SINAES, bem como sobre acreditação (acreditabilidade) da escolas. Woodward aponta que “accreditation is a form of program evaluation that has both summative and formative components”. Apesar dos diferentes elementos que compõem o SINAES representarem um avanço, ainda não temos elementos suficientes para concluir se o sistema vem cumprindo seu papel como agente externo de monitoramento de forma efetiva.
Indicadores de Processo
A tese defendida por Woodward é de que a utilização dos indicadores de processo possibilita checar a extensão e a fidelidade da implementação de um programa. Isto porque quando a avaliação é limitada apenas nos resultados do processo, podemos chegar a falsas conclusões, quer porque a implementação ainda não tenha sido finalizada (extensão) ou porque não aconteceu conforme anteriormente previsto (fidelidade). Assim, observa-se que os indicadores de processo se imbricam com a propriedade formativa da avaliação, acima discutida.
Ainda, o autor aponta a escassez da literatura acerca da avaliação da implementação de programas. Para este fato, duas justificativas se apresentam: uma é que os indicadores de processo sejam pouco utilizados; outra é de que o monitoramento da implantação de um processo represente matéria interna e privada e, portanto, não passível de divulgação. No entanto, sua importância é vital para detectar problemas incipientes, enquanto ainda não comprometeram os resultados.
As discussões sobre este tópico mostraram desdobramentos interessantes como:
mais uma vez, o caráter político da tomada de decisão frente a um resultado de avaliação, pois nem sempre o que os indicadores revelam se traduz em conseqüências;
novamente, o SINAES foi aventado, especificamente a Comissão Própria de Auto-avaliação, como instância representativa de monitoramento interno;
a importância da utilização de indicadores de processo para identificar possíveis fatores de confundibilidade que possam contaminar os resultados;
a necessidade do planejamento que contemple utilização de indicadores condizentes com os objetivos da avaliação.
Dificuldades enfrentadas no processo de avaliação de programas
Enfrentamento das limitações do plano de avaliação
Não há dúvida quanto à necessidade de inserir o planejamento desde a elaboração do projeto. O artigo de Woodward, já enfatizado no tópico anterior, apresenta inúmeros exemplos da importância de instituição de uma cultura avaliativa e, juntamente com as referências de modelo lógico que trabalhamos anteriormente, sugere instrumentos que podem ser aplicados de forma objetiva e clara.
Francisco contribuiu com considerações sobre a cultura avaliativa:
“Em minha opinião, a grande contribuição dos dois textos e da experiência com a FAIMER é a apropriação de uma cultura de avaliação em todas as nossas ações como educadores e dirigentes. E aí, o termo cultura se presta bem, no sentido de algo incorporado de fato às nossas ações, dando significado elas.”
O artigo de Bamberger nos traz para uma realidade, talvez mais próxima, e que provavelmente reflete muito da nossa vivência cotidiana. Percebemos durante a leitura que esta é uma dificuldade que não é apenas nossa e que sempre, ou na maioria das vezes, existe possibilidade de encontrar alguma solução.
Embora, com podemos observar no exemplo referido por Francisco por vezes é muito difícil recuperação.
“Recentemente, houve uma proposta de financiamento externo para determinada intervenção e um projeto foi montado sem aprofundamento dos seus objetivos e um plano estratégico de acompanhamento. Obviamente, não havia clareza quanto ao processo de avaliação. Isso foi parcialmente enfrentado com a contratação de um avaliador externo, mas a sua inclusão foi tardia e pontual, portanto, insuficiente para reverter erros acumulados ao longo do tempo”.
Eliana Goldfarb lembra que, além do planejamento, é necessário assegurar que o que foi planejado e está sendo avaliado corresponda exatamente ao que está sendo realizado na prática.
... “nos fizemos aqui em Botucatu um super trabalho organizado e planejado do internato por competências profissionais, mas o quanto cada área se apropriou desse trabalho e realmente conseguiu na prática trabalhar com ele é bastante questionável”
A colega também comenta algo muito interessante sobre a avaliação em um cenário de poucos recurso que é a criatividade que por vezes demonstra de forma clara soluções que não conseguiríamos imaginar.
“No segundo texto me parece muito interessante a idéia de se pensar a avaliação como um processo a ser realizado com pouco recurso, pouco dado,pouca base e ai é o nosso real quantas vezes trabalhamos assim e a coisa vira e acontece. Acho que essa possibilidade de elaborar avaliações sem recursos é bem o que acabamos fazendo de modo empírico muitas vezes e com soluções tão criativas”.
O artigo permite visualizar a questão sob o prisma do avaliador externo que pode orientar em uma fase inicial do projeto porem encontra dificuldades para acesso às informações ou em uma situação na qual o avaliador é inserido de forma tardia, quando terá que lidar com a falta de previsão orçamentária, limitação de tempo e falta de possibilidade para determinar um modelo comparativo dentre outras dificuldades. Creio que o exercício de assumir a “persona de avaliador externo”, estando envolvido como agente do processo avaliado, permite o distanciamento necessário para avaliar melhor os nosso projetos ao tempo em que melhora a capacidade de entendimento ao assumir o papel de avaliador externo.
Rosana explicita de forma clara a multiplicidade de papeis que assumimos:
“Como contornarei as limitações do meu projeto FAIMER ? O tempo parece ser a minha principal limitação. Não tenho um avaliador para o meu projeto. Acredito que o mesmo acontece com todos vocês. Então, sou a mesma para atuar em todos os cenários que já atuava antes do FAIMER. E, dentro do FAIMER, preciso me organizar para cada fase do projeto, para cada atitude há um "eu" que naquele momento prevalece sobre os demais. Menina, parece até Fernando Pessoa em o Eu profundo e outros Eus”
De quem é o olhar
Que espreita por meus olhos?
Quando penso que vejo
Quem continua vendo
Enquanto estou pensando?
Por que caminhos seguem
Não os meus tristes passos
Mas a realidade
De eu ter passos comigo?
O depoimento de Ana Lúcia, que é denominado por ela como uma catarse, demonstra dificuldades enfrentadas na implantação de um curso novo em um mundo em transformação. Percebemos que embora tenha existido preocupação com a avaliação, questões de cunho alheio aos reais interesses do curso foram envolvidas. O que determinou a falta de foco comum. Com objetivos tão distintos para cada ator envolvido, que oscilava entre a disputa de poder político, ideológico e a possibilidade de inviabilização do curso, é compreensível que resultasse em grande desgaste. Por fim entra a figura do avaliador externo com “poder de polícia” que consegue, juntamente com os docentes, colaborar para a reestruturação de falhas existentes permitindo a existência do curso. Apesar da angústia refletida no relato, são perceptíveis o amadurecimento e crescimento do grupo. Fica apenas uma reflexão, dentro de uma estrutura democrática até a minoria barulhenta tem o seu papel, o que não reflete a maioria porem impede que esta maioria se posicione de forma positiva.
Ana Lúcia sintetiza muito bem quando diz:
... acredito que muitos dos problemas existentes hoje em nosso curso poderiam ter sido minorados ou resolvidos se identificados precocemente através de instrumentos de acompanhamento adequado, tanto do desempenho docente como do grau de satisfação dos sujeitos envolvidos neste processo todo (alunos, professores, os "stakeholders" envolvidos e envolventes!
George comenta sobre dificuldades que ocorrem na implementação de instrumentos de avaliação que nem sempre são devidamente compreendidos quanto a sua aplicação, sendo alvo de disputa de quem sabe mais ou que tem mais poder. A clareza e sensibilidade do indivíduo à frente do projeto de mudança são de fundamental para que exista um equilíbrio de forças, embora não seja tão simples assim.
“Por exemplo, os estudantes do nosso diretório acadêmico chegaram com aquela queixa de que querem ser ouvidos ao máximo e que precisamos fornecer esse espaço, nesse sentido, não abririam mão de que fosse feito um grupo focal em cada período do curso, totalizando 12. Considerando o propósito da abordagem que é o de aprofundar o entendimento sobre o objeto (no caso o curso de medicina), e especialmente considerando a existência de um fenômeno chamado de SATURAÇÃO, que estabelece que, a partir de certo momento, os discursos começam a se repetir, não em muito sentido estabelecer previamente esse numero. A avaliação com base em métodos qualitativos pode e deve ser ajustada no curso do processo e os atores envolvidos precisam entender isso”.
Quando somos remetidos a pensar no processo avaliativo em nosso projeto FAIMER, que foi exaustivamente planejado e modificado com a intensa e ativa participação dos professores e colegas, ainda assim percebemos fragilidades. Nem tudo o que projetamos será possível, assim como não teremos a possibilidade de prever todas as dificuldades que encontraremos. Talvez possamos refletir que não seja necessariamente um erro, mas que os projetos tem vida própria e que nem sempre podemos prever todas as situações. Mas não é necessário desespero, sempre encontraremos alguma possibilidade criativa de resolver a questão.
Muitos foram os depoimentos sobre a importância de domínio de técnicas qualitativas de avaliação com sugestões de sites e referências sobre o assunto. Vários colegas participaram oferecendo exemplos variados que refletem as dificuldades enfrentadas. Algumas mais complexas e sofridas, outras menor complicadas. Foram considerados os exemplos comuns na prática diária e que refletiam situações existentes no texto. Considerando-se a riqueza das contribuições estamos anexando arquivo com as mensagens do grupo. Entendemos que compartilhar as experiências, mesmo as desastrosas, é de fundamental importância, estas situações podem refletir algo que estamos vivenciando ou mesmo permitir a percepção antecipada de algo que podemos evitar.
Aprender com as falhas talvez não seja a forma mais agradável porem, sem dúvida, é a mais eficaz.
