Audiência pública sobre o processo do MPF-RJ contra a avaliação quadrienal da CAPES

Audiência pública sobre o processo do MPF-RJ contra a avaliação quadrienal da CAPES

Tempo médio de leitura: 10 minutos
Photo by Jonas Jacobsson on Unsplash

Um sentimento bem forte de tristeza. É a percepção que tive com relação ao à audiência pública, ocorrida em 22 de fevereiro, sobre o processo movido pelo MPF-RJ contra a CAPES. E este sentido esteve relacionado ao pessimismo com relação a avaliação 2017-2020 e a atual e a falta de expectativas positivas quando aos encaminhamentos que serão dados na justiça federal.

Notas rápidas

De modo geral a audiência pública, promovida pelo MPF-RJ foi bem pouco produtiva, no sentido de fazer avançar entendimentos entre as partes envolvidas (MPF, CAPES e comunidade acadêmica). Ela durou pouco mais de 4 horas e pode ser assistida na integra através do link https://www.youtube.com/watch?v=rDK-rPqEh2c demais documentos estão listados ao final do texto.

Apesar disto, algumas informações que apareceram mostram-se, no mínimo, interessante para pensar o desenvolvimento de todo o processo. O MPF-RJ mencionou que as investigações iniciaram-se em 2017, ainda no governo Temer, que houve várias reuniões com representantes da CAPES, MEC, CNPq e que foi a falta de entendimento entre as partes que levou à necessidade de judicialização. O MPF menciona que há irregularidades no processo de avaliação e batem na tecla, principalmente, na alegação de que há mudança de critérios e retroatividade. Em linhas gerais o MPF-RJ e o grupo que defende a ideia de ‘tese mínima’ (grupo que ajuizou denúncia em Minas Gerais e que possui um ‘estudo’ ‘mostrando’ como as mudanças afetam os programas de pós-graduação (PPG) – os links estão ao final do texto) dizem que há critérios determinantes na avaliação que são aplicados retroativamente, ou seja, após o período de produção é que os critérios são definidos e aplicados às produções desde o início do intervalo.

O grupo da UFMG (óbvio que não é toda a UFMG que defende a ‘tese mínima’, mas é um grupo que emerge de lá que encabeça a proposição – inclusive, haviam tentado um processo anteriormente em MG, através do sindicato) defende a seguinte ‘tese mínima’:

O SISTEMA CAPES DE AVALIAÇÃO DA PÓS-GRADUAÇÃO BRASILEIRA DEVE GARANTIR QUE TODOS OS PROGRAMAS DE PÓS-GRADUAÇÃO (PPGs) SEJAM INFORMADOS(AS), ANTECIPADAMENTE E DE FORMA CLARA E INEQUÍVOCA:

1) COMO SERÃO AVALIADOS

Descrição: a CAPES divulgará, ANTES do início do quadriênio avaliativo: (i) as FICHAS DE AVALIAÇÃO, contendo todos os indicadores, pesos e demais critérios que serão utilizados para avaliar os PPGs em cada área; e (ii) todos os QUALIS, com os tipos de produção acadêmica mais aderentes e acordados por área, e como serão valorados.

Assim, todos os PPGs e docentes poderão se planejar adequadamente e ter paz para trabalhar, sabendo que as regras do jogo serão mantidas até o fim do quadriênio.

2) QUAL O NÍVEL DE QUALIDADE OS PPGs TÊM DE ATINGIR PARA RECEBER QUAL NOTA.

Descrição: a CAPES deverá divulgar, ANTES do início do quadriênio avaliativo, as NOTAS DE CORTE e REQUISITOS que definem os conceitos (Muito Bom, Bom, Regular, Fraco, Insuficiente) para todos os QUESITOS, ITENS, SUBITENS e INDICADORES qualitativos e quantitativos que serão utilizados na avaliação de cada área. Isso significa abandonar o agrupamento e/ou ranqueamento dos PPGs de cada área, após o quadriênio, como método para se definir as notas de corte/requisitos para a avaliação do próprio quadriênio. […]

Esse texto foi retirado do formulário de adesão que eles fizeram circular. Em linhas bem gerais, que pode inclusive descaracterizar parte do pleito deles – na forma como eu a reduzo –, diria que eles querem que seja definido uma nota de corte, de modo que se tenha uma GARANTIA que ao se atingir determina nota a pontuação do PPG irá subir, assim como querem saber, no início do processo de avaliação quadrienal qual será o Qualis dos periódicos. Segundo eles, isso permitiria um melhor planejamento do programa e docentes (‘paz para trabalhar’ e ‘regras do jogo serão mantidas’).

Reconheço que há uma simplicidade sedutora nesta ideia. O problema é que ela ignora, no mínimo, dois pontos básico, um sobre avaliação e outro sobre processo de comunicação científica e produção científica. Sobre avaliação, é ignorado que a avaliação é comparativa. Ou seja, buscar uma pontuação X baseada em resultado passado da avaliação, almejando atingir o próximo nível de qualificação NÃO é o suficiente para garantir este nível. E isso ocorre por um motivo bem simples, todos os programas têm se desenvolvido e, continuamente, são criados novos programas a cada ano, com isso, há um esperado aumento de qualidade de todos os programas (é impossível não reconhecer o processo concorrencial envolvido aqui, mas este NÃO é o tópico da judicialização – por mais que mereça ser discutido). Odeio futebol, mas uma analogia através do Campeonato Brasileiro pode ajudar a entender a questão. Não é que pelo fato do Flamengo ter feito 71 pontos no Campeonato Brasileiro em 2020 e foi campeão, que essa pontuação garantiria o título em 2021, tanto é que o time voltou a fazer 71 pontos em 2021 e ficou em segundo lugar, pois o primeiro lugar fez 84 pontos. Ou seja, a avaliação dos PPG é feita através de um modelo comparativo, complexo, multidimensional e sem notas/conceitos absolutos – e tudo isso, obviamente, em consonância com a comunidade científica em nível local, regional e global. Além disso, é um modelo elaborado e discutido pela comunidade. O CTC-ES é composto por pesquisadores da comunidade científica nacional (!), mesmo que a CAPES busque (e deva!) apontar diretrizes.

O segundo ponto que a ‘tese mínima’ ignora envolve a própria dinâmica da comunidade científica e isso tem relação com o Qualis. O Qualis de um periódico, que vou tratar em linhas gerais como uma escala de reconhecimento, pela comunidade, de um determinado valor simbólico-científico que é atribuído a um periódico, não é absoluto/imutável. Isto é positivo! Ele muda, e deve mudar, pois os veículos de comunicação de ciência podem ampliar e perder relevância dentro da comunidade científica.1 Não é por um periódico ter tido ampla e significativa relevância para uma comunidade científica (nacional e internacional) em um dado momento, que esse favor simbólico-científico se manterá anos depois. Por isso, querer manter os critérios utilizados na avaliação de 2013-2016 para as publicações do período 2017-2020 seria avaliar os periódicos agora com uma medida de 6 anos atrás – o que, de ponto de vista do impacto (independente do tipo de impacto) faz pouco sentido.2 É querer avaliar a ciência olhando para trás e não para o presente e para o futuro do campo científico. Inclusive as principais métricas internacionais (guardadas suas devidas limitações e problemas) são atualizadas ano a ano e os próprios critérios, muitas vezes, variam de um ano para o outro (ver exemplo do Journal Impact Factor que alterou a forma de contabilizar – a mudança foi anunciada em outubro de 2020 e aplicada nos resultados divulgados em 2021), justamente pela dinamicidade que se tem no ecossistema de publicação científica e no próprio processo de fazer ciência.

De modo geral, das falas em si, três intervenções foram significativamente relevantes para evidenciar a dinâmica da avaliação do processo científico: a fala do Paulo Santos, membro do CTC-ES; a fala da Helena Nader, vice-presidente da Academia Brasileira de Ciência; e, da Flávia Calé, presidenta da ANPG. Destas falas destaco:

  • Reforço da ideia de que a avaliação é comparativa e não com notas absolutas;
    • Como ocorre com as avaliações do INEP e os vestibulares, em certa medida, até mesmo como o SISU, com a nota do ENEM;
  • Os indicadores de qualidade são definidos antes;
  • As escalas de avaliação permitem reconhecer as fragilidades do sistema de pós-graduação e orientar políticas e decisões para reduzir as assimetrias regionais e locais;
  • Avaliação como processo contínuo e não estanque (como a ‘tese mínima’ solicita);
  • Os projetos desenvolvidos ao longo da avaliação quadrienal não se limitam ao tempo da avaliação (iniciando ou terminando, muitas vezes, em momentos diferentes do início e término da avaliação);
  • A avaliação é feita com a participação da comunidade científica, sendo os membros avaliadores pesquisadores envolvidos com pesquisa e que DEVEM consultar os coordenadores de PPGs;
  • A produção das fichas de avaliação, a partir dos indicadores de qualidades que foram definidos previamente, é discutida com a comunidade de pesquisadores (coordenadores de pós-graduação) e, inclusive, essa comunidade pode (e deve) pleitear mudanças e ajustes, de modo a estar condizente com as particularidades do desenvolvimento científico de cada uma das subáreas de avaliação – as mudanças são levadas e discutidas no âmbito da CAPES e CTC-ES.

Alguns apontamentos adicionais, sobre as falas e discussões como um todo:

  • O abaixo assinado da ‘tese mínima’ havia obtido APENAS 315 assinaturas;
    • Nenhuma delas de Instituições e houve a tentativa de se conseguir essas assinaturas;
    • A distribuição das assinaturas coletadas foram de 6% coordenadores de pós-graduação3, 61% docentes e pesquisadores, 27% mestrandos e doutorandos – dados mencionados no vídeo da audiência pública (1h38min) – a lista de assinaturas não publicizada;
  • A forma jurídica de ver a ideia de retroatividade é incompatível com a dinamicidade da avaliação do conhecimento científico;
    • Para a ciência e o modelo de avaliação, o que é central é a definição conceitual do indicador e dos critérios;
    • O pensamento jurídico do MPF e a proposta de ‘tese mínima’ requerem a definição inequívoca de formulários e pesos para cada item antes de iniciar o período avaliativo, como a se ciência e o processo científico fossem um jogo de marcar pontos4;
  • O modelo CAPES de avaliação não é um ‘jogo’;
  • O desenvolvimento científico do país NÃO pode ser tratado como um jogo de fazer pontos! Está em questão a capacidade de produzir conhecimento do país e das instituições (assinalando suas potencialidades e corrigindo suas fragilidades), as carreiras dos pesquisadores (atuais e futuros) e a vida dessas pessoas que se dedicam (apesar dos governos) a produzir conhecimento no Brasil – quanto mais tempo mantivermos essa ideia, maior será o tempo êxodo de pesquisadores para o exterior (amplamente chamado também de fuga de cérebros);
  • Utilizar em 2022 os procedimentos usados na avaliação encerrada em 2016 será ‘congelar’ em 6 anos as possibilidades de avanços junto a cada um dos mais 6.900 cursos de pós-graduação, dos mais de 4.600 programas;
    • Será utilizar procedimentos considerados defasados e deslocados dos dados obtidos, via plataforma Sucupira;
    • E quanto mais esse processo se arrastar, maior será o problema de avaliação da quadrienal atual, já que, NÃO temos dados norteadores do estado atual dos periódicos científicos nacionais, por exemplo, o último dado é da avaliação realizada em 2016, 6 anos atrás (3 anos já é uma eternidade em algumas áreas…);
  • Renunciar ao avanço das discussões ocorridas entre 2017 e 2020, no aperfeiçoamento do modelo de avaliação é, isto sim, querer transformar a pós-graduação nacional em ‘jogo de fazer pontos’ e abandonar toda a discussão de avaliação multidimensional desenvolvida nesses anos;
  • Não pode ser aceitável um modelo de avaliação que tenha (ou volte a estabelecer, já que no passado foi assim) os próprios critérios como objetivo final. O objetivo central é, e só pode ser, a Ciência e o desenvolvimento científico e não o mero atendimento à requisitos formais5.

Para deixar bem claro, a ideia de ‘tese mínima’ é simplista e desconectado dos modelos de avaliação de ciência em nível local, regional e global – por mais sedutora que ela possa ser a primeira vista. Ela exclui a dinamicidade dos processos de produção, comunicação, divulgação e avaliação científica, tal qual as comunidades científicas vem discutindo, implementando e rediscutindo, de modo contínuo. Analisar e avaliar a ciência sob uma lente de 4 anos atrás6 é querer ‘fazer ciência’ de qualidade espelhando nas práticas do passado e ignorando as dinâmicas e atualizações do presente e ignorando os caminhos que vão sendo surgindo rumo ao futuro. A ideia de ‘tese mínima’ pode se tornar um marco na estagnação e desvalorização internacional muitos programas, que deixarão de acompanhar a dinâmica de produção e circulação em seu campo científico, para cumprir ‘o jogo de pontos’ defendido – o principal risco talvez seja da própria implosão do sistema de avaliação da CAPES, na medida em que ele deixará de ser relevante para analisar produção e impacto de qualidade7, se descolando das dinâmicas da comunidade científica de fora do país e servindo, de modo quase pro forma, para instrumentalizar uma aparência de qualidade…

Tenho várias críticas ao modelo de avaliação da CAPES, mas neste caso, e em especial no que diz respeito ao Qualis, há um evidente equívoco conceitual sendo mobilizado (talvez até mesmo instrumentalizado) pelos grupos que buscam ‘travar’ o processo da avaliação quadrienal (minhas dúvidas é se são equívocos, má fé ou ignorância – além do fato de pensar a quais PPGs interessa não haver avaliação; e, cada vez mais, acredito que que as associações de área deveriam requerer a entrada no processo em andamento e não deixar a defesa na mão, exclusiva, da AGU).

Palavras finais

O que mais me assusta neste processo é o que acontecerá a medida em que o ecossistema científico nacional começar, para valer, a incorporar as práticas de Ciência Aberta (como as aprovadas pela Unesco) que alteram, até mesmo, o próprio processo de fazer ciência – bastará pensar como os sistema de avaliação de ciência no país pretenderão incorporar a questão da Ciência Aberta em atendimento ao 5° Plano de Ação Nacional em Governo Aberto (com cronograma em andamento, dezembro/2021 a dezembro/2022). Parte considerável da comunidade científica ainda quer fazer ciência se espelhando em meados do século XX, quase ignorando que a dinâmica científica foi afetada significativamente a partir da última década do século XX e isso se acelerou mais ainda nas duas primeiras décadas do século XXI (só pensar a mudança dos periódicos impressos para os digitais, o aumento significativo de diplomados, aumento do número de pós-graduações, aumento e diversificação dos modos de mensuração do impacto das publicações, as novas dinâmicas de comunicação e divulgação científica, o papel das redes sociais e o crescimento do número de periódicos e artigos publicados – isso para ficar em alguns poucos itens).8

Documentos e outros links relevantes para o assunto:

Notas
  1. Um periódico altamente conceituado poderia, por exemplo, cair em desgraça se for provado que ele vem realizado e induzindo más práticas éticas com relação ao processo científico e, com isto, perder relevância simbólico-acadêmica para a comunidade que o utiliza. Ou mesmo os tópicos de pesquisa do foco e escopo não são mais tão relevantes para a comunidade de pesquisa quanto eram 2 anos antes.[↩]
  2. Por exemplo, há 6 anos atrás as humanidades viam como adequado somente o processo de avaliação cega, simples ou dupla, entre os pares. Já atualmente, emergiu o processo de avaliação aberta, inclusive com grande indução por parte do SciELO e das práticas de Ciência Aberta.[↩]
  3. A área de Engenharia de Produção, área do responsável pelo ‘estudo’ e que propôs a ‘tese mínima’ – o ‘estudo’, apesar de ter seu relatório divulgado no final de 2020, não foi submetido à avaliação por pares (pelo menos não publicado até agora) -, possui 53 programas e 6% do total de assinaturas constituiriam um total de 18 assinaturas, ou seja, caso essas assinaturas sejam somente dos coordenadores dessa área, representaria apenas um terço dos programas dessa subárea de avaliação, que está inserida na área de Engenharia III da CAPES, área essa que possui 126 programas, considerando as outras Engenharias.[↩]
  4. Inclusive esse também é o típico pensamento de gestores que acham que todas as pesquisas, necessariamente, darão os resultados previstos inicialmente e que devem ter aplicabilidade. Uma ciência totalmente previsível não avança e requerer um modelo totalmente previsível é, inclusive, não entender o funcionamento da ciência, como a epistemologia e, em especial, a sociologia da ciência vem desvelando desde, pelo menos, o início do século XX).[↩]
  5. Lindsay Waters já apontava isso há quase 20 anos (!), a tomada da universidade pelos administradores burocratas e a avaliação (e distribuição de recursos) definida pelo atendimento de critérios alheios ao processo de produção e circulação de ciência – como ele menciona no Inimigos da esperança, o processo iniciassem no pós-guerra, na discussão sobre critérios de alocação de recursos.[↩]
  6. 6, no caso atual.[↩]
  7. O Qualis, 2013-2016, já está descolado de boa parte (ou mesmo todas) das discussões internacionais sobre periódicos. As discussões ocorridas entre 2018 e 2021 vinham traçando caminhos de modo a torná-lo mais próximo das práticas avaliativas internacionais, mas sem ‘punir’ os periódicos nacionais em uma transição brusca – uma metáfora utilizada mais de uma vez na audiência pública e que foi atribuída a antiga diretora do DAV, Sonia Báo, é que não se dá cavalo de pau em transatlântico.[↩]
  8. Espero estar bem equivocado, mas pelas falas dos procuradores, há uma chance considerável de estarmos assistindo o início do fim do sistema de avaliação dos PPGs.[↩]

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Disclamer

Os textos assinados publicados neste site são de responsabilidade unicamente de seus autores e não expressão, necessariamente, a opinião das instituições aos quais eles são vinculados. Nos casos de dúvidas, entrem em contato com os respectivos autores.

Licenciamento

Licença Creative Commons
Todo o conteúdo do blog está licenciado com uma Licença Creative Commons Atribuição – Não Comercial 4.0 Internacional. Exceto se no texto mencionar uma licença menos restritiva.