Blog

.
Pesquisa indica descompasso entre as métricas de avaliação do sistema Qualis Capes e os principais indicadores internacionais de produção científica – Scimago Journal Rank (SJR), Source Normalized Impact per Paper (SNIP), H-index e Google Scholar Metrics -, no campo da ciência política. O assunto é relevante no meio científico porque o ranking baliza o governo na alocação de recursos financeiros destinados ao ensino superior. Quanto mais bem avaliado pelo Qualis Capes, maiores as chances de captação de verba e aquisição de bolsas de estudo para pesquisa. Um artigo sobre o tema, Expert-driven and citational approaches to assessing journal publications of Brazilian political scientists, foi publicado na revista Brazilian Political Science Review.

Segundo uma das autoras, Lorena Barberia, professora do Departamento de Ciência Política da Faculdade de Filosofia, Letras e Ciências Humanas (FFLCH) da USP, “a pesquisa mostrou que há evidências de que os critérios adotados pelo Qualis Capes, da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes), para sinalizar revistas acadêmicas de maior qualidade, não correspondem aos critérios utilizados pelos indicadores internacionais para mensurar os periódicos que produzem resultados científicos com maior impacto em termos de citações na academia internacional”, explica.

Os pesquisadores também encontraram fraca correlação quando foi comparada a classificação adotada pela Capes, que é fundamentada na opinião de especialistas da área, com indicadores internacionais de produção científica, que partem do número de citações como fundamento. Ou seja, “há revistas com impacto muito importante na disciplina de ciência política mundial que são pouco valorizadas pelo critério Qualis. E há também revistas de ciência política com pouca penetração mundial, que são consideradas de alta qualidade pela Capes”, afirma Danilo Praxedes Barboza, outro pesquisador envolvido no estudo e doutorando no Departamento de Ciência Política da USP.

No quadro abaixo, seguem dois exemplos de avaliações discrepantes feitas pela Capes e pelo indicador internacional Scimago Journal Rank (SJR). Entre os anos de 2010 e 2016, pela mensuração do SJR, o Journal of International Relations & Development teve pequeno aumento em seu fator de impacto. Já o Qualis Capes, no mesmo período, elevou o periódico da pior categoria, a “C”, para a melhor, a “A1”. Também teve exemplo contrário: a revista Cultures et Conflicts teve aumento no fator de impacto no indicador internacional, mas foi rebaixado no Qualis.

Devido a essas distorções, os pesquisadores procuraram entender quais eram os fatores que a Capes levava em consideração para avaliar suas publicações. Para tanto, empregaram um modelo estatístico multivariado utilizando a técnica de regressão logística ordenada. Os resultados desses testes estatísticos indicaram que o fator mais importante que justificava a classificação foi a própria posição da revista na classificação do triênio anterior. O que implica dizer que as revistas com boa colocação na avaliação anterior do Qualis tendem a se manter na posição das classificações subsequentes, avalia Barboza. Os demais fatores – país de origem, língua, área de conhecimento e a posição nos indicadores internacionais de qualidade e impacto da produção científica – não se mostraram fundamentais para entender a classificação atual do indicador do Qualis.

Os resultados ainda mostraram que entre 2010 e 2014 houve aumento de revistas nacionais, publicadas em português, com classificação Qualis nos maiores estratos. No período 2010-2012, 5,4% dos periódicos nacionais estavam no estrato “A1” e no período 2013-2014, esse porcentual passou para 20,6%. Porém, o aumento na classificação Qualis não correspondeu às revistas que aumentaram seus indicadores de citação em indicadores internacionais. Ou seja, o sistema de avaliação adotado para a produção científica brasileira em ciência política não premiou necessariamente as revistas que tinham melhorado seus fatores de impacto.

Segundo Lorena, a falta de coerência entre indicadores nacionais e internacionais pode ser um alerta para o governo, que tem o sistema Qualis como referência para definição de políticas públicas e distribuição de recursos financeiros para os programas de pós graduação. “As pesquisas publicadas em revistas avaliadas pelo Qualis Capes como sendo de excelência podem não ter o mesmo impacto internacional”, conclui.

Este estudo foi feito com recorte no campo de ciências políticas, porém o grupo de pesquisa está expandindo o escopo para outras áreas do conhecimento. Alguns dados preliminares já indicam que o padrão de avaliação do sistema Capes também se repete para outras áreas.

Mais informações: e-mail lorenabarberia@usp.br, com Lorena Barberia ; e email danilopbarboza@hotmail.com, com Danilo Barboza. Além de Lorena e Danilo, o artigo Expert-Driven and Citational Approaches to Assessing Journal Publications of Brazilian Political Scientists também foi assinado por Samuel Ralize Godoy.