Indicadores de pesquisa em rankings podem encobrir distorções

Métricas colocam algumas áreas do conhecimento em desvantagem, mesmo com produção de qualidade

 07/10/2016 - Publicado há 8 anos     Atualizado: 13/10/2016 as 16:44
Por

ranking_texto3

.

Atualizado em 11 de outubro, às 15h

Mesmo utilizando a pesquisa como principal critério para avaliar as universidades – um parâmetro restrito e, à primeira vista, bastante objetivo, afinal é relativamente simples contabilizar artigos e suas citações -, a produção científica pode ser subestimada nos principais rankings internacionais.

Uma variável que indiretamente acaba sendo deixada de fora pelos rankings é a pesquisa em áreas do conhecimento muito fortes da USP, como a agronomia. Ela não possui tanto destaque simplesmente porque as atividades agrícolas pesquisadas têm mais importância em âmbito regional, e não são tão citadas lá fora. “Ou seja, produzimos conhecimento novo, criando novas técnicas e tecnologias agrícolas, e geramos impacto na sociedade até para quem está lá na ponta, que é o produtor. Mas como a temática não é internacionalmente interessante, as bases de dados não a valorizam”, lamenta Anderson Santana, chefe da Divisão de Gestão de Projetos do Departamento Técnico do Sistema Integrado de Bibliotecas (SIBi) da USP.
.

Base de dados de análise de produção científica em análise no SIBi -USP - Foto: Cecília Bastos/USP Imagens
O bibliotecário do SIBi, Anderson Santana, analisa a produção científica da USP em bases de dados – Foto: Cecília Bastos/USP Imagens

.
Em seu estudo de mestrado, apresentado no Instituto de Relações Internacionais (IRI) da USP em 2015, Justin Hugo Axel-Berg discute a eficiência das avaliações dos rankings ao argumentar a dificuldade de se elaborar um sistema que avalie áreas do conhecimento de forma justa. “Toda disciplina tem uma taxa de citação diferente e uma produção diferente que é normalizada pelo Information Sciences Institute (ISI)”, explica. “Rankings aglomeram isso em uma pontuação só, sem atentar para a diversidade institucional”, afirma.

Segundo o pesquisador, essas taxas de citação são tratadas em três eixos: o índice immediacy, ou seja, a rapidez com que um artigo passa a ser citado; o índice half life, que analisa o tempo em que um artigo recebe a metade das suas citações; e seu fator de impacto. Tais eixos pressupõem uma distribuição “normal” de citações e, consequentemente, um modelo científico linear. “Isso não descreve muito bem a evolução de muitas ciências sociais e humanidades”, reforça o especialista.

.

.
.

Marco Antonio Zago - Foto: Cecília Bastos/USP Imagens

Eu sempre digo que se a agropecuária vai bem no Brasil, suas bases, em grande parte, foram desenvolvidas na Universidade de São Paulo. E se dizem que é a Embrapa, eu respondo: mas quem formou os pesquisadores da Embrapa, em grande parte, foi a USP.

Marco Antonio Zago, reitor da USP – Foto: Cecília Bastos/USP Imagens

.

Justin Axel-Berg - Foto: Carolina Tiemi / Jornal do Campus
Justin Axel-Berg: rankings não consideram diversidade institucional – Foto: Carolina Tiemi / Jornal do Campus

As humanidades são um capítulo à parte, literalmente. Os rankings não são bons indicadores para áreas que historicamente não produzem ciência da forma como eles entendem a ciência, que são os artigos. “As Ciências Humanas são um campo de conhecimento em que a publicação de livros e capítulos de livros tem uma grande importância, mas até agora isso não era valorizado nos rankings”, aponta Anderson Santana. Inclusive, há uma grande quantidade de revistas sendo criadas na área de humanas, muitas na própria USP, entre outros motivos, porque os livros não eram considerados relevantes como produção científica.

O tempo que leva para uma pesquisa de humanas ser feita, e um texto produzido, também é muito maior que para as áreas de exatas e biológicas. “Há pesquisadores de biológicas que produzem um artigo por mês – isso não existe na área de humanas, que envolve mais reflexão. Se um artigo de biológicas demora cinco anos para atingir o ápice em citações, um da área de humanas talvez demore dez, porque tem um tempo maior de maturação”, explica o bibliotecário.

Para Axel-Berg, usar a taxa de citação como os rankings almejam requer uma metalinguagem universal dentro de cada disciplina. “Na minha área, de Relações Internacionais, por exemplo, temos um ‘mainstream‘ geralmente relacionado aos interesses dos Estados Unidos, de segurança etc., e uma alternativa, que reúne muitas áreas de alta relevância ao Hemisfério Sul, mas atrai poucas citações”, avalia.
.

As dez áreas mais citadas da USP 

Levantamento dos últimos dez anos realizado na plataforma InCites, a partir da produção registrada na Web of Science

ranking_10_areas

 

Esse nível de análise bibliométrica, de acordo com o especialista, pode revelar muito sobre o desempenho de artigos publicados, mas, da forma como é utilizado pelos rankings, desvenda muito pouco sobre a real relevância e qualidade das pesquisas.

Medicina tropical, que é outro ponto forte da USP, não consegue ganhar o mundo, a menos em casos excepcionais, como a epidemia recente de zika que gerou preocupação também fora das nossas fronteiras. Aqui também começa a ocorrer por parte dos rankings uma ampliação de escopo para abranger esses campos do conhecimento mas, novamente, incipiente.

O pró-reitor de Pesquisa, José Eduardo Krieger, lembra que a excelência que os rankings querem refletir, em geral, está associada a uma categoria de instituição específica: as universidades de pesquisa. Muito embora a USP concentre quase um quarto de toda a produção científica do País, ela não entra nesse grupo seleto. “Somos muito grandes, com uma atuação diversificada, em várias áreas do conhecimento, e as universidades de pesquisa são muito focadas”, observa. “Para ter áreas de excelência, estando em um país periférico, com nível de investimento em pesquisa diferente de países como os da América do Norte e da Europa, o esforço é muito maior. E mesmo assim, nós temos áreas de excelência”, afirma.

José Eduardo KriegerJosé Eduardo Krieger, pró-reitor de Pesquisa da USP – Foto: Cecília Bastos/USP Imagens

 

 …

Diga-me com quem colaboras…

Os parceiros com quem os pesquisadores de uma universidade escrevem seus artigos fazem muita diferença para os rankings. Quem tem uma rede forte e publica apenas junto de autores de Harvard e Stanford terá muitas citações. Mas fica a pergunta: o que aquele pesquisador está gerando de ciência internamente? “Precisamos da colaboração internacional, mas, como universidade, não podemos viver apenas dela – temos que criar conhecimento novo também aqui dentro”, opina Anderson Santana.

E mesmo quem produz ciência de ponta, em colaboração com os principais grupos mundiais, pode ficar de fora do bolo. Os pesquisadores da USP têm muitos artigos publicados em grandes redes de colaboração, como, por exemplo, a Organização Europeia para a Pesquisa Nuclear (Cern). O ranking THE, porém, passou a não contabilizar artigos com mais de mil autores.

Mil autores? Projetos gigantes como o Genoma Humano, por exemplo, podem originar artigos de até 3 mil autores. Mas, embora todos conheçamos a relevância do Genoma – pesquisa internacional para sequenciar e mapear todos os genes dos seres humanos -, esses artigos não seriam levados em conta para efeitos de ranking. “Artigos de revisão também, que normalmente são os que têm mais citações, não são considerados, e algumas universidades têm pesquisadores excelentes fazendo revisões”, acrescenta Elisabeth Adriana Dudziak, do Departamento Técnico do SIBi.
.

Ciência da USP não é produzida apenas por professores

Marisilvia Donadelli, segunda pesquisadora mais citada, é pós-doutoranda e pesquisadora associada do IF USP - Foto: Cecília Bastos/USP Imagens
Marisilvia Donadelli, segunda pesquisadora mais citada da USP, é pós-doutoranda e pesquisadora associada do Instituto de Física – Foto: Cecília Bastos/USP Imagens

.
Uma busca utilizando a ferramenta InCites, da Thomson Reuters, mostra que de 2006 a 2016, os dois pesquisadores mais citados da USP não integram o corpo docente da Universidade.

O levantamento foi feito pelo Sistema Integrado de Bibliotecas da USP, que alerta que os dados não mostram com exatidão a produção da Universidade, não só porque pode haver inconsistências de nomes, como porque a base de dados utilizada, a Web of Science, não representa a totalidade da produção da USP. A busca foi feita no final de setembro.

Marco Aurélio Lisboa Leite, que ocupa a primeira posição nessa lista, é especialista de laboratório no Instituto de Física, onde coordena a colaboração da USP com o experimento Atlas do acelerador de partículas LHC, da Organização Europeia para a Pesquisa Nuclear, conhecida como Cern.  No período pesquisado, Leite teve 581 trabalhos publicados e indexados na base de dados Web of Science. O segundo pesquisador mais citado também vem da física: Marisilvia Donadelli trabalha na equipe de Leite e é pós-doutoranda no Instituto. No mesmo período, teve 571 trabalhos publicados.

Os dois cientistas apontam a colaboração como aspecto fundamental no trabalho que desenvolvem. A física de altas energias exige simulações e experimentos de grande porte, como o LHC, para tentar compreender as partículas fundamentais que compõem o Universo. “Isso não é resultado de um esforço individual, mas colaborativo. Em toda a cadeia há vários detalhes que exigem um número enorme de pessoas para fazer, não é um tipo de ciência que se faz isoladamente”, afirma Leite.

Marisilvia explica que o processo de publicação de um artigo inclui a colaboração toda, desde a instrumentação e operação do detector até a coleta e análise de dados. Para se ter uma ideia, apenas o experimento Atlas envolve cerca 3 mil pesquisadores. “Quando você olha as dimensões desse e dos outros detectores você vê que é uma obra de engenharia fenomenal, um aparato experimental que exige muita gente trabalhando”.

.

Os sem Nobel

Para o professor Guilherme Ary Plonski, vice-diretor do Instituto de Estudos Avançados (IEA) da USP, todos esses fatores demonstram que as classificações propostas pelos rankings não são apenas técnicas e muito menos neutras; elas são dispositivos sociais que refletem modelos específicos de universidade. Isso gera dificuldades severas à ascensão de instituições de regiões acadêmicas periféricas, como a América Latina. “30% dos pontos no ARWU [Academic Ranking of World Universities, o ranking de Shanghai] são atribuídos por um critério: graduados e servidores da universidade que foram contemplados com o Prêmio Nobel ou a medalha Fields (de Matemática)”, exemplifica, ao comentar que isso tem gerado uma pitoresca competição entre universidades pela “posse” de laureados, o que os faz  atuar em várias instituições ao longo da vida, por vezes simultaneamente em mais de uma.

Vale lembrar ainda que já temos grandes cientistas premiados entre nós. Paulo Artaxo, o nosso pesquisador mais laureado, foi reconhecido mundialmente com premiações entre as mais importantes da área de física. Mas a USP aparece nos rankings como “zero laureados”, porque só o Nobel é considerado.
.

ranking_premio_nobel1

Medalha de ouro com a efígie de Alfred Nobel, concedida aos premiados

Paulo Artaxo: excelência fora da conta

Professor do Instituto de Física da USP, Artaxo é referência internacional em sua área: estuda, a partir da física, os problemas ambientais, principalmente a questão das mudanças climáticas. O pesquisador está na lista dos cientistas mais influentes do mundo, divulgada pela Thomson Reuters no início deste ano, e esteve também no time que contribuiu para o relatório do Painel Intergovernamental de Mudanças Climáticas da ONU que, em 2007, foi um dos ganhadores do Nobel da Paz.

Conheça alguns dos prêmios já conquistados pelo físico:

ranking_paulo_artaxo4

 

 

Colaboraram: Aline Naoe, Denis Pacheco e Hérika Dias

Esta reportagem integra a série O lugar da USP no mundo, que será publicada no Jornal da USP Especial em outubro

Leia mais:
Rankings oferecem retrato importante, mas incompleto da Universidade
A difícil tarefa de avaliar a qualidade do ensino superior

Política de uso 
A reprodução de matérias e fotografias é livre mediante a citação do Jornal da USP e do autor. No caso dos arquivos de áudio, deverão constar dos créditos a Rádio USP e, em sendo explicitados, os autores. Para uso de arquivos de vídeo, esses créditos deverão mencionar a TV USP e, caso estejam explicitados, os autores. Fotos devem ser creditadas como USP Imagens e o nome do fotógrafo.