Adicionalmente, nossas instituições de pesquisa e, no Brasil, fundamentalmente as universidades públicas, necessitam contratar seus pesquisadores (nas universidades, por consequência, seus professores) usando a mesma lógica. Primeiro porque os institutos de pesquisa e as universidades públicas são financiadas pelo Estado, com recursos de impostos, e, portanto, têm o dever de dar retorno à sociedade que os financia; segundo porque frequentemente o orçamento para investimento em pesquisa é obtido de agências de fomento e contratar pesquisadores que possam ser bem avaliados é um imperativo.
Isto demonstra que alguma forma de avaliação é necessária na ciência. O ideal é que isto seja feito de forma qualitativa, mas avaliação qualitativa é difícil. O autor ingressou no ambiente acadêmico em 1985, ainda como técnico, e, portanto, presenciou o “qualitativo” nas agências de fomento nacionais naquela época: meu amigo consegue, meu inimigo não. Muito se critica no suposto produtivismo da ciência (contagem de papers), mas certamente um critério quantitativo e transparente é preferível ao subjetivismo dos detentores de poder, incapazes de fazer uma real análise qualitativa. Isto não nos exime, naturalmente, de buscar métodos transparentes e talvez objetivos para realizar uma análise qualitativa e há alguns movimentos nesta direção, como veremos. Dentre os critérios quantitativos mais evidentes está a publicação de artigos científicos em periódicos consagrados pela comunidade.
É importante ressaltar que publicar resultados é essencial. Como o autor diz a seus orientados, não fazemos ciência para nosso engrandecimento pessoal, fazemos para a sociedade e a forma como este conhecimento é compartilhado é por meio de publicações. O meio de publicação pode variar, mas a ciência moderna criou um complexo sistema de periódicos com análise de revisão por pares (peer review) mantido na maioria por editoras comerciais e pelo trabalho voluntário e não remunerado dos próprios pesquisadores, que atuam como avaliadores anônimos para os mesmos periódicos. Entre as línguas utilizadas, predomina no momento, como língua franca da ciência no mundo, o inglês. Isto não é crítico, outras línguas já tiveram esse papel, o latim, o francês, em algumas áreas até o alemão, no mundo moderno é o inglês e no futuro, quiçá, será o mandarim.
Evidentemente há distorções. É corrente a prática de multiplicar o número de artigos “fatiando” resultados em diferentes publicações (prática conhecida jocosamente na comunidade como “ciência salame”). Em áreas realmente competitivas, a necessidade de produzir maior número de artigos em menos tempo leva à prática de republicação de partes idênticas em diferentes artigos (muito comuns em seções de metodologia), o que já foi confundido no Brasil com plágio (mesmo sendo igualmente antiético, isto é, republicação de resultados próprios). Mais recentemente o advento de máquinas eficientes de inteligência artificial (IA) ameaçam o sistema de pesquisa tornando mais rápida a produção de seções de “Introdução”, por exemplo. Normalmente autores que lançam mão dessas práticas são conhecidos e desprezados pela comunidade, mas o incauto pode ser ainda influenciado por uma longa lista de artigos publicados.
Pode-se sofisticar a análise quantitativa usando algum outro indicador de “qualidade” dos artigos publicados. O fator mais considerado é o número de citações que aquele artigo recebeu ou receberá. Mesmo este tipo de critério tem problemas. Um artigo é citado quando alguém mais trabalha no mesmo assunto ou em assunto semelhante. Em disciplinas de ciências exatas e tecnológicas isto é corrente. Colegas das ciências humanas, principalmente em áreas mais fundamentais, criticam essa abordagem. Segundo alguns deles, os assuntos que pesquisam podem ser muito específicos e é improvável que mais alguém no mundo vá pesquisar algo semelhante, mesmo assim o artigo pode ser relevante, no sentido de ser a única referência sobre aquele assunto, portanto ele será lido. Esses pesquisadores costumam publicar livros também, e livros são notoriamente difíceis de serem citados. É claro que também aqui há desvios, como as práticas de autocitação, citações cruzadas (dois autores citam-se mutuamente sem necessidade) e, naturalmente, um artigo pode ser muito bem citado simplesmente porque está errado. Não se trata de abolir a autocitação, citar seus próprios trabalhos é indicação de uma linha de pesquisa coerente, que vai sendo desenvolvida ao longo dos anos. O que se critica é a autocitação desnecessária e injustificável.
O fato é que avaliação de pesquisa é um processo complexo, multidimensional. Jorge Hirsch, no artigo em que introduz o “índice h”, explicitamente alerta:
There are, however, a number of caveats that should be kept in mind. Obviously a single number can never give more than a rough approximation of an individual’s multifaceted profile, and many other factors should be considered in evaluating an individual.
Tradução: Existe, entretanto, uma advertência de que se deve estar ciente. Obviamente um único número nunca dá mais que uma aproximação grosseira do perfil mutifacetado de um indivíduo e muitos outros fatores deveriam ser considerado em sua avaliação.
A USP como instituição aderiu à declaração de São Francisco sobre o uso de métricas responsáveis (DORA) e deve, portanto, priorizar uma avaliação qualitativa e informada da pesquisa para fins como concursos e promoções.
Este alerta é particularmente importante no contexto deste artigo tendo em vista que Hirsch introduz o índice h como uma forma de avaliar qualitativamente a produção acadêmica de um autor. Mesmo neste caso pode-se observar desvios e o índice h pode ser manipulado e aumentado artificialmente. Um determinado autor pode decidir citar um de seus artigos em um trabalho porque percebe que aquela citação irá aumentar seu índice h. O próprio Hirsch reconhece que o índice h tem uma tendência intrínseca de crescimento, o que favorece pesquisadores mais antigos em detrimento dos mais novos. Outro problema é que artigos muito relevantes, que certamente serão muito citados, demorarão um tempo que pode ser considerável para afetar o índice h do autor, principalmente para autores que já têm um índice h elevado.
Tudo o que foi exposto mostra que realizar uma avaliação de pesquisa é um processo extremamente complexo e multidimensional. Como escreveu Hirsch, não é possível avaliar um pesquisador com apenas um número, o autor vai além, também não é possível avaliar com dez números. Há presentemente ferramentas sofisticadas que permitem uma avaliação mais informada. Máquinas de busca comerciais como o banco de dados Scopus, por exemplo, provêm ferramentas que permitem essa análise. Esses bancos de dados são comerciais, e, portanto, atendem a interesses econômicos muitas vezes relacionados a editoras que monopolizam o mercado editorial, mas, como eles são suficientemente amplos, permitem uma análise isenta.
Além disso, essa discussão interessa também ao indivíduo que se submeterá à avaliação. Um colaborador frequente do presente autor recebeu um conselho de um pesquisador no exterior, que considera fundamental que se busque publicar artigos nas revistas de maior fator de impacto na nossa área. O presente autor considera diferentemente, que as revistas devem ser escolhidas principalmente pelo seu público leitor. Naturalmente publicar em revistas de alto fator de impacto multiplica a probabilidade de citação, mas isto não significa necessariamente que este artigo será mais relevante que um artigo publicado em uma revista de menor fator de impacto, mas que é lida frequentemente pela comunidade que pesquisa aquele assunto e que tem os revisores que atuam naquela área de pesquisa.
Avaliação de pesquisa é um aspecto muito complexo e, apesar de necessária, deve ser feita com cuidado. Obviamente alguma dimensão qualitativa é necessária. Agências de fomento já perceberam isto; a Fapesp, por exemplo, requer uma súmula curricular em que o próprio autor lista os dez itens de produção científica mais relevantes para aquele projeto. O CNPq, no banco de dados Lattes, permite identificar as cinco produções mais relevantes do pesquisador. Apesar do aspecto qualitativo dessas iniciativas, ainda é insuficiente, pois não há espaço para o pesquisador explicar por que considera aqueles artigos os mais relevantes. Existem ferramentas que permitem fazer isso, o autor usa o portal Kudos, que permite explicar em linguagem simples o que é tratado no artigo e até dar um depoimento sobre o papel dos coautores. Infelizmente não há ferramenta para fazer isso em português.
Para finalizar, gostaria de exemplificar o papel que uma boa avaliação de pesquisa pode ter para facilitar o trabalho do gestor. O presente autor é atualmente o vice-presidente da Comissão de Pós-Graduação da Escola Politécnica e, neste papel, foi encarregado pelo presidente de fornecer os subsídios para elaboração do relatório de avaliação institucional da unidade neste eixo. O trabalho foi consideravelmente facilitado por uma análise detalhada feita pela sra. Manuela Gea Cabrera Reis, funcionária da Divisão de Bibliotecas da Escola Politécnica, usando a ferramenta SciVal do portal Scopus, da produção científica dos orientadores dos doze programas de pós-graduação da Escola Politécnica. A análise foi tão completa que permitiu ao autor preparar um diagnóstico da pós-graduação na escola, que foi apresentado tanto à própria Comissão de Pós-Graduação, quanto à Congregação. Desta análise eu extraio a figura a seguir.
A figura apresenta a distribuição dos artigos publicados pelos orientadores dos doze programas da Escola Politécnica no período de 2018 a 2022. Os artigos são classificados de acordo com a área dominante de pesquisa, usando um critério de classificação próprio do portal, que determina cor e posição dos círculos. O tamanho dos círculos representa a quantidade.
Esta figura é tão impactante que o autor defende que seja usada como distintivo de mérito pela Escola Politécnica. O autor está convencido de que apenas as melhores escolas de engenharia do mundo conseguem apresentar uma variedade tão grande de produção científica. O curioso é que quando se analisa a produção dos programas individuais, isto não aparece. Alguns são fortes em disciplinas básicas da engenharia, outros são fortes em áreas mais fundamentais, como física ou matemática. Há aqueles que são fortes em áreas de administração e economia. É apenas quando se observa a produção conjunta que surge a variedade. Naturalmente isto não era evidente antes e levou a atual gestão da Comissão de Pós-Graduação a promover uma iniciativa de cooperação entre programas, que certamente trará resultados.
O autor agradece aos colegas professores Bruno Gualano e Rogério de Almeida, que fizeram uma leitura crítica deste artigo dando sugestões que muito contribuíram para a melhoria da sua qualidade.
________________
(As opiniões expressas nos artigos publicados no Jornal da USP são de inteira responsabilidade de seus autores e não refletem opiniões do veículo nem posições institucionais da Universidade de São Paulo. Acesse aqui nossos parâmetros editoriais para artigos de opinião.)
