Nas unidades, as discussões sobre as dimensões gestão, graduação, pós-graduação, pesquisa, cultura e extensão universitária e seus eixos integrativos têm sido muito proveitosas e frutíferas. Este ciclo foi desencadeado pela autoavaliação realizada em diferentes níveis. Como exemplo das questões que balizaram o processo, o item 3.5 do Formulário de Orientação para o Relatório de Avaliação da Unidade (2018-2022) da USP propõe a seguinte reflexão:
Discuta como a Unidade se avalia em relação a instituições nacionais e do exterior congêneres, em termos da atuação nas suas atividades-fim. Descreva as iniciativas da Unidade visando ampliar a visibilidade institucional nos rankings nacionais e internacionais (por exemplo: THE, QS, RUF).
Responder para onde queremos ir parece, paradoxalmente, mais fácil do que dizer onde estamos. De fato, as iniciativas para melhorar o desempenho nas atividades-fim – ensino, pesquisa e extensão – foram exploradas em diferentes contextos ao longo do formulário e indicam como a unidade espera contribuir para ampliar a visibilidade da USP nos rankings. Por outro lado, a avaliação relativa às congêneres nacionais e do exterior não é tão simples. Os principais rankings internacionais apresentam a classificação da instituição e, em alguns casos, de disciplinas específicas ou grandes áreas do conhecimento, de forma que há apenas algumas pistas sobre o desempenho de uma dada unidade universitária ou departamento.
O desempenho da USP nos rankings internacionais é acompanhado pelo Escritório de Gestão de Indicadores de Desempenho Acadêmico, Egida, e compilados aqui. Nas edições mais recentes, a USP ocupa a faixa entre 201-250ª posições no Times Higher Education Rankings, o 85º lugar no Quacquarelli Symonds (QS) World University Rankings e está entre as 101-150ª melhores instituições no Academic Ranking of World Universities (ARWU), também conhecido como Shanghai Ranking. Numa classificação mais específica feita pela consultoria QS, a USP conta com 12 cursos entre os 50 melhores do mundo e a área de Química da USP ocupa a 90ª posição.
Apesar da grande variedade de critérios e recortes dos muitos rankings disponíveis, a pergunta sobre a situação da unidade frente a outras na sua área não tem resposta fácil. Em outras palavras, as informações disponíveis nessas classificações internacionais pouco dizem sobre o desempenho específico do Instituto de Química e do Instituto de Química de São Carlos, tampouco sobre outros departamentos e unidades da USP que também atuam no campo da química e contribuem para a produção científica na área. Métricas, preferencialmente simples, que permitam a comparação entre grupos de pesquisadores, departamentos e unidades universitárias são necessárias.
A tabela que segue compila o número de autores ou pesquisadores, de artigos, de citações e das razões artigos/pesquisador e citações/artigo para a USP, o Instituto de Química de São Carlos (IQSC) da USP e para os dois departamentos do IQSC: Departamento de Química e Física Molecular (DQFM) e Departamento de Físico-Química (DFQ). A produção bibliográfica é dada para dois conjuntos distintos: a área de química e geral, que envolve todas as áreas classificadas pela base dados (All subject areas). Esta inclui desde a área de medicina (com 32,4% dos artigos) até as áreas de engenharia química (3,5%) e química (6,9%), por exemplo. Para a produção da USP, aparecem listados todos os autores afiliados à Universidade, incluindo professores, pesquisadores, pós-graduandos etc.; para o IQSC, o conjunto pesquisado foi delimitado aos docentes que estão ou estiveram afiliados ao Instituto no referido período da compilação. Os dados foram obtidos na base de dados internacional Elsevier-SciVal, e o intervalo considerado foi entre 2017 e 2021, com dados atualizados até 7 de dezembro de 2022.
Tomando todas as áreas, os números de artigos publicados, por pesquisador e por ano são: 4,0, 3,7 e 4,6 para o IQSC, DQFM e DFQ, respectivamente. Para a USP, conforme já detalhado, a produção foi coletada pela instituição e o número de autores supera, por óbvio, em muito o número de docentes. Utilizando números disponíveis no anuário estatístico da USP (5.190 docentes em 2021, com dados processados em maio de 2022 no sistema Marte), chega-se a 3,2 artigos por docente, por ano. Duas ressalvas devem ser feitas a essa estimativa da produção por docente da USP:
(a) considera apenas publicações da referida base e
(b) o número de docentes utilizado exclui os que deixaram a USP no período.
Quanto às citações por artigo, os números são bastante similares nos dois conjuntos de dados, i.e., geral e química, para a USP e o IQSC, sendo os deste ligeiramente superiores aos daquela. Em relação aos departamentos, o número de citações por artigo é maior para o DFQ, em ambos os conjuntos avaliados.
Um parâmetro utilizado frequentemente para comparar diferentes áreas do conhecimento é o Field-weighted citation impact (FWCI) ou Impacto de citação ponderado pela área de conhecimento.
O FWCI é utilizado pela base de dados Elsevier-SciVal e tem como fonte de dados o Scopus e o Science Direct. Em cada área ou disciplina, calcula-se o número médio de citações, de forma que o impacto das publicações é normalizado com respeito a essa média, num certo intervalo de tempo. Assim, para uma certa publicação, um FWCI maior que 1 indica que esta foi mais citada que a média mundial da área em que está incluída. Portanto, um FWCI igual a 1,72 indica que uma publicação recebeu 72% mais citações que a média mundial na sua área e em um certo intervalo de tempo; e um FWCI igual a 0,55 revela que a referida publicação foi citada 45% menos que a média mundial. O FWCI é utilizado em várias comparações internacionais e rankings universitários, como o World University Rankings da Times Higher Education.
A figura a seguir apresenta os FWCI para a USP, o IQSC-USP e para os seus dois departamentos, DQFM/IQSC/USP e DFQ/IQSC/USP. Globalmente, a produção científica da Universidade de São Paulo recebeu 15% mais citações que a média mundial; já os artigos da área de química foram um pouco menos citados. Os dados do IQSC revelam menores FWCI na produção geral quando comparados à USP. Entre os departamentos, o impacto da produção científica do DFQ é consideravelmente superior ao do DQFM, nos dois conjuntos identificados.
O IQSC-USP ocupa uma posição de prestígio no cenário nacional, com grande destaque no ensino de graduação e pós-graduação, pesquisa, internacionalização e formação de capital humano. Um exemplo da tradição em pós-graduação e pesquisa, pois, no Brasil, muito assentada na pós-graduação, está na avaliação Capes: o então programa de Físico-química do IQSC foi o único avaliado com a nota máxima, 7, na primeira avaliação realizadas nesses moldes. Desde a unificação dos dois programas existentes à época, o Programa de Pós-Graduação em Química do IQSC é classificado ininterruptamente com a nota 7.
Na comparação internacional aqui apresentada, o impacto da pesquisa realizada no IQSC está abaixo da média mundial. Na avaliação interna, um dos seus dois departamentos, o DFQ, apresenta mais publicações por docente, mais citações por artigo e um maior impacto, medido pelo FWCI. Uma possível meta a ser traçada seria, por exemplo, alcançar um FWCI >1 na área de química, além de, eventualmente, dirimir as assimetrias notadas entre os dois departamentos, principalmente por meio de troca de experiências e fomento de um ambiente de colaboração e crescimento mútuo.
Os parâmetros discutidos posicionam a produção científica do IQSC-USP no cenário internacional e, de certa forma, ajudam a responder a algumas questões apresentadas no formulário de autoavaliação enviado pela administração central da Universidade às unidades. A apresentação dessa quantificação e análise tentativa da produção científica redundará em um amplo debate na unidade com vistas ao planejamento de possíveis ações para a melhoria nesses indicadores. O acompanhamento e prestação de contas em diferentes níveis são contínuos e perpassam todas as etapas do processo avaliativo. Para além dessa fotografia, os parâmetros aqui mencionados estão sendo continuamente acompanhados e novas comparações e análises serão disponibilizadas em breve. Medir e analisar o desempenho, planejar, acompanhar e prestar contas à sociedade são tarefas essenciais e devem estar na ordem do dia das lideranças universitárias, assim como da administração central da Universidade. Que o exemplo ilustrado aqui, específico para a produção científica, gere discussões e propostas que permitam situar as unidades universitárias frentes às congêneres nas várias dimensões envolvendo as atividades-fim da instituição.
Agradecimento: Registro o meu agradecimento à diligente equipe da Biblioteca do IQSC-USP pela compilação dos dados apresentados: Sra. Clelia J. K. Dimário (Bibliotecária, chefia), Sra. Bernadete L. C. B. Figueiredo Filho (Técnica para assuntos administrativos), Sra. Cibele C. David Baldan Del Cura (Auxiliar administrativa) e Sra. Eliana de C. Aquareli Cordeiro (Bibliotecária).
________________
(As opiniões expressas nos artigos publicados no Jornal da USP são de inteira responsabilidade de seus autores e não refletem opiniões do veículo nem posições institucionais da Universidade de São Paulo. Acesse aqui nossos parâmetros editoriais para artigos de opinião.)
