USP, Unesp e Unicamp reavaliam seus indicadores de desempenho institucional

Objetivo é aprimorar métricas, estabelecer metas e melhorar inserção nas comparações internacionais

 08/12/2017 - Publicado há 6 anos
Praça do Relógio, no campus Cidade Universitária, com o prédio da Reitoria da USP ao fundo – Foto: Marcos Santos – Banco de Imagens USP

As três universidades públicas estaduais paulistas – USP, Unicamp e Unesp – começam a rever seus sistemas de avaliação de desempenho com o objetivo de aprimorar métricas, estabelecer metas e, adicionalmente, melhorar sua inserção nas comparações internacionais.

A iniciativa é financiada pela Fapesp, no âmbito do projeto Indicadores de desempenho nas universidades estaduais paulistas, vinculado ao Programa Pesquisa em Políticas Públicas. Liderado por Jacques Marcovitch e pelo Conselho de Reitores das Universidades Estaduais Paulistas (Cruesp), o projeto tem como parceira a Secretaria de Desenvolvimento Econômico, Ciência e Tecnologia do Estado de São Paulo.

A avaliação e as propostas de reformulação de indicadores, a serem conduzidas ao longo de dois anos, terão como parâmetro os critérios de mensuração de desempenho acadêmico utilizados em rankings internacionais como o Times Higher Education (THE), QS World University Rankings, Academic Ranking of World Universities (ARWU), entre outros. “A ideia é apreender os fatores comuns a esses rankings, utilizá-los como referência e identificar indicadores relevantes que permitam estabelecer interfaces convergentes entre avaliações nacionais e internacionais”, afirmou Marcovitch.

A estratégia e o cronograma do trabalho foram estabelecidos em workshop realizado na Fapesp que reuniu, em 22 de novembro, representantes das três universidades públicas paulistas e pesquisadores associados ao projeto, com o presidente da Fapesp, José Goldemberg, e o diretor científico da Fundação, Carlos Henrique de Brito Cruz.

No encontro, foram definidos temas que estarão em pauta em workshop a ser realizado em março de 2018, que subsidiarão a análise do “estado da arte” dos sistemas de avaliação de desempenho de cada uma das três universidades e que serão reunidos em publicação. Nesse mesmo encontro serão apresentadas propostas de implementação de conjuntos de indicadores legíveis por máquina, de forma a possibilitar a garimpagem de dados, adiantou Marcovitch. O resultado do trabalho – a proposta de reformulação de indicadores propriamente dita – será apresentado em workshop agendado para março de 2019.

“Os rankings são uma forma complementar de as universidades prestarem contas à sociedade e é bom que esses números sejam rigorosos”, enfatizou Marcovitch.

O grande desafio, ele completou, é migrar de uma cultura de anuário estatístico – “que registra o passado” – para a de “unidade de inteligência” que capta em tempo real informações de várias fontes, como o currículo Lattes, por exemplo, e alimenta os rankings”. Para chegar a esse patamar, o projeto conta com recursos para a contratação de “cientista de dados”. “Ele nos mostrará como utilizar as bases de dados existentes para extrair as informações de que necessitamos.”

O desafio de reavaliar métricas

A reavaliação de métricas e de indicadores de desempenho não é tarefa fácil. “Não existe um modelo único e as universidades são diferentes entre si”, ponderou Goldemberg. Reitor da USP entre 1986 e 1990, Goldemberg criou o Anuário da USP, até hoje uma das principais fontes de informações sobre o desempenho da Universidade. “Mas ainda há problemas na garimpagem de dados. Precisamos de mais informações qualitativamente diferenciadas.”

Assim como as universidades, os indicadores utilizados pelos rankings para classificá-las também diferem entre si. O THE, por exemplo, utiliza 13 indicadores que contemplam Ensino, Pesquisa, Citações, Visibilidade Internacional e Captação de Recursos da Indústria. O indicador de maior peso (18%) é o de Reputação em Pesquisa, alimentado por um questionário aplicado a cientistas de todo o mundo. O QS também tem foco na reputação acadêmica e entre empregadores, que equivale à metade da pontuação. Já para o ARWU, publicado pela Shangai Ranking Consultancy, o número de artigos publicados na Nature e na Science tem peso de 20% no seu conjunto de indicadores.

Além dos parâmetros adotados pelos rankings internacionais, outro conjunto de indicadores é utilizado para identificar universidades de classe mundial e inclui o impacto da pesquisa do ponto de vista de aspectos socioeconômicos, a reputação institucional, a internacionalização do corpo docente e a contribuição para o avanço da ciência. Esses conjuntos distintos de critérios e métricas não necessariamente têm correspondência com os indicadores de avaliação de desempenho atualmente adotados pelas universidades brasileiras. A regra também vale para as universidades estaduais paulistas que, apesar de disporem de mais informações do que quaisquer outras universidades no País, de acordo com Brito Cruz, também convivem com deficiências no que se refere à informação. E a falta de informação acaba por repercutir em seu posicionamento nas classificações internacionais.

Alguns dos principais rankings universitários internacionais – Foto: Divulgação

Brito Cruz deu o exemplo do ranking Times Higher Education (THE), que classifica as universidades pelos critérios Ensino, Pesquisa, Citações, Captação de Recursos da Indústria e Visibilidade Internacional, indicador que contabiliza o número de alunos e professores estrangeiros.

Esse ranking – que é liderado pela Universidade de Oxford com pontuação de 94,3 – classifica, por exemplo, a USP no bloco das instituições com pontuação variando de 45,2 a 48,2 – um pouco abaixo da média da amostra. “Nos quesitos Ensino e Pesquisa, a USP obteve pontuação maior do que a Universidade de Reading, no Reino Unido, com pontuação entre 48,3 e 51,6. Derrubam a pontuação da USP, principalmente, os seus resultados nos indicadores Citações e Visibilidade Internacional”, sublinhou. A Unicamp e a Unesp também tiveram a pontuação comprometida pelos resultados obtidos nos mesmos indicadores.

De fato, apesar de estar entre as 40 universidades no mundo que mais publicam artigos, de acordo com o Web of Science, a USP não aparece entre aquelas com maior índice de citação, o que leva a Universidade a uma pontuação média reduzida. A USP, assim como a Unicamp e a Unesp, têm, respectivamente, pontuações nesse índice de citações de 31,5, 31,7 e 12,7, enquanto universidades chinesas como as de Pequim, Tsinghua e Zhejiang têm pontuações de 74,2, 71,4 e 45,9, respectivamente, no mesmo índice.

A dificuldade das universidades de consolidar dados dispersos entre as várias unidades de Ensino, Pesquisa e Inovação impede também que se tenha uma avaliação real de outro indicador utilizado pelo ranking Times Higher Education: o de volume de recursos captados na indústria, que leva em conta parceria em pesquisa ou de royalties de patentes, o número de empresas de base tecnológica “filhas” das universidades, além do número e recursos resultantes de convênios de colaboração em P&D. “A Unicamp, que faz essa contabilidade de empresas-filhas, registra uma média de 35 empresas por ano. Esse número é maior do que a média registrada por universidades norte-americanas”, comparou Brito Cruz.

Aprimorar métricas, comparar desempenhos entre universidades com perfis similares, definir metas, criar indicadores legíveis por máquinas e melhorar a inserção internacional das universidades são alguns dos desafios do projeto Indicadores de desempenho nas universidades estaduais paulistas, que tem como pesquisadores associados Luiz Nunes de Oliveira, da Coordenação de Programas Especiais e Colaborações em Pesquisa da Fapesp; Renato Pedrosa, da Coordenação do Plano Diretor de Ciência, Tecnologia e Inovação para o Estado de São Paulo na fundação; Justin Axel-berg, da USP; José Augusto Guimarães, da Comissão de Rankings da Unesp; Elizabeth Balbachevsky, do Departamento de Ciência Política da USP; e Nina Ranieri, da Faculdade de Direito da USP.

Claudia Izique / Agência Fapesp


Política de uso 
A reprodução de matérias e fotografias é livre mediante a citação do Jornal da USP e do autor. No caso dos arquivos de áudio, deverão constar dos créditos a Rádio USP e, em sendo explicitados, os autores. Para uso de arquivos de vídeo, esses créditos deverão mencionar a TV USP e, caso estejam explicitados, os autores. Fotos devem ser creditadas como USP Imagens e o nome do fotógrafo.