Blog

..

Nesta semana, a USP se deparou com os resultados de dois rankings universitários: perdeu a liderança de quatro anos no Ranking Universitário Folha (RUF) e caiu colocações na lista mundial divulgada pelo Times Higher Education (THE), permanecendo, porém, no primeiro lugar entre as universidades da América Latina. Já na última edição do QS World University Ranking, a USP subiu 23 colocações e obteve sua melhor avaliação na história da lista. Esta aparente discrepância nos indica que, apesar de sua importância, os rankings universitários precisam ser relativizados.

As listas são populares pois traçam um quadro fácil de visualizar, com métricas que dão objetividade às comparações – volume de publicações, número de estudantes estrangeiros, quantidade de Prêmios Nobel conquistados, por exemplo. Os especialistas, no entanto, ressaltam as divergências de critérios entre os rankings e as constantes mudanças dentro de alguns deles. Mas há mais fatores para que o sobe e desce das colocações seja visto com cautela.

Uma das críticas aponta para a desvantagem de se colocar instituições com características tão distintas em um mesmo pacote e daí tirar um número final para classificá-las. Esta é a visão do reitor da USP, Marco Antonio Zago:

Como você compara uma universidade que é técnica, como a Universidade Técnica de Berlim, ou universidades que só têm cursos de engenharia, com a USP, que tem cursos em todas as áreas do conhecimento?

Para o dirigente, algumas informações são, de fato, úteis. Poder, a partir de um critério específico, comparar-se em relação às outras é relevante e dá uma dimensão de nossa posição no mundo, mas comparar universidades seria uma tarefa capciosa.

No ano passado, uma tese de doutorado defendida na Escola de Comunicações e Artes (ECA) da USP se debruçou sobre o desempenho das universidades brasileiras nos principais rankings internacionais. Ao estudar estas listas, a bibliotecária Solange Maria dos Santos identificou vários desafios em sua construção. A diversidade das instituições, em termos de tamanho, recursos financeiros e contexto sociocultural, é uma delas. E a própria obtenção dos dados também. “A ausência de fontes de informação que permitam coletar adequadamente dados sobre as atividades das universidades faz com que essas intuições sejam classificadas com base em indicadores de atividades que podem ser medidas, não com base nos indicadores de que atividades desejam medir”, avalia a pesquisadora.

E mesmo que se considerassem adequados os parâmetros utilizados pelos rankings, é preciso estar atento às oscilações de posição das universidades a cada ano. É o que alerta Anderson de Santana, do Departamento Técnico do Sistema Integrado de Bibliotecas (SIBi) da USP. Segundo o bibliotecário, se o foco fosse na pontuação obtida pelas instituições, a queda ou elevação de colocação perderia muito de seu impacto. Um exemplo é a colocação da USP no THE: em 2016, a Universidade passou da posição 201-250 para a 251-300. No entanto, em termos de pontuação, a diferença representa pouco menos de 2 pontos, ou seja, o desempenho no ranking manteve-se praticamente igual.

.

..

.

.

.

.

.

.

.
.
.

.
.
.

.

.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

Ouça a entrevista que Solange Santos concedeu ao programa Pesquisa Brasil, veiculado na Rádio USP em junho.

.

.

Metodologia é revista ao longo dos anos

Os rankings se diferenciam, principalmente, por suas escolhas metodológicas. O do Times Higher Education, que é um dos mais conhecidos no cenário internacional, adota atualmente 13 indicadores, divididos nos critérios ensino, pesquisa, citações, perspectiva internacional e captação de recursos da indústria. O indicador de maior peso, representando 18% do total, é o de reputação em pesquisa. Para avaliar esse quesito, o THE convida cientistas de todo o mundo, de várias áreas, para responder a um questionário que alimenta também outro indicador, o de reputação em relação ao ensino, com peso de 15% – ou seja, o prestígio das instituições entre pares vale um terço do total avaliado no ranking.

Mas não foi sempre assim. Desde que começou a ser publicado, a metodologia do ranking britânico, que é um suplemento do jornal The Times, passou por diversas mudanças no cálculo das pontuações e na forma de aplicar os questionários. Em 2009, por exemplo, o Times deixou de ter a colaboração da empresa Quacquarelli Symonds, que era a principal responsável pelos dados do item reputação. No ranking divulgado em 2015, 400 novas instituições passaram a ser avaliadas e a base de dados utilizada para medir as citações mudou da Web of Science para a Scopus, por ser considerada mais abrangente. E, em 2016, o Times passou a ranquear um total de 980 instituições, com mais uma grande novidade: foram incluídos na análise de pesquisa mais de meio milhão de livros e capítulos de livros.

A Quacquarelli Symonds hoje publica seu próprio ranking, o QS World University Rankings. Encerrada a colaboração com o Times Higher, algumas características se mantiveram, como o foco na reputação, que representa metade da pontuação. A lista de indicadores, no entanto, é mais enxuta, com seis itens: reputação acadêmica, reputação entre empregadores, relação entre número de estudantes e de professores, citações por docente, proporção de professores estrangeiros e proporção de alunos estrangeiros.

O indicador que avalia o total de citações pelo número de docentes da instituição foi incluído em 2015. Segundo os organizadores, a intenção foi proporcionar uma comparação mais justa em relação ao impacto da pesquisa, olhando para o tamanho da universidade.

..

.

.

É importante ter em mente que os rankings não são instrumentos neutros, mas sim construídos e utilizados intencionalmente, para fins e contextos específicos.

Solange Maria
dos Santos

.

..

.

O ranking elaborado pela Quacquarelli é um dos que passaram pela auditoria do Observatório sobre Rankings Acadêmicos e Excelência (IREG Observatory). Uma das constatações feitas no relatório do IREG que aprovou a metodologia da QS foi o aparente desequilíbrio de peso atribuído à reputação acadêmica e às citações por docente em relação a indicadores de ensino. Também alertaram quanto à necessidade de explicitar alguns aspectos que podem acabar privilegiando instituições cuja pesquisa é focada, majoritariamente, em áreas com muitas citações – caso das ciências naturais e ciências da vida.

No Academic Ranking of World Universities (ARWU), publicado pela chinesa Shanghai Ranking Consultancy, a importância dessas áreas é evidente, já que o número de artigos publicados na Nature e na Science é um dos indicadores de pesquisa, com peso de 20% na avaliação. Mas os organizadores esclarecem que no caso de instituições especializadas em humanidades e ciências sociais, como é o caso da London School of Economics, esse indicador não é utilizado e o peso é realocado.

Além da pesquisa, há outros três critérios avaliados: qualidade do ensino, qualidade docente e desempenho docente de acordo com o tamanho da instituição. No quesito qualidade, faz diferença se ex-alunos ou membros do corpo docente já receberam o Prêmio Nobel ou a Medalha Fields – nenhum brasileiro, até hoje, ganhou um Nobel e só em 2014 um dos nossos pesquisadores recebeu a Fields, considerada o “Nobel da matemática”.

Publicado desde 2003, o ARWU é apontado como um dos precursores dos rankings universitários. Diferente do QS e do Times Higher, o ranking chinês utiliza apenas dados de fontes secundárias, ou seja, não são coletados dados especificamente para a classificação, mas apenas informações já disponíveis em bases de dados.

.

..

..

De olho nos rankings

O primeiro ranking nacional de universidades foi publicado nos Estados Unidos, em 1983, pelo jornal US News & World Report. Nos anos seguintes, foram surgindo rankings em países como Alemanha e Japão. No Brasil, a primeira classificação do tipo surgiu em 2012, organizada pelo jornal Folha de S. Paulo.

Em âmbito nacional e mundial, são várias as instituições que se propõem a elaborar rankings: consultorias de orientação profissional e aconselhamento estudantis, jornais e institutos de pesquisa, por exemplo. “Sendo assim, é importante ter em mente que os rankings não são instrumentos neutros, mas sim construídos e utilizados intencionalmente, para fins e contextos específicos”, alerta Solange Maria dos Santos, que é coordenadora de produção e publicação da biblioteca eletrônica SciELO.

A popularização e importância crescente atribuída aos rankings levaram ao surgimento, em 2009, de um observatório voltado para pensar boas práticas na elaboração e disseminação dessas listas. O IREG Observatory foi fundado pelo Centro Europeu de Educação Superior da Unesco. Trata-se de uma associação internacional sem fins lucrativos, com sede na Polônia, que reúne organizações de ranqueamento e instituições interessadas em rankings universitários e excelência acadêmica.

.

O reitor da USP, inclusive, esteve neste ano em um dos encontros do observatório e relata que, assim como ele, muitos são críticos em relação aos rankings. Para Zago, eles devem continuar existindo, mas é preciso saber ler os resultados.

Segundo Solange, diante da dificuldade de encontrar informação e parâmetros adequados para mensurar determinadas dimensões, os produtores dos rankings têm optado por empregar um indicador, mesmo que ruim, do que indicador nenhum. “Desse modo, outros aspectos importantes como ensino, formação de recursos humanos, engajamento regional ou impacto no entorno social ficam fora da bateria de indicadores empregada pelos rankings na avaliação das universidades”, pondera.

..