Rankings oferecem retrato importante, mas incompleto da Universidade

Classificações dão aparência homogênea à diversidade de instituições de ensino superior em todo o mundo

 18/10/2016 - Publicado há 7 anos     Atualizado: 27/10/2016 as 14:33
Por

ranking_praca_relogio2

.

..

Em 4 de maio deste ano, um jornalista cobrindo educação não precisaria se esforçar por uma manchete impactante. Neste dia foi divulgado o ranking de universidades Times Higher Education (THE), indicando que mesmo se mantendo entre as cem mais, a reputação acadêmica da USP havia caído 30 posições em relação à lista do ano anterior. Em curtas palavras: a USP havia “despencado”.

O que os não familiarizados com o universo dos rankings acadêmicos não poderiam saber, era que a metodologia utilizada para montar o ranking havia mudado, dobrando o número de universidades avaliadas de 400 para 800. Mais ainda: se comparada com as mesmas 400 universidades do ano anterior, a USP estaria ocupando exatamente a mesma posição de antes.

Esta história nos conta um pouco sobre por que os rankings universitários precisam ser relativizados. E explica também por que, quando neste mesmo ano a USP subiu 23 colocações no QS World University Ranking e obteve sua melhor avaliação na história da lista, a celebração tampouco poderia ser desproporcional.

Para além das mudanças de critérios, há outros fatores para que o sobe e desce das colocações seja visto com cautela.

As listas são populares pois traçam um quadro fácil de visualizar, com métricas que dão objetividade às comparações – volume de publicações, número de estudantes estrangeiros, quantidade de Prêmios Nobel conquistados, por exemplo. Os especialistas, no entanto, ressaltam as divergências de critérios entre os rankings e as constantes mudanças dentro de alguns deles. Mas há mais fatores para que o sobe e desce das colocações seja visto com cautela.

Uma das críticas aponta para a desvantagem de se colocar instituições com características tão distintas em um mesmo pacote e daí tirar um número final para classificá-las. Esta é a visão do reitor da USP, Marco Antonio Zago:

ranking_marco_antonio_zago

Como você compara uma universidade que é técnica, como a Universidade Técnica de Berlim, ou universidades que só têm cursos de engenharia, com a USP, que tem cursos em todas as áreas do conhecimento?

Para o dirigente, algumas informações são, de fato, úteis. Poder, a partir de um critério específico, comparar-se em relação às outras é relevante e dá uma dimensão de nossa posição no mundo, mas comparar universidades seria uma tarefa capciosa.

..

 

 

 

.

..

No ano passado, uma tese de doutorado defendida na Escola de Comunicações e Artes (ECA) da USP e vencedora do Prêmio Capes de Tese em 2016 se debruçou sobre o desempenho das universidades brasileiras nos principais rankings internacionais. Ao estudar essas listas, a bibliotecária Solange Maria dos Santos identificou vários desafios em sua construção. A diversidade das instituições, em termos de tamanho, recursos financeiros e contexto sociocultural, é uma delas. E a própria obtenção dos dados também.

“A ausência de fontes de informação que permitam coletar adequadamente dados sobre as atividades das universidades faz com que essas intuições sejam classificadas com base em atividades que podem ser medidas, não com base nos indicadores de atividades que se deseja medir”, avalia a pesquisadora.

E mesmo que se considerassem adequados os parâmetros utilizados pelos rankings, é preciso estar atento às oscilações de posição das universidades a cada ano. É o que alerta Anderson de Santana, do Departamento Técnico do Sistema Integrado de Bibliotecas (SIBi) da USP. Segundo o bibliotecário, se o foco fosse a pontuação obtida pelas instituições, a queda ou elevação de colocação perderia muito de seu impacto. Um exemplo é a colocação da USP no THE: em 2016, a Universidade passou da posição 201-250 para a 251-300. No entanto, em termos de pontuação, a diferença representa pouco menos de dois pontos, ou seja, o desempenho no ranking manteve-se praticamente igual.

rankings_pontuacao_the3
Fonte: THE. Levantamento de dados: Departamento Técnico do SIBiUSP

.

Segundo Solange, diante da dificuldade de encontrar informação e indicadores adequados para mensurar algumas dimensões, os produtores dos rankings têm partido da premissa de que empregar um indicador, mesmo que ruim, ainda é melhor do que indicador nenhum. “O que os rankings têm feito, até agora, é medir o que pode ser medido com facilidade, ou seja, a pesquisa. Outros aspectos importantes, como ensino, formação de recursos humanos, engajamento regional ou impacto no entorno social ficam fora da bateria de indicadores empregada pelos rankings na avaliação das universidades.”

Como as classificações têm ido na direção do modelo anglo-saxão de universidades de pesquisa, há um predomínio de instituições dos Estados Unidos, Reino Unido e alguns países da Europa Ocidental no topo dos rankings.

“As universidades da América Latina ou África praticamente não são ‘percebidas’ por essas classificações e se veem excluídas desses dispositivos de análise de desempenho e promoção da visibilidade e prestígio das universidades em nível global. Também é importante lembrar que cada ranking possui um número limitado de posições – 300, 500 ou 800 instituições num universo de mais 16 mil universidades no mundo, de modo que não há lugar para todos nos rankings”, ressalta a bibliotecária.

..

Ouça a entrevista que Solange Santos concedeu ao programa Pesquisa Brasil, veiculado na Rádio USP em junho.

.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

 

.

.

Metodologia é revista ao longo dos anos

Os rankings se diferenciam, principalmente, por suas escolhas metodológicas. O do Times Higher Education, que é um dos mais conhecidos no cenário internacional, adota atualmente 13 indicadores, divididos nos critérios ensino, pesquisa, citações, perspectiva internacional e captação de recursos da indústria. O indicador de maior peso, representando 18% do total, é o de reputação em pesquisa. Para avaliar esse quesito, o THE convida cientistas de todo o mundo, de várias áreas, para responder a um questionário que alimenta também outro indicador, o de reputação em relação ao ensino, com peso de 15% – ou seja, o prestígio das instituições entre pares vale um terço do total avaliado no ranking.

Mas não foi sempre assim. Desde que começou a ser publicado, a metodologia do ranking britânico, que é um suplemento do jornal The Times, passou por diversas mudanças no cálculo das pontuações e na forma de aplicar os questionários. Em 2009, por exemplo, o Times deixou de ter a colaboração da empresa Quacquarelli Symonds, que era a principal responsável pelos dados do item reputação. No ranking divulgado em 2015, 400 novas instituições passaram a ser avaliadas e a base de dados utilizada para medir as citações mudou da Web of Science para a Scopus, por ser considerada mais abrangente. E, em 2016, o Times passou a ranquear um total de 980 instituições, com mais uma grande novidade: foram incluídos na análise de pesquisa mais de meio milhão de livros e capítulos de livros.

A Quacquarelli Symonds, hoje, publica seu próprio ranking, o QS World University Rankings. Encerrada a colaboração com o Times Higher, algumas características se mantiveram, como o foco na reputação, que representa metade da pontuação. A lista de indicadores, no entanto, é mais enxuta, com seis itens: reputação acadêmica, reputação entre empregadores, relação entre número de estudantes e de professores, citações por docente, proporção de professores estrangeiros e proporção de alunos estrangeiros.

O indicador que avalia o total de citações pelo número de docentes da instituição foi incluído em 2015. Segundo os organizadores, a intenção foi proporcionar uma comparação mais justa em relação ao impacto da pesquisa, olhando para o tamanho da universidade.

..

.

.

rankings_solange_maria2

É importante ter em mente que os rankings não são instrumentos neutros, mas sim construídos e utilizados intencionalmente, para fins e contextos específicos.

Solange Maria
dos Santos

.

.

rankings_comparacao6

Fonte:  Times Higher Education World University Rankings, QS World University Rankings e Academic Ranking of World Universities
Arte: Jornal da USP

..

.

O ranking elaborado pela Quacquarelli é um dos que passaram pela auditoria do Observatório sobre Rankings Acadêmicos e Excelência (Ireg Observatory). Uma das constatações feitas no relatório do Ireg que aprovou a metodologia da QS foi o aparente desequilíbrio de peso atribuído à reputação acadêmica e às citações por docente em relação a indicadores de ensino. Também alertaram quanto à necessidade de explicitar alguns aspectos que podem acabar privilegiando instituições cuja pesquisa é focada, majoritariamente, em áreas com muitas citações – caso das ciências naturais e ciências da vida.

No Academic Ranking of World Universities (ARWU), publicado pela chinesa Shanghai Ranking Consultancy, a importância dessas áreas é evidente, já que o número de artigos publicados nas revistas Nature e Science é um dos indicadores de pesquisa, com peso de 20% na avaliação. Mas os organizadores esclarecem que, no caso de instituições especializadas em humanidades e ciências sociais, como é o caso da London School of Economics, esse indicador não é utilizado e o peso é realocado.

Além da pesquisa, há outros três critérios avaliados: qualidade do ensino, qualidade docente e desempenho docente de acordo com o tamanho da instituição. No quesito qualidade, faz diferença se ex-alunos ou membros do corpo docente já receberam o Prêmio Nobel ou a Medalha Fields – nenhum brasileiro, até hoje, ganhou um Nobel e só em 2014 um dos nossos pesquisadores recebeu a Fields, considerada o “Nobel da matemática”.

Publicado desde 2003, o ARWU é apontado como um dos precursores dos rankings universitários. Diferente do QS e do Times Higher, o ranking chinês utiliza apenas dados de fontes secundárias, ou seja, não são coletados dados especificamente para a classificação, mas apenas informações já disponíveis em bases de dados.

Para a bibliotecária Solange, não existe um conjunto de critérios amplos ou unanimemente aceitos para medir a qualidade das universidades; sendo assim, ao selecionar, privilegiar e atribuir peso a um indicador ou a um conjunto de indicadores, cada ranking apresenta sua visão do que considera qualidade. “E, até agora, a maioria dos rankings atribui maior peso aos indicadores que medem o desempenho da instituição em pesquisa, ou seja, nos rankings se destacam aquelas universidades que se dedicam à pesquisa de forma mais intensiva.”

..

 

..

Quem faz os rankings?

O primeiro ranking nacional de universidades foi publicado nos Estados Unidos, em 1983, pelo jornal US News & World Report. Nos anos seguintes, foram surgindo rankings em países como Alemanha e Japão. No Brasil, a primeira classificação do tipo surgiu em 2012, organizada pelo jornal Folha de S. Paulo.

Em âmbito nacional e mundial, são várias as instituições que se propõem a elaborar rankings: consultorias de orientação profissional e aconselhamento estudantil, jornais e institutos de pesquisa, por exemplo. “Sendo assim, é importante ter em mente que os rankings não são instrumentos neutros, mas sim construídos e utilizados intencionalmente, para fins e contextos específicos”, alerta Solange Maria dos Santos, que é coordenadora de produção e publicação da biblioteca eletrônica virtual de periódicos SciELO.

Ela exemplifica que um ranking produzido por uma instituição com fins lucrativos, ainda que produzido com rigor metodológico, pode sofrer pressão ou influência quanto às fontes a serem consideradas para a coleta de dados e também quanto ao peso ou à inclusão de indicadores mais voltados às necessidades ou expectativas do mercado de trabalho. “Ou, ainda, indicadores nos quais universidades privadas mais se destacam, já que a instituição responsável por produzir o ranking precisa obter lucro que justifique continuar a publicá-lo.”

A popularização e a importância crescente atribuídas aos rankings levaram ao surgimento, em 2009, de um observatório voltado para pensar boas práticas na elaboração e disseminação dessas listas. O Ireg Observatory foi fundado pelo Centro Europeu de Educação Superior da Unesco. Trata-se de uma associação internacional sem fins lucrativos, com sede na Polônia, que reúne organizações de ranqueamento e instituições interessadas em rankings universitários e excelência acadêmica.

.

Aula de empreendedorismo na Poli-USP - Foto: Marcos Santos/USP Imagens
Aula de empreendedorismo na Poli-USP – Foto: Marcos Santos/USP Imagens

.
O reitor da USP, inclusive, esteve neste ano em um dos encontros do observatório e relata que, assim como ele, muitos são críticos em relação aos rankings. Para Zago, eles devem continuar existindo, mas é preciso saber ler os resultados.

Segundo Solange, diante da dificuldade de encontrar informação e parâmetros adequados para mensurar determinadas dimensões, os produtores dos rankings têm optado por empregar um indicador, mesmo que ruim, do que indicador nenhum. “Desse modo, outros aspectos importantes como ensino, formação de recursos humanos, engajamento regional ou impacto no entorno social ficam fora da bateria de indicadores empregada pelos rankings na avaliação das universidades”, pondera.

E a USP tem forte atuação, além da pesquisa, justamente no desenvolvimento local e regional, com contribuições que não entram na conta das classificações internacionais. “O papel da USP é muito difícil de ser equacionado nas medidas previstas nesses rankings”, afirma o reitor Marco Antonio Zago.
.
.

Colaboraram: Hérika Dias, Júlio Bernardes e Luiza Caires

..

.
.
.
rankings_outros3

 


Política de uso 
A reprodução de matérias e fotografias é livre mediante a citação do Jornal da USP e do autor. No caso dos arquivos de áudio, deverão constar dos créditos a Rádio USP e, em sendo explicitados, os autores. Para uso de arquivos de vídeo, esses créditos deverão mencionar a TV USP e, caso estejam explicitados, os autores. Fotos devem ser creditadas como USP Imagens e o nome do fotógrafo.