Blog
Como avaliar o impacto de uma universidade pública na vida dos brasileiros?
USP busca aprimorar dados de gestão acadêmica para que a comunidade tenha indicadores para acompanhar o que a Universidade faz
06/10/2020
Hérika Dias
Manchetes sobre a posição das universidades brasileiras em rankings acadêmicos internacionais estão por todos os noticiários. Números que indicam o desempenho de uma instituição comparado ao de outras de diversas partes do mundo. Mas será que essa medição reflete realmente todo o trabalho dessas universidades e a importância delas para suas comunidades?
A resposta seguramente é não. A maioria dos rankings traz análises muito delimitadas e a partir de critérios específicos para avaliar, quase sempre ligados à produção científica e ao mérito acadêmico. A ciência é realizada através de métodos que permitem um estudo ser avaliado, replicado ou melhorado. Os rankings mais populares trazem um grande peso para um critério chamado citação. Ela avalia o quanto uma pesquisa tem contribuído para o desenvolvimento de outros estudos.
Mas o que os cientistas pesquisam em um país pode não ser importante para outro. Um exemplo é a malária, doença que causa a morte de milhões de pessoas pobres na América Latina, Ásia e África, mas possui baixo investimento em pesquisas, já que a indústria farmacêutica mundial não possui interesse na produção de medicamentos para a doença.
Então como podemos acompanhar e entender a importância das atividades das universidades do nosso país? Nos últimos anos, as universidades brasileiras têm buscado construir os seus próprios indicadores que permitam às pessoas avaliarem a ação das instituições públicas de ensino superior para o desenvolvimento regional e nacional.
No Estado de São Paulo, desde 2018, a USP lidera um projeto para discutir a performance acadêmica e o impacto social das universidades estaduais públicas paulistas: USP, Unicamp e Unesp. Atualmente, além delas, as federais Unifesp e UFSCar também integram o Métricas.edu que ainda estuda e analisa criticamente os indicadores de desempenho institucional e acadêmico nas comparações nacionais e internacionais.
O projeto é financiado pela Fundação de Amparo à Pesquisa do Estado de São Paulo (Fapesp) e conta com a parceria do Conselho de Reitores das Universidades Estaduais Paulistas (Cruesp) e da Secretaria de Desenvolvimento Econômico, Ciência, Tecnologia e Inovação do Estado de São Paulo. A coordenação é do professor Jacques Marcovitch, da Faculdade de Economia, Administração e Contabilidade (FEA) da USP e ex-reitor da Universidade.
“A primeira geração de indicadores que está se consolidando, pelo menos nas universidades de São Paulo, tanto as estaduais quanto as federais, é o que podemos chamar de indicadores centrados nas universidades. Isto é, a universidade se autoconhece, diz como utiliza seus recursos, revela sua boa governança, presta contas à sociedade”, disse Marcovitch durante participação no segundo Congresso da Universidade Federal do ABC (UFABC) sobre gestão de dados, impacto social e excelência acadêmica, realizado no dia 2 de setembro.
Jacques Marcovitch coordena o projeto Metricas.edu, uma iniciativa para discutir métricas para medir o impacto social das universidades públicas paulistas - Foto: Divulgação
Olhar para dentro da Universidade
Na USP, a responsabilidade de buscar esse autoconhecimento institucional é do Escritório de Gestão de Indicadores de Desempenho Acadêmico da USP, o Egida. Há dois anos, ele foi criado para melhorar a coleta e análise de dados sobre a Universidade, além de construir novas métricas que ajudem a traduzir a atividade acadêmica e ampliar a transparência da gestão universitária.
Parte desse trabalho pode ser conferida no Anuário Estatístico, que funciona como um repositório de todas as informações sobre a USP e é publicado desde os anos 1980. Hoje, o Egida tem trabalhado para modernizar o Anuário, reorganizando dados que já existiam. Na edição de 2020, já traz uma reformulação sobre a área de informática que trazia indicadores, como números de computadores e impressoras que a Universidade possui, e agora registra dados referentes à conectividade, aos sistemas corporativos e à nuvem computacional.
“Isso remete a informações de décadas atrás no âmbito da informática. O indicador não é simplesmente um número vazio, ele tem que ter um significado e esse significado tem que nos transmitir informação. A informação que nos interessa hoje é o quanto a USP está conectada”, destaca o professor Aluísio Cotrim Segurado, coordenador do Egida.
O operacional desse trabalho de coleta de dados é feito em parceria com a Superintendência de Tecnologia da Informação (STi). Há uma infraestrutura de ambiente de interação de dados originados de diferentes fontes e que tem sido aprimorada ao longo dos últimos anos pela STi. “Essas fontes não se resumem hoje aos vários sistemas corporativos da USP, Janus, Júpiter, Marte, há também a possibilidade de interação com dados que vêm do CNPq, da Capes, da Finep, fontes externas”, segundo o coordenador do Egida.
Ele adianta que há planos para tornar o anuário mais dinâmico, com uma interface gráfica que permita visualizar os indicadores de forma interativa. O primeiro visualizador será sobre a demografia da Universidade. “Queremos conhecer quem é a USP, quem são as pessoas, o gênero, a faixa etária, a vinculação institucional, pessoas com deficiência, quantos são negros, brancos. A gente não consegue hoje ter clareza do quão plural a USP é”.
Aluísio Cotrim Segurado, coordenador do Egida
Outra frente de ação está sendo feita com grupos de trabalhos para a criação de novos indicadores. Um deles é a elaboração de métricas para avaliar a atividade acadêmica dos museus universitários da USP: Museu de Zoologia, Museu de Arte Contemporânea, Museu Paulista e o Museu de Arqueologia e Etnologia. “Eles têm intensa atividade de ensino, pesquisa e de interação com a sociedade, porém carecíamos de métricas específicas que pudessem traduzir com precisão o trabalho relevante nesses ambientes”, conta Segurado.
Áreas de atuação do Egida
Anuário
Estatístico
Indicadores de desempenho
Rankings
acadêmicos
Transparência
USP
Além do Anuário Estatístico, o Egida é responsável, junto com a Ouvidoria, pelo Portal da Transparência. No site, é possível acompanhar os processos seletivos para trabalhar na USP, dados sobre a remuneração de todos os funcionários, processos de licitação, orçamentos, convênios, enfim, tudo sobre a administração e finanças. Há ainda um canal para tirar dúvidas, fazer sugestões, reclamações e denúncias.
Métricas para medir a interação com a sociedade
Depois do autoconhecimento da própria instituição, agora o olhar é para fora da Universidade. Para o coordenador do Egida, estamos em um momento em que responsabilidade social e interação com a sociedade estão sendo muito valorizadas. “É importante dizer que cada centavo investido na USP tem um retorno de muitos reais para a sociedade, mas precisamos traduzir isso de uma forma mais clara e indicadores de impacto social são importantes.”
É o que Marcovitch chama de métricas centradas na sociedade. Essa seria a segunda geração de indicadores, após o desenvolvimento daqueles centrados na Universidade, para explicitar o retorno da universidade pública. “Como comprovar metricamente que a pesquisa realizada por escolas de agronomia, de engenharia, por exemplo, geraram para o Estado, para o Brasil, recursos maiores do que aqueles que teriam sido gerados sem essas instituições.”
O que são métricas centradas na sociedade? Elas lidam com a universidade, mas não são impostas a toda a universidade, segundo o ex-reitor da USP. “As humanidades, por exemplo, na universidade que tem aquela sua faceta de universidade crítica, não podemos esperar o mesmo impacto para a sociedade das escolas de agronomia, de medicina e de engenharia”.
As próprias consultorias de rankings acadêmicos perceberam a necessidade de avaliar mais a interação dos institutos de ensino superior com a sociedade. Duas iniciativas que surgiram nos últimos anos e podem ser consideradas os primeiros passos para ampliar o escopo das classificações foram o UI GreenMetric World University Ranking, editado pela Universidade da Indonésia, e o Impact Ranking, da consultoria britânica Times Higher Education (THE).
GreenMetric
O GreenMetric é o primeiro e, atualmente, único ranking no mundo a mensurar a questão ambiental. Ele avalias as universidades com as melhores práticas e programas sustentáveis em seus campi, considerando seis indicadores: áreas verdes, consumo de energia, gestão de resíduos, tratamento de água, mobilidade e educação ambiental.
No último levantamento publicado no ano passado, o GreenMetric classificou a USP em 18º lugar entre 780 instituições de ensino superior do mundo e a primeira entre as universidades brasileiras.
Desde 2012, a USP possui uma Superintendência de Gestão Ambiental (SGA) que desenvolve ações de conservação dos recursos naturais da Universidade, e que pretende transformar a instituição em um modelo de sustentabilidade ambiental, social e econômica. A SGA é a responsável por compilar os dados sobre o tema.
THE Impact Ranking
A proposta é avaliar o comprometimento e o impacto social das ações desenvolvidas pelas universidades para a comunidade interna e externa, enfrentando questões como fome, desigualdade de gênero, educação de qualidade, mudanças climáticas, paz mundial e crescimento econômico. Tudo isso baseado nos temas dos 17 Objetivos de Desenvolvimento Social (ODS), definidos pela Organização das Nações Unidas (ONU).
No THE Impact deste ano, a USP conquistou a 14ª classificação entre 766 universidades do mundo que estão contribuindo para os ODS em termos de pesquisa, divulgação e governança.
Na pontuação geral, a USP atingiu 93,9 pontos de um total de 100. Em três critérios, a Universidade ficou entre as dez melhores instituições do mundo: 3º lugar na erradicação à pobreza, 3º lugar em energia limpa e 10º lugar em vida terrestre.
A participação da Universidade nos dois rankings inclui coleta de dados relacionados aos indicadores avaliados, ou seja, quais as políticas de sustentabilidade ambiental da Universidade e o que ela tem feito para diminuir as desigualdades sociais no Brasil. É aí que entra o Egida, responsável pela interlocução com as consultorias acadêmicas dos rankings. Foi o primeiro ano que a USP participou do THE Impact Ranking, já que ele foi publicado pela primeira vez em 2019, ainda em caráter experimental.
“Nossa participação no THE Impact nos permitiu ampliar a base de coleta de dados para além das bases bibliométricas tradicionais, partindo para a estratégia de altmetria e as redes de comunicação social para verificar como os projetos e iniciativas universitárias se capilizaram em sua interação com a sociedade”, explica Segurado.
A altmetria é um indicador que considera canais alternativos, principalmente on-line, de divulgação da ciência, além dos espaços tradicionais da comunicação científica, como periódicos. Seria verificar a relação mais direta da ciência com o público em geral através de citações, menções em redes sociais, uso de tags, downloads etc.
Segundo o coordenador do Egida, a USP acompanha a sua classificação em todos os rankings, desde aqueles que trabalham com indicadores tradicionais a essas novas iniciativas, como o GreenMetrics e o THE Impact Ranking, mas destaca que nenhuma dessas classificações resume o que a USP é e quer ser.
“Somos uma universidade compreensiva para todas as áreas do conhecimento e somos uma universidade pública de forte compromisso de desenvolvimento sustentável. A missão da USP é contribuir com o desenvolvimento econômico e social do Estado de São Paulo e do Brasil. Se estamos tendo iniciativas nessa direção, estamos cumprindo nosso compromisso. Isso não é traduzido mesmo em outros rankings que se debruçam sobre indicadores mais tradicionais, e que podem privilegiar modelos que não são aqueles que a USP almeja desempenhar.”