RANKINGS ACADÊMICOS INTERNACIONAIS E ESCRITÓRIOS DE PESQUISA INSTITUCIONAL: UM ESTUDO EM UNIVERSIDADES PÚBLICAS BRASILEIRAS

Rankings académicos internacionales y oficinas de investigación institucionales: un estudio en universidades públicas brasileñas

Resumo

Rankings acadêmicos têm criado uma demanda significativa de dados de desempenho acadêmico para as universidades públicas brasileiras. Essa questão tem levado algumas universidades a lidar com a questão a partir da criação de escritórios de pesquisa institucional, replicando estrutura e procedimentos adotados na educação superior estadunidense. Este artigo tem como objetivo estudar a influência de rankings acadêmicos sobre esses escritórios em três universidades públicas brasileiras, por meio de pesquisa qualitativa realizada a partir da análise de dados obtidos com entrevistas de dirigentes universitários e documentos oficiais. Os resultados indicam que, embora os rankings acadêmicos tenham desempenhado um papel crucial na criação dos escritórios, a centralidade dessas classificações na pesquisa institucional pode eventualmente restringir a capacidade dos escritórios de desempenhar um papel mais estratégico na administração universitária.

Palavras-chave:
educação superior; rankings acadêmicos; pesquisa institucional

Abstract

The rise in academic rankings has created a growing demand for performance data in Brazilian public universities. In response, some institutions have established research offices, emulating typical American higher education structures and procedures. This study investigates the impact of academic rankings on the institutional research offices of three Brazilian universities, utilizing qualitative methods such as interviews with academic leaders and analysis of official documents. Findings reveal that while rankings played a pivotal role in establishing these offices, their dominant influence may constrain the strategic functions of institutional research within university administration.

Keywords:
higher education; academic rankings; institutional research

Resumen

Los rankings académicos han creado una demanda significativa de datos sobre desempeño académico en las universidades públicas brasileñas, lo que llevó a algunas universidades a crear oficinas de investigación institucional, reproduciendo estructuras y procedimientos de la educación superior estadounidense. Este texto tiene como objetivo investigar la influencia de los rankings académicos sobre esas oficinas en tres universidades públicas brasileñas, mediante una investigación cualitativa realizada por medio de análisis de entrevistas con dirigentes universitarios y de documentos oficiales. Los resultados sugieren que, aunque los rankings académicos hayan desempeñado un papel crucial en la creación de las oficinas, la centralidad de esas clasificaciones en la investigación institucional puede eventualmente restringir la capacidad de esas oficinas en desempeñar un rol más estratégico en la administración universitaria.

Palabras clave:
educación superior; rankings académicos; investigación institucional

1 INTRODUÇÃO

Temos assistido a uma ascensão de rankings acadêmicos internacionais. Há pelo menos duas décadas, tais rankings vêm ganhando notoriedade em diferentes espaços. Das páginas de jornais aos conselhos universitários, não é difícil notar a presença de rankings acadêmicos sendo utilizados como parâmetro de excelência institucional. No Brasil, sobram exemplos nos jornais oficiais das universidades, sempre exaltando o desempenho das respectivas instituições em variadas classificações globais (Barreyro; Santos; Ferreira, 2021). Ademais, não raro vemos autoridades do executivo e do legislativo fazendo referências a rankings no debate sobre educação superior, ora por elogio ora por crítica (Em evento ..., 2019; Martins; Barreyro, 2023; Senado Federal, 2015).

Além da rápida institucionalização, chama atenção o fato desses rankings ocuparem, na maioria dos casos, lugares relativamente periféricos no campo da educação superior. Isto é, trata-se de iniciativas externas às instituições de educação superior e aos órgãos oficiais de avaliação e regulação, sendo frequentemente realizadas por revistas, jornais ou agências especializadas (Hazelkorn, 2011). Ademais, rankings acadêmicos são objeto de críticas contundentes na comunidade científica, seja pelo seu espírito totalizante ou mesmo pela fragilidade de suas medições, quando contrastadas com a ambição de seus propósitos (Calderón; França, 2019; Independent Expert Group, 2023). Definir um grupo seleto de indicadores para representar a excelência acadêmica implica em ignorar a pluralidade, ou mesmo a ambiguidade, da missão universitária. Nesse sentido, embora sejam promovidos como indicadores da qualidade das instituições, essas métricas frequentemente avaliam, de forma indireta, aspectos influenciados por vieses econômicos, geográficos e linguísticos, desviandose do objetivo de refletir, de fato, a qualidade institucional (Cabello; Imbroisi, 2019). Por exemplo, métricas baseadas em citações, utilizadas na maior parte dos ranqueamentos, mensuram mais o impacto do que a qualidade de um trabalho científico (Aksnes; Langfeldt; Wouters, 2019). Esse impacto, por sua vez, está ligado a uma série de covariantes não-relacionadas à qualidade, tais como o grau de circulação do periódico, número de autores e tamanho do artigo (Walters, 2017).

A despeito das fragilidades apontadas acima, rankings acadêmicos têm balizado mudanças na educação superior (Erkkilä; Piironen, 2020; Yudkevich; Altbach; Rumbley, 2016). Diferentes países passaram por reformas nos seus sistemas de educação superior, tomando rankings acadêmicos como referência global de excelência. Assim, Rússia, França, China e Dinamarca têm adotado diferentes estratégias para melhorar o desempenho de suas universidades, como a definição de metas de classificação, o encorajamento de fusões entre instituições ou a implementação de modelos de financiamento competitivo baseado em resultados (Salmi, 2023).

Não apenas governantes como também lideranças acadêmicas têm utilizado rankings para orientar políticas universitárias. Dentre as mudanças instigadas pela ascensão de rankings acadêmicos, destaca-se a criação de escritórios de pesquisa institucional pelo mundo (Chirikov, 2013). Tais escritórios são estruturas organizacionais originalmente concebidas nos Estados Unidos, tendo como objetivo a coleta, produção e análise de dados estratégicos para o planejamento acadêmico. Se é verdade que esse tipo de atividade já era desenvolvida em outros países com nomenclatura distinta, também é fato que a criação desses escritórios implica mais uma mudança na racionalidade empregada do que propriamente uma revolução na governança universitária.

Procurando compreender o surgimento dessa prática no Brasil, este artigo analisa o processo de criação de escritórios de pesquisa institucional em três universidades públicas brasileiras, investigando o papel de tais classificações no desenvolvimento dos seus escritórios.

O texto está dividido em três seções, além desta introdução e das considerações finais. A próxima seção descreve uma breve história dos escritórios de pesquisa institucional nos Estados Unidos, discutindo suas principais atribuições e tendências recentes. Posteriormente, apresentamos a metodologia utilizada na seleção e categorização dos documentos e entrevistas analisados no trabalho. Por fim, são discutidos os resultados encontrados, destacando convergências e divergências entre as experiências das três universidades. As considerações finais trazem uma reflexão sobre como os padrões encontrados revelam aspectos mais amplos da institucionalização dos rankings acadêmicos na educação superior brasileira.

2 PESQUISA INSTITUCIONAL: HISTÓRIA E CONCEITO

Uma das expressões da globalização na educação superior é a disseminação de práticas de governança universitária. Nesse contexto, a pesquisa institucional tem rompido suas fronteiras originárias nos Estados Unidos, repercutindo globalmente através da criação de associações profissionais e escritórios institucionais dedicados ao assunto. Atualmente, existem, pelo menos oito associações de pesquisa institucional fora dos Estados Unidos, abarcando diferentes países e/ou regiões: Austrália, Canadá, Europa, Oriente Médio, Norte da África, Filipinas, Sudeste Asiático, África Meridional e Taiwan (Chirikov, 2013; Reichard, 2012). Além das associações, escritórios de pesquisa institucional têm sido criados em diferentes universidades pelo mundo, incluindo o Brasil, onde se verifica a existência de tais escritórios nas instituições objeto desta pesquisa: a Universidade de São Paulo (USP), a Universidade Estadual de Campinas (Unicamp), e a Universidade Federal do Rio de Janeiro (UFRJ).

Há um intervalo temporal significativo entre o surgimento das primeiras atividades de pesquisa institucional e sua institucionalização e disseminação nos Estados Unidos. Existem diferentes definições para pesquisa institucional, embora haja consenso de que se trata de um conjunto de atividades que visam orientar o planejamento, as políticas e a tomada de decisões nas instituições de educação superior (Saupe, 1990; Volkwein; Liu; Woodell, 2012). Esse tipo de atividade já era realizada, em caráter incipiente, desde o século XVIII. No entanto, a institucionalização da pesquisa institucional só ocorreu tempos mais tarde, já em meados do século XX, quando a criação da Association of Institutional Research (AIR) consolidou esforços pregressos de disseminação da atividade no país.

Pelo menos três fenômenos ajudam a explicar as razões pelas quais a pesquisa institucional se difunde a partir do referido período: a massificação, as pressões por accountability e a mercadização. Sobre os efeitos da massificação, Trow (1973), destaca que o crescimento significativo de matrículas suscitou maior racionalização da administração das instituições de educação superior, implementando sistemas de coleta e análise de dados que pudessem balizar as políticas internas e a tomada de decisão. Nesse sentido, a criação de escritórios de pesquisa institucional guarda relação direta com a complexificação dos processos de gestão universitária.

A massificação da educação superior também reconfigurou as relações entre estado, universidade e sociedade civil (Chirikov, 2013). O crescimento do investimento público na educação superior foi acompanhado por pressões por eficiência e transparência das instituições, exigindo o desenvolvimento de estruturas de coleta e análise de dados, a serem reportados para as instituições responsáveis (Reichard, 2012). Uma das principais atribuições dos escritórios de pesquisa institucional é prover os devidos dados e relatórios de desempenho para fins de accountability (Volkwein; Liu; Woodell, 2012).

Por fim, o subsequente declínio do suporte público e o aumento da concorrência entre as IES, já na década de 1980, nos Estados Unidos, levou as instituições de educação superior a buscarem fontes próprias de receita. O foco em negócios, que, no limite, representava a própria sobrevivência financeira e reputacional das universidades, também suscitou a necessidade de coletar, gerar e produzir dados que pudessem embasar uma gestão eficiente e estratégica de recursos (Chirikov, 2013). Nesse sentido, pode-se identificar um movimento pendular, no qual ora a presença do Estado foi indutora de tais mudanças institucionais, ora seu próprio ofuscamento induzia novas práticas de gestão que também reforçaram a necessidade da pesquisa institucional.

Internacionalmente, a difusão da pesquisa institucional tem sido consequência de processos similares àqueles observados nos Estados Unidos, em que pese os contextos nacionais distintos e outros fenômenos peculiares envolvidos (Calderón; Webber, 2015). Na Europa, por exemplo, Reino Unido e Suécia foram pioneiros nas iniciativas de pesquisa institucional, realizadas por órgãos governamentais responsáveis por determinar as diretrizes para expandir a demanda por educação superior nos respectivos países. França, Itália e Espanha iniciaram suas atividades mais tardiamente, em decorrência dos processos de descentralização de seus sistemas de educação superior, suscitando diversas informações que pudessem facilitar as conexões entre universidades e agências governamentais locais (Neave, 2003).

A despeito das particularidades locais, a internacionalização da educação superior tem sido uma força propulsora significativa na disseminação global da pesquisa institucional. Chirikov (2013), cita dois modos pelos quais a internacionalização tem incentivado o desenvolvimento da pesquisa institucional globalmente. Por um lado, em alguns países e/ou universidades, as estratégias de internacionalização adotadas têm, implícita ou explicitamente, o modelo de universidade estadunidense como referência de excelência. Nesse sentido, alguns elementos consagrados na educação superior estadunidense, como a criação de fundos patrimoniais e os escritórios de pesquisa institucional, têm sido adotados em planos nacionais de internacionalização e políticas universitárias internas em outros países (Altbach; Salmi, 2011). Por outro lado, o estabelecimento de parcerias internacionais e a atração de alunos, professores e recursos estrangeiros também impõem a essas universidades a obrigação de disponibilizar informações claras e precisas para a tomada de decisão de seus stakeholders globais (Chirikov, 2013).

É nesse contexto que rankings acadêmicos têm ganhado popularidade no ramo, já que, apesar da fragilidade científica de suas medições, seu apelo midiático e a inteligibilidade de seus resultados garantem alta visibilidade para as universidades bem ranqueadas. Como consequência, várias universidades têm aprimorado suas estruturas de dados com objetivo de garantir o envio correto das informações solicitadas pelas agências de ranqueamento (Chirikov, 2013). Algumas universidades têm optado por criar escritórios de pesquisa institucional, enquanto outras têm mantido a coleta e análise de dados descentralizadas, atribuindo a algum órgão já existente a função de alimentar sistemas de ranqueamento (Taylor; Hanlon; Yorke, 2013).

A organização das atividades de pesquisa institucional e seus impactos sobre a eficiência dos processos é objeto de debate entre estudiosos. Alguns autores reivindicam que a centralização da pesquisa institucional em um só escritório, profissionalizado e dotado de recursos necessários, garante uma gestão mais eficiente (Leimer; Terkla, 2009; Volkwein; Liu; Woodell, 2012). Não obstante, algumas das principais universidades de pesquisa nos Estados Unidos optam por descentralizar as atividades em diferentes escritórios (Volkwein; Liu; Woodell, 2012).

Independentemente do grau de centralização, espera-se que escritórios de pesquisa institucional amadurecidos cumpram quatro funções fundamentais: autoridades informacionais, analistas políticos, assessoria de comunicação e órgão de pesquisa (Volkwein, 1999). Enquanto autoridades informacionais, escritórios de pesquisa institucional devem ser capazes de descrever ampla e profundamente as características acadêmicas, demográficas, sociais, raciais e econômicas das unidades de ensino, unidades administrativas e da comunidade acadêmica (professores, funcionários e alunos). Como analistas políticos, espera-se que tais escritórios deem suporte à gestão universitária, produzindo estudos que possam orientar decisões estratégicas, tais como alocações de recursos, reformas administrativas, ajustes financeiros, etc. Já a função de assessoria de comunicação implica na construção de uma imagem pública positiva da instituição, mediante organização e apresentação de dados que possam ressaltar sua qualidade. Por fim, enquanto órgão de pesquisa, espera-se que escritórios de pesquisa institucional possam produzir avaliações imparciais e desinteressadas da instituição, de modo a fornecer as informações necessárias para processos de acreditação e quaisquer outras formas de responsabilização.

Volkwein (1999), organizou essas quatro funções básicas a partir de dois eixos, procurando elucidar algumas dualidades inerentes à pesquisa institucional. O eixo vertical se refere aos papéis e culturas organizacionais, enquanto o eixo horizontal apresenta propósitos e públicos-alvo. Há, pelo menos, duas tensões fundamentais na pesquisa institucional. Por um lado, os valores profissionais e o compromisso com a pesquisa desinteressada se contrastam com atividades mais estritamente administrativas, focadas nos interesses da instituição. Por outro lado, o foco na aprendizagem e no aprimoramento organizacional pode entrar em conflito com obrigações mais imediatas, exigidas em processos de accountability.

Quadro 1
Propósitos e funções da pesquisa institucional

	Propósitos e públicos-alvo
Cultura e papel organizacional	Formativo e interno - foco em aprimoramento	Somativo e externo - foco em accountability
Administrativo e institucional	Descrever - Autoridade informacional	Argumentar - Assessor de comunicação
Acadêmico e profissional	Analisar - Analista político	Evidenciar - Órgão de pesquisa

Embora atividades relacionadas à pesquisa institucional já viessem sendo realizadas em diferentes universidades pelo mundo há muito tempo, a sua difusão global tem inscrito uma nova racionalidade na gestão universitária. Facilitada pela globalização da educação superior, a disseminação de práticas profissionais de pesquisa institucional consagradas nos Estados Unidos reforça um movimento isomórfico em torno do modelo de universidade de pesquisa estadunidense. Nas próximas seções, veremos como esse movimento tem sido facilitado pelos rankings acadêmicos internacionais e seus impactos para universidades públicas no Brasil.

3 PROCEDIMENTOS METODOLÓGICOS

A fim de compreender o surgimento de escritórios de pesquisa institucional no Brasil e a influência de rankings internacionais no processo¹, selecionamos para análise três das mais bem ranqueadas universidades brasileiras nessas classificações: a USP, a Unicamp e a UFRJ². Utilizou-se a colocação em rankings internacionais como critério considerando que a ausência de destaque nas listas globais geralmente leva as instituições a se concentrarem em outras classificações, sejam rankings nacionais ou mesmo avaliações oficiais. Após uma pesquisa preliminar de confirmação, verificou-se que, de fato, as universidades escolhidas não apenas criaram recentemente seus escritórios de pesquisa institucional, como também tiveram rankings como motivadores importantes.

A coleta de dados foi feita a partir do levantamento de documentos oficiais e atas dos conselhos universitários, no período 2010-2020, e entrevistas realizadas com dirigentes das respectivas universidades. Foram realizadas 23 entrevistas³ com professores da USP, da Unicamp e da UFRJ que ocupavam cargos de reitor, vice-reitor, pró-reitores, superintendentes e coordenadores; funcionários de diversas instâncias das administrações centrais; e membros da diretoria de associações de docentes, durante os anos de 2020 e 2022. Adotou-se o modelo de entrevistas semiestruturadas, procurando conciliar as expectativas de coleta de informações dos pesquisadores com a riqueza da espontaneidade dos entrevistados. O roteiro foi composto por perguntas específicas para cada instituição e entrevistado, organizadas por cinco eixos investigativos (comuns a todas as entrevistas): história, representação, governança, autoridade relativa e legitimidade. No eixo história, explorou-se a emergência dos rankings internacionais e as primeiras impressões causadas na instituição. O eixo representação integrou perguntas sobre como a instituição se sentiu representada pelos resultados e como reagiu à sua colocação. O eixo governança avaliou o impacto dos rankings na governança universitária, verificando se a classificação influenciou reuniões e o planejamento estratégico. No eixo autoridade relativa, analisou-se a autoridade dos rankings em comparação com outras formas de avaliação internas ou externas. Por fim, o eixo legitimidade buscou compreender como e por que os rankings conseguiram se estabelecer como avaliações legítimas da qualidade acadêmica.

A análise de documentos oficiais teve como objetivo compreender o lugar dos escritórios de pesquisa institucional nas estruturas formais das universidades, bem como as justificativas oficiais para sua criação. As atas dos conselhos universitários, por sua vez, revelaram as repercussões na comunidade acadêmica, indicando o grau de adesão de docentes e funcionários às mudanças institucionais implementadas. Por fim, as entrevistas propiciaram a possibilidade de resgatar os processos históricos de criação dos escritórios, a partir do relato de pessoas neles envolvidas.

Com base nos propósitos e funções dos escritórios de pesquisa institucional listados por Volkwein (1999), foi elaborada uma categorização dedutiva-exploratória (Miles; Huberman; Saldaña, 2014). Isso significa que as categorias foram estabelecidas previamente e depois utilizadas para caracterizar os escritórios estudados. Os documentos e entrevistas foram lidos e deles extraídas as evidências de desempenho de cada uma das funções. Posteriormente, foi realizada uma análise comparada entre os escritórios, procurando diferenciá-los em termos de grau de maturidade institucional. Para avaliar o grau de maturidade, consideramos os níveis de: i) profissionalização; ii) formalização na estrutura da universidade; iii) amplitude do escopo de atividades; iv) suporte ao planejamento e tomada de decisão.

4 ESCRITÓRIOS DE PESQUISA INSTITUCIONAL NO BRASIL

Escritórios de pesquisa institucional ganharam repercussão no Brasil a partir do projeto Métricas.edu, criado com o intuito de fomentar discussões sobre métricas de desempenho acadêmico e comparações internacionais nas universidades. A proposta surgiu a partir das reflexões sobre uma dissertação de mestrado intitulada Competing on the world stage: the University of São Paulo and global university rankings, de autoria de Justin Axel-Berg e orientada por Jacques Marcovitch, ex-reitor da USP (Axel-Berg, 2015). A boa receptividade às análises presentes na dissertação acabou mobilizando membros da banca a buscarem apoio institucional e financiamento para desenvolver um projeto que desse continuidade à pesquisa, ampliando seu escopo para além da USP. Foi assim que os envolvidos reuniram esforços com o Conselho de Reitores das Universidades Estaduais Paulistas (CRUESP) para, em 2017, criar o projeto Métricas.edu, que conta com apoio financeiro da Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP) (Entrevista 2, 2020).

O Métricas.edu é um projeto vinculado ao Programa de Políticas Públicas da FAPESP, o que significa que suas análises estão vinculadas a mudanças na governança universitária no tocante a indicadores de desempenho. Sob a coordenação de Jacques Marcovitch, o projeto conta com pesquisadores associados, além do grupo de enlace USP/Unicamp/Unesp, que inclui integrantes das administrações das três universidades. O projeto teve como seu primeiro objetivo estruturar um sistema de indicadores de desempenho acadêmico nas universidades estaduais paulistas, de modo a permitir o monitoramento e aprimoramento de seus resultados em comparações internacionais (Métricas.edu, 2017b). Para tal, seria necessária uma estreita articulação com a administração das universidades, mobilizada pelo grupo de enlace, de modo a encontrar caminhos para implementação das políticas sugeridas pelo projeto.

Desde as primeiras reuniões do projeto, ficou estabelecida como uma das suas prioridades o delineamento, estruturação e implementação de unidades de inteligência nas universidades associadas, de modo a capacitá-las para a coleta, submissão e análise de indicadores de desempenho acadêmico (Métricas.edu, 2017a). Ao menos no início do projeto, havia uma estreita associação entre métricas de desempenho acadêmico e rankings internacionais, de tal modo que dificilmente se falava de métricas que não fossem rankings. Nesse sentido, as primeiras iniciativas do Métricas.edu com relação às unidades de inteligência foram, primeiro, a elaboração de uma posição institucional sobre a relevância dos rankings acadêmicos para a gestão universitária e, segundo, a avaliação das estruturas de coleta, submissão e análise de métricas de desempenho nas universidades associadas. Deliberou-se que rankings, a despeito das suas deficiências, eram ferramentas úteis para fins de benchmarking e accountability. Ademais, segundo o Métricas.edu, as estruturas de dados das universidades estaduais paulistas eram demasiadamente responsivas, voltadas ao passado, enquanto as unidades de inteligência seriam projetadas ao futuro, subsidiando a tomada de decisão e o planejamento acadêmico (Marcovitch, 2018a).

O delineamento institucional das unidades de inteligência proposto pelo projeto toma como referência escritórios de pesquisa institucional de universidades estadunidenses. Marcovitch (2018a), cita o caso da Universidade da Califórnia, destacando o papel estratégico do Institutional Research and Academic Planning Office na gestão da informação dos seus diversos campi, produzindo evidências que possam subsidiar a avaliação institucional e a tomada de decisão em diversas dimensões do ensino superior público californiano. Nesse contexto, uma das pesquisadoras associadas, Marisa Beppu (Unicamp), visitou três universidades em Massachusetts, com o objetivo de colher informações e experiências que pudessem orientar a estruturação das unidades de inteligência nas universidades associadas (Métricas.edu, 2019).

Ao longo do tempo, o Metricas.edu foi ampliando seu escopo de atuação, deslocando a ênfase em rankings internacionais para outras temáticas. Atualmente, o projeto produz reflexões sobre seis temas interrelacionados: avaliação responsável de pesquisa, ciência aberta, curricularização da extensão, escritórios de gestão de dados, governança universitária e métricas centradas na sociedade. Esses temas estão presentes nas principais ações do Metricas.edu, são elas: organização de workshops, fóruns e seminários; curso de atualização em métricas de desempenho acadêmico e comparações internacionais, tendo como público-alvo dirigentes e funcionários de universidades; análises e recomendações atualizadas dos resultados das universidades associadas em rankings internacionais; e publicação da coleção Repensar a Universidade, que conta com três volumes (Marcovitch, 2018b, 2019, 2023). Dentre os alunos das três turmas formadas no curso de atualização, encontram-se dirigentes e funcionários dos escritórios de pesquisa institucional das três universidades analisadas nesta pesquisa.

A breve história do Métricas.edu nos revela que, embora rankings tenham sido o ponto de partida para as atividades do projeto, há em curso um processo de ampliação do escopo das suas atividades. A materialização desse escopo encontra corpo na atual proposta de se tornar um Centro de Pesquisa, Inovação e Difusão apoiado pela FAPESP (Métricas.edu, 2023). O projeto tem sido responsável pela difusão da pesquisa institucional no Brasil, seja pela organização de seminários e workshops, ou mesmo pela formação dos quadros responsáveis pela condução dos primeiros escritórios dedicados à temática no país. Enfim, de um projeto sobre rankings nasceu um think tank sobre pesquisa institucional e governança universitária (Entrevista 2, 2020).

A seguir, detalharemos o processo de estruturação das unidades de inteligência na USP e na Unicamp, e como tais experiências inspiraram a UFRJ a seguir o mesmo caminho.

5 UNIVERSIDADE DE SÃO PAULO

Antes da estruturação de um escritório de pesquisa institucional na USP, o trabalho de gestão de dados na universidade era operado pelo Grupo Permanente de Integração de Dados do Sistema Acadêmico da USP (GPID). Os integrantes do grupo eram indicados pelo reitor e representavam as diferentes instâncias nas quais dados institucionais eram produzidos (USP, 2011). Esse grupo era responsável por atender os rankings acadêmicos, sendo o representante da Superintendência de Tecnologia da Informação quem fazia a coleta e submissão dos dados. Ao restante do grupo cabia o aprimoramento e compilação dos dados dos seus respectivos setores, além da análise dos resultados obtidos (USP, 2017).

Até a criação do escritório de pesquisa institucional da USP, o que se podia verificar era uma concertação institucional dedicada a suprir uma lacuna existente entre a gestão da informação na universidade e as demandas contemporâneas por transparência e accountability. Naquele momento, a estrutura de dados da universidade refletia seu próprio modelo descentralizado de governança. Ainda que os dados dos diferentes órgãos da administração universitária fossem integrados por um repositório de dados, o planejamento e as decisões estratégicas ficavam a cargo do GPID, que era uma concertação coordenada pelo vice-reitor, sendo esta uma das suas inúmeras atribuições na administração da universidade.

No segundo semestre de 2017, o Métricas.edu começa suas atividades convidando as universidades associadas a apresentar como são realizados os processos de coleta, submissão e análise de dados para rankings acadêmicos. A partir de então, começa a haver um estreitamento entre o Métricas.edu e os membros das gestões reitorais, tendo como marco importante a realização do primeiro workshop do projeto, contando com a participação de dirigentes das três universidades estaduais paulistas.

O estreitamento dos laços entre as gestões reitorais e o Métricas.edu foi acompanhado pela confluência de objetivos no tocante à gestão de dados nas universidades. Não surpreende, pois, que, pouco menos de um ano após as primeiras reuniões do projeto, a reitoria da USP tenha decidido organizar sua unidade de inteligência: o Escritório de Gestão de Indicadores de Desempenho Acadêmico (EGIDA). Instituído pela Portaria GR N° 7256, de 29 de Junho de 2018, o Egida foi instituído com os seguintes objetivos: i) operacionalização do Portal da Transparência da USP; ii) criação e aprimoramento de indicadores de desempenho; iii) elaboração e publicação do Anuário Estatístico da USP; iv) facilitação do acesso à informação ao público externo, com informações mais claras e eficazes; v) aprimoramento do sistema de coleta, processamento e análise de dados da universidade; vi) interlocução com agências responsáveis pela realização de rankings acadêmicos nacionais e internacionais (USP, 2018). O Egida reporta-se diretamente ao Gabinete do Reitor, que é o responsável por nomear o coordenador do escritório.

Em um breve exercício de comparação, é possível notar que o Egida assume as atribuições outrora sob responsabilidade do GPID. Optou-se, pois, pela centralização da gestão estratégica dos dados, agora sob a coordenação de um docente dedicado ao tema. Além de um coordenador e um vice-coordenador, outros três funcionários integram a equipe do escritório. Dada a ausência de profissionalização da pesquisa institucional no país, a composição da equipe se deu menos sob critérios técnicos e mais pelo interesse de funcionários da administração da universidade. Com exceção de um dos funcionários que tinha experiência em bibliometria, e já havia trabalhado com rankings, os demais foram escolhidos a partir de um sistema de recrutamento interno, tendo como critério a manifestação de interesse e a compatibilidade de expectativas (Entrevistas 8, 9, 10).

A princípio, não houve treinamento e capacitação técnica dos funcionários para o desenvolvimento das atividades do escritório. Não obstante, o curso de atualização do Métricas.edu acabou preenchendo, ainda que parcialmente, a lacuna existente, já que todos os três funcionários à época participaram do curso. A falta de estrutura e procedimentos regulares para o treinamento de funcionários na universidade também resulta naquilo que eles próprios denominaram de aprendizagem sob demanda, isto é, a própria rotina de trabalho exige conhecimentos mínimos necessários para execução das atividades.

Isso é uma coisa, na verdade, característica da Universidade; [...] essa dificuldade em fazer uma preparação, uma formação complementar, quando você muda de área; ou mesmo, quando você entra, se não for a sua área de trabalho específico. Esse é o primeiro treinamento oficial [o curso oferecido pelo projeto] relacionado a métricas que a gente recebe. De resto, eu acho que, no dia-a-dia, e sobre as demandas que surgem, a gente foi aprendendo a lidar (Entrevista 8, 2021).

As ações desenvolvidas pelo Egida no período estudado evidenciam que o escritório tem atuado como autoridade informacional e assessor de comunicação da USP. Enquanto autoridade informacional, o Egida “é o principal canal institucional de consulta de dados e informações institucionais” (Entrevista 7, 2021). Desse modo, o escritório atua tanto na coleta e publicação de dados da universidade, quanto no aprimoramento e produção de novos indicadores de desempenho acadêmico (USP, 2021b). No âmbito da coleta e visualização, o Egida assumiu a responsabilidade pela produção do Anuário Estatístico e pela coleta e sistematização de dados para rankings internacionais, se tornando articulador central das informações produzidas nas diversas unidades da universidade. A mobilização pelo preenchimento do ranking Times Higher Education Impact 2020 exemplifica o papel do Egida como articulador de informações. Na ocasião, o escritório foi responsável por articular a coleta de dados referentes a todas as atividades da USP com impacto nos Objetivos de Desenvolvimento Sustentável (ODS) estipulados pela Organização das Nações Unidas. Apesar da agência THE ter exigido o preenchimento de apenas quatro ODS para a participação no ranking, o Egida logrou o preenchimento de todos os 17 (Entrevista 1, 2020).

Com relação à elaboração de indicadores, o Egida organizou Grupos de Trabalho (GTs) junto a representantes das áreas de conhecimento relacionadas, que sugeriram indicadores de desempenho relevantes, posteriormente considerados no Anuário Estatístico (USP, 2021b). O GT Indicadores para Museus, por exemplo, reuniu representantes dos diversos museus da universidade, que apontaram uma ampla gama de indicadores de desempenho pertinentes para a avaliação de suas unidades (USP, 2021a). Ao todo, quatro GTs já foram concluídos e outros quatro se encontram em andamento (USP, [s. d.]).

Enquanto assessor de comunicação, o Egida assumiu a gestão do Portal da Transparência, atuando, ainda, na coleta e sistematização de dados para fins de accountability. No ano de 2019, a Assembleia Legislativa de São Paulo instaurou uma CPI para investigar possíveis irregularidades na gestão das universidades estaduais. O Egida, enquanto órgão de suporte aos processos de accountability, assumiu a tarefa de apresentar indicadores que pudessem ressaltar a importância da USP para a sociedade paulista.

O Egida foi muito cobrado para dar sustentação às nossas lideranças, para responder questionamento de uma CPI, na Assembleia Legislativa do Estado de São Paulo, que queria... e, queria, porque queria dizer que as universidades estaduais paulistas são pouco eficientes; na verdade, que elas consomem muitos recursos e elas não retornam nada para a sociedade. Muito difícil. Muito difícil. Então, o Egida ficou buscando números. Para que o Reitor, para que os Pró-Reitores, fossem a esses depoimentos, muito tensos, na CPI, e apresentassem, de fato, indicadores do que a USP representa para a sociedade (Entrevista 1, 2020).

Ademais, o escritório verificou que a universidade não cumpria uma das exigências legais referentes à transparência e à responsabilidade social - a elaboração de uma Carta de Serviços ao Cidadão (USP, 2021b). Tendo isso em vista, o Egida passou a elaborar tal documento, compilando um conjunto de informações de interesse social da universidade, organizadas de modo sintético. Na carta, constam informações de alta relevância para a sociedade, tais como: cursos de extensão, museus, formas de ingresso na universidade e serviços médicos, hospitalares e odontológicos (USP, 2023).

Mais recentemente, o Egida tem investido no seu desenvolvimento enquanto analista político, no sentido de elaborar estudos que possam subsidiar a tomada de decisão na universidade. O estágio das atividades ainda é incipiente, mas já há uma avaliação do escritório acerca de que o seu aprimoramento enquanto órgão de pesquisa institucional passa necessariamente pelo desenvolvimento da sua capacidade de subsidiar a tomada de decisão na administração universitária.

Finalmente, avançando em sua missão enquanto órgão voltado ao desenvolvimento de pesquisa institucional, o Egida tem se dedicado à proposição de levantamentos e projetos de estudo que possam contribuir para o aprofundamento do autoconhecimento institucional, contribuir para a avaliação de políticas e programas adotados pela universidade e fornecer subsídios aos gestores e tomadores de decisão (USP, 2021b).

A criação do Egida revela uma nova atitude da Universidade de São Paulo diante do movimento global em torno do uso de métricas de desempenho acadêmico na gestão universitária. Assim como ocorreu no Métricas.edu, os rankings foram a porta de entrada para essa cultura institucional, que tem se desenvolvido para além das comparações internacionais na universidade. Não obstante há, pelo menos duas restrições que têm limitado o desenvolvimento do Egida enquanto escritório de pesquisa institucional, uma estrutural e outra funcional. Por um lado, a sua estrutura ainda é pouco profissionalizada. Não há treinamento técnico sistematizado para seus membros, e tampouco o escritório está incluso na estrutura formal da Universidade. Criado por portaria, o Egida poderia ser desfeito, caso alguma gestão reitoral assim achasse conveniente. Sua estruturação permanente necessita de aprovação pelo Conselho Universitário, algo ainda não proposto pelas gestões reitorais desde sua criação. Por outro lado, seu papel como autoridade informacional ainda é mais responsivo do que propositivo. Embora o Egida tenha organizado GTs para a discussão de novos indicadores de desempenho, estes foram incorporados apenas no Anuário Estatístico, como forma de aprimoramento da prestação de contas da universidade. Outras iniciativas de articulação de unidades para coleta e sistematização de dados têm respondido a demandas externas, como a CPI das Universidades e o preenchimento de rankings acadêmicos. Embora essas iniciativas de toda forma contribuam para o autoconhecimento institucional, falta-lhes o caráter estratégico para o direcionamento de políticas e programas universitários, de acordo com a tipologia de Volkwein (1999). É verdade que estudos e análises em andamento poderão contribuir para que o Egida alcance esse papel estratégico, mas a ausência de estrutura e qualificação poderão ser limitantes para a evolução da pesquisa institucional na universidade.

6 UNIVERSIDADE ESTADUAL DE CAMPINAS

As discussões do Métricas.edu sobre a criação de unidades de inteligência foram recebidas com entusiasmo na Universidade Estadual de Campinas. Além da representação no grupo de enlace, realizada pela Coordenadoria Geral da Universidade, professores da Unicamp participavam ativamente do projeto como pesquisadores associados. No decorrer das discussões, a universidade decidiu enviar sua Pró-Reitora de Desenvolvimento Universitário (PRDU) e seu Superintendente de Tecnologia da Informação para Massachusetts (EUA), com a missão de conhecer os escritórios de pesquisa institucional de três universidades: Harvard University, Massachusetts Institute of Technology e University of Massachusetts. Após a visita, a PRDU decidiu criar um GT para a discussão de modelos de escritório de pesquisa institucional, a fim de analisar o mais pertinente para ser implementado na universidade (Entrevista 5, 2022; Métricas.edu, 2019).

Na Unicamp, a criação de um escritório de pesquisa institucional foi orientada a cumprir objetivos internos e externos. Do ponto de vista interno, havia clareza por parte dos dirigentes de que a base de dados institucional - Sistema de Informação de Pesquisa e Extensão (SIPEX - 1992) - já se mostrava insuficiente para alimentar procedimentos eficientes de governança universitária. Do ponto de vista externo, constatou-se que a Unicamp não apresentava conformidade com as regras e padrões estabelecidos pela Lei de Acesso à Informação, o que levava o Tribunal de Contas do Estado de São Paulo a fazer seguidos questionamentos com relação à transparência da universidade (Atvars, 2021). Ademais, a instauração da CPI Gestão das Universidades criou uma demanda por acessibilidade de dados institucionais que alavancou a criação de um órgão dedicado à gestão de dados na universidade (Entrevista 5, 2022; Martins; Barreyro, 2023). Foi procurando responder a essas demandas internas e externas que a Unicamp criou, em 2019, o Escritório de Dados e Apoio à Decisão (EDAT).

Institucionalizado em 2020 através de um processo interno de certificação, o EDAT faz parte da estrutura permanente da universidade, integrando a Coordenadoria Geral de Universidade (CGU). O escritório é composto por uma equipe de 13 membros, em sua maioria formados na área de Tecnologia da Informação: uma assessora de gabinete, um assessor técnico, uma equipe técnica de sete pessoas e quatro colaboradores externos. Assim como ocorrido no Egida-USP, membros do EDAT também se formaram no curso de atualização do Métricas.edu (Entrevista 5, 2022).

O EDAT tem como missão gerenciar a estrutura de dados institucionais da universidade, com o objetivo de subsidiar a tomada de decisão e o planejamento estratégico, além de dar suporte aos procedimentos de transparência e accountability (UNICAMP, 2023). Essa missão é materializada em pelo menos dez macro atividades: i) Portal da Transparência Unicamp; ii) Portal Serviço de Atendimento ao Cidadão; iii) Catálogo de Dados; iv) Carta de Serviços; v) Informatização dos processos de trabalho da alta administração; vi) Indicadores e métricas para planejamento; vii) Relatórios institucionais; viii) Curadoria de dados; ix) Atuações em comitês temáticos; e x) Lei Geral de Proteção de Dados Pessoais (Atvars, 2021).

Do ponto de vista estratégico, o EDAT atua em duas frentes importantes. Nos processos de avaliação institucional, é o órgão responsável pelo fornecimento e consolidação de dados institucionais utilizados para descrever a situação da universidade (Atvars; Serafim; Carneiro, 2022). O escritório também foi desenhado para elaborar surveys e demais estudos que possam subsidiar tanto a avaliação institucional quanto a tomada de decisão.

A geração de indicadores institucionais mesmo, para a gestão; e o uso do escritório como um local para aplicar surveys na universidade, para identificação de problemas de natureza institucional, de natureza das relações humanas, as relações sociais, e assim por diante. [O escritório de dados] tem essas duas funções: uma, de captar percepções. E outra, de fazer realmente uma gestão mais hard, para fins de gestão estratégica (Entrevista 5, 2020).

No planejamento estratégico, o escritório é responsável pela coleta e explicitação dos dados que geram cada um dos indicadores de cada objetivo estipulado (Serafim; Rodrigues; Atvars, 2021). Esses objetivos e seus respectivos indicadores são definidos pela Comissão de Planejamento Estratégico Institucional (COPEI), com base no ciclo de avaliação institucional anterior. É atribuição do EDAT o monitoramento de cada um desses indicadores.

O Escritório de Dados, EDAT é o órgão da CGU que providenciará os dados necessários associados a cada indicador, para que a instituição conheça em que ponto está e que objetivos quer atingir, isto é, quais são suas metas. É a última etapa do processo de elaboração do Planes 2021-2025 e está a cargo do Escritório de Dados, que está buscando os dados para cada indicador, automatizando o que for possível, com método de trabalho sistematizado, com um processo de trabalho tecnicamente bem elaborado, com manual técnico descrevendo cada dado, sua fonte, forma de extração, com a definição dos dados e dos metadados (Serafim; Rodrigues; Atvars, 2021).

Com relação aos rankings acadêmicos, a Unicamp adotou estrutura e procedimentos distintos quando comparados à USP. Manteve-se a interação com as agências de ranqueamento no âmbito da PRDU, sob responsabilidade da mesma funcionária que já conduzia tais trabalhos antes da criação do EDAT. Ao escritório coube a tarefa de dar suporte à coleta e submissão de dados, procurando aprimorar a acessibilidade das informações requisitadas por rankings. Nesse sentido, a interação com as agências de ranqueamento figura como uma dentre tantas outras atividades que contam com o apoio do EDAT para coleta de dados. Não obstante, a importância dos rankings na criação do escritório é ressaltada pela funcionária responsável, ainda que os esforços de suporte à coleta e preenchimento tenham sido realizados a posteriori.

Foi um dos motivadores, e a gente conseguiu trabalhar mais fortemente em 2021; principalmente, depois de termos feito os indicadores estratégicos; então, os indicadores estratégicos permitiu [sic] que o Escritório alavancasse a sua estrutura, realmente trabalhasse nessa... dessa ingestão de dados de várias fontes diferentes, conseguisse ter esse conhecimento, e aí o ranking saiu de maneira mais fácil. Agora a gente já tem essa maturidade para dar conta de responder aos rankings (Entrevista 5, 2020).

A descrição aqui apresentada revela que o EDAT tem assumido pelo menos três das quatro funções fundamentais de um escritório de pesquisa institucional. Ele já responde às demandas internas e externas que motivaram sua criação: se consolidou como autoridade informacional ao centralizar a gestão de dados da universidade; e se constituiu como assessor de comunicação, pois estruturou as principais ferramentas de interação com a sociedade e conformidade com as políticas de accountability. Além disso, o escritório tem assumido funções estratégicas para o planejamento e gestão da universidade, cumprindo o papel de analista político. Dentre as atribuições que podem ser associadas a esse papel, destaca-se o suporte à avaliação institucional, o monitoramento de objetivos estratégicos através de indicadores de desempenho e a elaboração de estudos específicos para a tomada de decisão. Sobre esse último aspecto, o EDAT atualmente conduz duas pesquisas internas, uma sobre a organização administrativa dos colégios técnicos e outra sobre como as bolsas e auxílios atendem aos objetivos de inclusão e permanência na universidade.

A experiência de estruturação do EDAT revela alguns pontos importantes da relação entre rankings e pesquisa institucional. Ao manter a interação com agências de ranqueamento fora do escopo de responsabilidades do escritório, a Unicamp limitou a influência dos rankings na orientação da gestão de dados na universidade. Essa limitação se deu tanto pelo alívio das altas de demandas de coleta e preenchimento de formulários gerada pelos rankings quanto pela restrição de sua influência na escolha dos indicadores que compõem os objetivos estratégicos, estes formulados no âmbito da CGU. A própria assessoria do EDAT confirma que os esforços do escritório na facilitação da coleta e submissão de dados para rankings (realizada pela PRDU) só foram realmente empreendidos após a definição institucional de indicadores estratégicos para o planejamento e a gestão universitária. Nesse sentido, a experiência da Unicamp sugere que afastar as altas demandas geradas pelos rankings acadêmicos pode permitir que escritórios de pesquisa institucional orientem o seu desenvolvimento em torno de atividades estratégicas na governança universitária.

Não obstante, assim como ocorrido na USP, a ausência de profissionalização da pesquisa institucional no Brasil cria barreiras para a capacitação dos integrantes dos escritórios. O reconhecimento dessas barreiras levou a Unicamp a cogitar a filiação à Association of Institutional Research (AIR), ideia que acabou suspensa devido a restrições orçamentárias que se impunham à universidade durante a crise sanitária da Covid-19 (Entrevista 6, 2022). Ainda assim, os membros do EDAT acompanharam as atividades do AIR, seja pelo estudo das obras publicadas pela associação ou mesmo através de eventos organizados por ela. Essa postura do EDAT revela que, embora o Métricas.edu venha oferecendo cursos de atualização, workshops e fóruns sobre o tema, essas iniciativas ainda são restritas em alcance e propósito. Isso sugere que a falta de profissionalização da pesquisa institucional no país restringe as possibilidades de seu aprofundamento prático e teórico, principalmente pela dependência de produções científicas e práticas profissionais concernentes a um campo de educação superior bem distinto do brasileiro. A Unicamp tem tentado contornar algumas dessas limitações, traçando como meta a diversificação da equipe do EDAT, vislumbrando novas contratações com perfis diversos: pedagogos, estatísticos, economistas, analistas de big data e comunicação (Atvars, 2021). No entanto, parece que o pleno desenvolvimento dos escritórios dependerá de esforços interinstitucionais para a profissionalização da pesquisa institucional no campo da educação superior brasileira.

7 UNIVERSIDADE FEDERAL DO RIO DE JANEIRO

Assim como no ocorrido no Métricas.edu, quem abre espaço para a discussão sobre métricas de desempenho e comparações internacionais na UFRJ são os rankings acadêmicos. Durante a gestão reitoral 2019-2022, foi decidido estruturar a coleta e submissão de dados para rankings, que até então era feita por um professor designado pelo Gabinete da Reitoria. A percepção da reitoria era a de que a UFRJ tinha uma vocação internacional e os rankings globais seriam instrumentos para potencializar atividades dessa natureza. No entanto, a estrutura de dados da universidade sequer permitia acessar dados elementares, como a distribuição do corpo docente por raça e gênero. Havia uma percepção, portanto, de que a UFRJ não tinha estabelecidas as estruturas e condições necessárias para enviar dados que de fato retratassem a realidade da universidade para rankings acadêmicos. Paralelamente, o contato com a experiência do Egida-USP orientou os esforços para estruturação de dados no sentido da criação de um escritório de pesquisa institucional.

Nós precisamos olhar os rankings internacionais, por conta da internacionalização; porque a gente é uma universidade internacional desde o início. [...] Então, nós somos internacionais; mas a gente só vai ampliar a internacionalização, se a gente conseguir, também, atender os rankings. [...] Veja, havia três meses que eu tinha assumido, e ele [coordenador do Egida] me contou que a USP tinha um Escritório; [...] eu falei: “Nossa, que excelente ideia” (Entrevista 3, 2022).

A UFRJ criou, então, o Comitê de Gestão de Indicadores (GID), por meio da portaria 8701, de 7 de dezembro de 2020. Segundo o próprio documento, são atribuições do GID: i) coleta e submissão de dados para rankings; ii) análise sistemática de metodologias e base de dados utilizadas por rankings; iii) facilitar e agilizar a coleta de dados através de sistemas automatizados; iv) produzir relatórios com recomendações para melhoria dos resultados da universidade em rankings (UFRJ, 2020). Na ocasião, foram nomeados sete membros, além de uma presidente; todos docentes, exceto um assistente administrativo. A composição foi alterada posteriormente, pela Portaria N° 5237/2022, que lista nove membros: quatro docentes, quatro técnicos e um pesquisador de pós-doutorado, além da presidente.

O debate sobre métricas de desempenho acadêmico e comparações internacionais tomou um caminho distinto na UFRJ. Diferentemente das outras duas universidades aqui analisadas, a UFRJ não é membro do Métricas.edu, já que a filiação institucional no projeto é restrita às universidades estaduais paulistas. Distante do debate internacional sobre pesquisa institucional, que se tornou modelo para as discussões do Métricas.edu, a referência para a criação do GID foi o próprio Egida-USP. Ademais, foram as obras produzidas pelo Métricas.edu que orientaram os estudos do GID, evidenciando que, a despeito da sua vocação internacional, a UFRJ centrou seu debate sobre métricas de desempenho acadêmico na incipiente experiência brasileira. Observando a importância dos rankings acadêmicos no debate nacional sobre métricas de desempenho e comparações internacionais, não surpreende que a UFRJ tenha reduzido o escopo de atuação do GID às atividades relativas aos rankings.

O relatório de atividades do GID, publicado em dezembro de 2021, detalha os resultados obtidos no primeiro ano de atuação do escritório. Na primeira parte do relatório, os autores se ocupam em analisar os indicadores que compõem cada um dos rankings em foco, além de descrever o processo de preenchimento conduzido pelo GID. Considerando o alto volume de dados demandados, a complexidade da sua coleta e os prazos restritos para submissão, alguns rankings não foram preenchidos, e outros preenchidos parcialmente (UFRJ, 2021). Decidiu-se, por exemplo, que a universidade deveria se preparar melhor para o preenchimento do UI Greenmetrics, e que participaria da avaliação de apenas quatro Objetivos de Desenvolvimento Sustentável no Impact Ranking, da Times Higher Education. Além da mobilização pela coleta efetiva de dados, evitando assim a subnotificação dos resultados da universidade, o GID também procurou atualizar a sua lista de indicações de acadêmicos e empregadores para fins de preenchimento de surveys reputacionais (UFRJ, 2021). Nos rankings produzidos pela Quacquarelli Symonds, as universidades podem indicar acadêmicos e empregadores para responder uma pesquisa sobre sua reputação, que contabiliza 50% da nota final. Em estudo sobre o preenchimento dos rankings, o GID identificou que a universidade não apontava nomes desde 2015, realizando subsequentemente a indicação de 298 acadêmicos e 20 empregadores.

O relatório também analisa os resultados da UFRJ nos principais rankings internacionais, a fim de sugerir recomendações para melhoria de desempenho, descritas na última parte do documento. Em geral, foram identificadas variadas denominações à UFRJ na filiação institucional de artigos científicos. A falta de padronização também foi verificada na identificação de docentes, que por vezes apresentam mais de uma denominação nas bases de dados utilizadas por rankings. Ademais, notou-se que, comparada a outras universidades brasileiras, a UFRJ tem apresentado um bom volume de publicações, porém o número de citações recebidas se mantém em patamar abaixo dos seus pares. Por fim, também foi identificado que há subnotificação dos resultados da universidade, seja porque as bases de dados internacionais não contabilizam toda a produção brasileira, seja porque foram ignoradas as publicações científicas dos técnicos administrativos da instituição (UFRJ, 2021).

As recomendações apontadas se direcionaram mais para o aprimoramento da coleta e submissão de dados do que propriamente para mudanças estratégicas de melhoria em rankings acadêmicos. No relatório, o GID reconhece limites estruturais para aumentar o seu desempenho, restando então a tarefa de tornar mais acuradas e padronizadas as informações fornecidas pela universidade. Além disso, o GID recomenda maior integração com a Comissão Permanente de Avaliação (CPA), a fim de utilizar dados produzidos pelo escritório, ou extraídos diretamente de rankings, na avaliação institucional. Por fim, menciona-se a possibilidade de criar uma versão brasileira do U-Multirank, uma plataforma europeia de métricas de desempenho acadêmico que compara instituições de educação superior de forma multidimensional, customizável e não hierarquizada (Van Vught; Ziegele, 2012; Prado, 2022). A menção à plataforma sugere a intenção de adaptar a análise de desempenho acadêmico à realidade estrutural das instituições brasileiras (UFRJ, 2021).

A análise das atividades descritas acima nos permite concluir que o GID tem se limitado à função de assessor de comunicação (Volkwein, 1999). Ao restringir suas atividades a rankings acadêmicos, e ainda não se articular com a avaliação institucional, o GID cumpre o papel de reportar o desempenho acadêmico da UFRJ, mas ainda não consegue se constituir como uma autoridade informacional capaz de disseminar o autoconhecimento institucional. Sua estrutura ainda é temporária e pode ser desfeita por desejo da gestão reitoral, além de ser composta por uma equipe que não conta com membros em regime de dedicação exclusiva. É preciso reconhecer, no entanto, que há a intenção de fomentar uma atuação mais estratégica por parte do escritório, mas ainda não foram verificadas as condições objetivas para tal (UFRJ, 2021).

A despeito da sua vocação internacional, a UFRJ referenciou a criação do seu escritório de pesquisa institucional na nascente experiência brasileira. Diferentemente da Unicamp, que se inspirou em universidades estrangeiras com maior know how no campo da pesquisa institucional, a UFRJ se baseou na ainda incipiente experiência uspiana, além das discussões realizadas no âmbito do Métricas.edu.

Os dois livros “Repensar a Universidade”, foram extremamente importantes para mim; assim, para a reflexão interna, de poder trazer isso e repensar nas métricas, e discutir a questão dos rankings, e o que que eles significam, e como usar, não é? A ideia de que eles são retratos, mas são retratos imperfeitos. Então, [...] esse contato com a USP foi muito importante nesse momento inicial de constituição do Escritório (Entrevista 4, 2021).

A ancoragem nacional do GID fica ainda mais evidente no seu relatório de atividades. Há sugestões para que a UFRJ desenvolva um portal como o Anuário Estatístico da USP, e todas as referências bibliográficas utilizadas foram publicadas pelo Métricas.edu. Além disso, todas as universidades selecionadas como benchmarking para o desempenho da UFRJ são brasileiras (UFRJ, 2021).

Ao se balizar numa experiência ainda em construção, o GID se vê restrito ao ponto de partida da discussão sobre pesquisa institucional no Brasil: os rankings acadêmicos. Embora haja o intento de expandir seu escopo de atuação, o volume de trabalho demandado pelos rankings parece ocupar todo o escasso tempo disponível para o empenho de atividades do escritório. Além disso, a falta de condições objetivas também limita os propósitos do GID, que ainda busca um lugar estratégico na governança universitária da UFRJ.

8 CONSIDERAÇÕES FINAIS

A ascensão dos rankings internacionais na educação superior tem provocado mudanças significativas na forma como universidades coletam, produzem e analisam dados institucionais. A pressão indireta que comparações internacionais exercem sobre as universidades ranqueadas criou terreno fértil para o florescimento de uma nova cultura institucional na governança de universidades do Brasil e do mundo, pautada na gestão de uma gama variada de dados quantitativos.

A relevância dos rankings nos escritórios de pesquisa institucional tomou rumos distintos nas respectivas universidades, o que acabou influenciando as funções e ambições de cada uma delas. Enquanto a UFRJ modificou sua estrutura de dados com o objetivo estrito de atender às demandas do ranqueamento, USP e Unicamp, cada uma à sua maneira, têm procurado consolidar uma governança universitária orientada por dados. Ademais, a análise dos caminhos adotados por cada uma das universidades sugere que, paradoxalmente, rankings podem incentivar e desincentivar o desenvolvimento da pesquisa institucional. Por um lado, o preenchimento de seus formulários exige procedimentos mais sofisticados de coleta e produção de dados, o que acaba compelindo as universidades a aprimorar suas estruturas de dados. Por outro lado, o próprio volume de trabalho gerado pelos rankings e seu foco excessivo na comparação podem limitar o desenvolvimento de funções estratégicas dos escritórios.

No texto, interpretou-se o desenvolvimento da pesquisa institucional no Brasil como reflexo de uma cultura institucional influenciada pelos rankings acadêmicos internacionais. No entanto, questões relacionadas a políticas universitárias, como accountability e internacionalização, e a políticas públicas, como transparência e proteção de dados, também desempenharam um papel significativo na criação dos escritórios de pesquisa institucional. Ao enfatizar a influência dos rankings nesse processo, não buscamos atribuir uma importância excessiva a eles, mas destacar como essas classificações, historicamente periféricas no campo da educação superior, têm assumido uma relevância crescente na administração universitária. Este trabalho contribui para reflexões críticas e para o avanço dos estudos sobre as implicações da proliferação de dados de desempenho acadêmico na governança e administração universitária.

• Revisado por: André Dutra Martins, E-mail: [e-mail]
• 1
  Este artigo foi escrito no contexto da pesquisa de doutorado Rankings acadêmicos no Brasil e nos Estados Unidos: contornos locais de uma experiência global e do projeto de pesquisa Internacionalização da educação superior: usos e impactos dos rankings acadêmicos internacionais nas universidades de pesquisa no Brasil, com o apoio do CNPq.
• 2
  Para parametrizar a escolha, foram considerados os resultados das últimas edições dos rankings Quacquarelli Symonds (QS), Times Higher Education (THE) e Shanghai Ranking. USP e Unicamp possuem notório destaque regional em todos os três rankings, ocupando as duas primeiras colocações do país em dois deles (QS e THE). A inclusão de uma terceira universidade na análise decorreu da necessidade de incorporação das particularidades do sistema federal de educação superior. Consequentemente, optou-se pela UFRJ por figurar entre as melhores federais do país em todos os três rankings analisados.
• 3
  As entrevistas foram realizadas de forma remota, utilizando plataforma de videoconferência.

REFERÊNCIAS

• AKSNES, D. W.; LANGFELDT, L.; WOUTERS, P. Citations, Citation Indicators, and Research Quality: An Overview of Basic Concepts and Theories. SAGE Open, Thousand Oaks, 9(1), 2019. DOI: https://doi.org/10.1177/2158244019829575 Acesso em: 23 dez. 2024.
  » https://doi.org/10.1177/2158244019829575
• ALTBACH, P. G.; SALMI, J. The road to academic excellence: the making of worldclass research universities. Washington DC: World Bank Publications, 2011.
• ATVARS, T. D. Z. Relatório de gestão: controladoria geral da universidade. Campinas: Universidade Estadual de Campinas, 2021.
• ATVARS, T. D. Z.; SERAFIM, M. P.; CARNEIRO, A. M. Os desafios da gestão da qualidade numa universidade pública brasileira: a experiência da Unicamp. Revista de Gestão e Avaliação Educacional, Santa Maria, p. 24, 2022. Disponível em: https://periodicos.ufsm.br/regae/article/view/70275 Acesso em: 23 dez. 2024.
  » https://periodicos.ufsm.br/regae/article/view/70275
• AXEL-BERG, Justin Hugo. Competing on the world stage: the Universidade de São Paulo and global universities rankings. 2015. Dissertação (Mestrado em Relações Internacionais) - Instituto de Relações Internacionais, University of São Paulo, São Paulo, 2015. Disponível em: http://www.teses.usp.br/teses/disponiveis/101/101131/tde-12082015-161448/ Acesso em: 23 dez. 2024.
  » http://www.teses.usp.br/teses/disponiveis/101/101131/tde-12082015-161448/
• BARREYRO, G. B.; SANTOS, P. P.; FERREIRA, F. B. Rankings acadêmicos internacionais nas mídias de duas universidades de pesquisa brasileiras. Avaliação: Revista da Avaliação da Educação Superior, Campinas; Sorocaba, v. 26, n. 3, p. 822-844, set. 2021. Disponível em: https://www.scielo.br/j/aval/a/zmpqBP9NtRMNmVCfLqbZqKP/ Acesso em 18 dez. 2024.
  » https://www.scielo.br/j/aval/a/zmpqBP9NtRMNmVCfLqbZqKP/
• CABELLO, A. F.; IMBROISI, D. Rankings Universitários Internacionais: evidências de vieses geográficas e orçamentárias para intuições brasileiras. Avaliação: Revista da Avaliação da Educação Superior, Campinas; Sorocaba, v. 24, n. 3, p. 637-657, set. 2019. Disponível em: https://www.scielo.br/j/aval/a/Pt56ppPjRQQBtbPJPxQ9Bxq/ Acesso em 23 dez. 2024.
  » https://www.scielo.br/j/aval/a/Pt56ppPjRQQBtbPJPxQ9Bxq/
• CALDERÓN, A. I.; FRANÇA, C. M. Rankings acadêmicos na educação superior: tendências da literatura ibero-americana. Avaliação: Revista da Avaliação da Educação Superior, Campinas; Sorocaba, v. 23, n. 2, 2019. Disponível em: https://periodicos.uniso.br/avaliacao/article/view/3484 Acesso em: 18 dez. 2024.
  » https://periodicos.uniso.br/avaliacao/article/view/3484
• CALDERON, A. J.; WEBBER, K. L. Institutional research, planning, and decision support in higher education today. In: INSTITUTIONAL research and planning in higher education London: Routledge, 2015. p. 3-15.
• CHIRIKOV, I. Research universities as knowledge networks: the role of institutional research. Studies in Higher Education, London, v. 38, n. 3, p. 456-469, 2013. DOI: https://doi.org/10.1080/03075079.2013.773778 Acesso em: 23 ago. 2024
  » https://doi.org/10.1080/03075079.2013.773778
• EM EVENTO no Tocantins, Jair Bolsonaro diz que aluno de universidades brasileiras “faz tudo, menos estudar”. G1, Tocantins, 12 dez. 2019. Disponível em: https://g1.globo.com/to/tocantins/noticia/2019/12/12/em-evento-no-tocantins-jairbolsonaro-diz-que-aluno-de-universidades-brasileiras-faz-tudo-menosestudar.ghtml Acesso em: 27 jul. 2023.
  » https://g1.globo.com/to/tocantins/noticia/2019/12/12/em-evento-no-tocantins-jairbolsonaro-diz-que-aluno-de-universidades-brasileiras-faz-tudo-menosestudar.ghtml
• ERKKILÄ, T.; PIIRONEN, O. What Counts as World Class? Global University Rankings and Shifts in Institutional Strategies. In: RIDER, Sharon et al. (org.). World Class Universities: a contested concept. Singapore: Springer Nature, 2020. p. 171-196. DOI: https://doi.org/10.1007/978-981-15-7598-3_11 Acesso em: 19 jul. 2023.
  » https://doi.org/10.1007/978-981-15-7598-3_11
• HAZELKORN, E. Rankings and the reshaping of higher education: the battle for world-class excellence. New York: Springer, 2011.
• INDEPENDENT EXPERT GROUP. Statement on Global University Rankings Kuala Lumpur: United Nations University, 2023.
• LEIMER, C.; TERKLA, D. G. Laying the foundation: Institutional research office organization, staffing, and career development. New Directions for Institutional Research, Louisville, v. 2009, n. 143, p. 43-58, 2009. DOI: https://doi.org/10.1002/ir.304 Acesso em: 26 jun. 2024.
  » https://doi.org/10.1002/ir.304
• MARCOVITCH, J. Monitoramento das métricas de desempenho acadêmico. In: MARCOVITCH, Jacques (org.). Repensar a universidade I: desempenho acadêmico e comparações internacionais. São Paulo: Com-Art, 2018a. Disponível em: https://www.livrosabertos.abcd.usp.br/portaldelivrosUSP/catalog/book/224 Acesso em: 23 dez. 2024.
  » https://www.livrosabertos.abcd.usp.br/portaldelivrosUSP/catalog/book/224
• MARCOVITCH, J. (org.). Repensar a universidade I: desempenho acadêmico e comparações internacionais. São Paulo: Com-Art, 2018b.
• MARCOVITCH, J. et al Repensar a Universidade II: impactos para a sociedade. São Paulo: Com-Art, 2019. Disponível em: https://www.livrosabertos.abcd.usp.br/portaldelivrosUSP/catalog/book/411 Acesso em: 23 dez. 2024.
  » https://www.livrosabertos.abcd.usp.br/portaldelivrosUSP/catalog/book/411
• MARCOVITCH, J. et al Repensar a Universidade III: saberes e práticas. São Paulo: ECA/USP, 2023. Disponível em: https://www.livrosabertos.abcd.usp.br/portaldelivrosUSP/catalog/book/1173 Acesso em: 16 dez. 2023.
  » https://www.livrosabertos.abcd.usp.br/portaldelivrosUSP/catalog/book/1173
• MARTINS, A. D.; BARREYRO, G. B. Instruments of accountability in Brazilian higher education: academic rankings in the parliamentary inquiry commission on the administration of São Paulo state universities. Education Policy Analysis Archives, [S.L], v. 31, 2023. Disponível em: https://epaa.asu.edu/index.php/epaa/article/view/7398 Acesso em: 23 dez. 2024.
  » https://epaa.asu.edu/index.php/epaa/article/view/7398
• MÉTRICAS.edu. Encontro na UNESP e reunião dos pesquisadores associados na FEA/USP Pró-Memória São Paulo: Métricas.edu, 2017a. Disponível em: https://metricas.usp.br/assets/docs/Pro_Memoria_Pre_Workshop_221117_FAPESP_v15 1217.pdf Acesso em 23 dez. 2024.
  » https://metricas.usp.br/assets/docs/Pro_Memoria_Pre_Workshop_221117_FAPESP_v15 1217.pdf
• MÉTRICAS.edu. Pró-memória da reunião de pesquisadores associados São Paulo: Métricas.edu, 2023. Disponível em: https://metricas.usp.br/wpcontent/uploads/2023/04/Projeto-Metricas-Pro-Memoria-reuniao-de-pesquisadoresassociados-30.03.23-150423.pdf Acesso em 23 dez. 2024.
  » https://metricas.usp.br/wpcontent/uploads/2023/04/Projeto-Metricas-Pro-Memoria-reuniao-de-pesquisadoresassociados-30.03.23-150423.pdf
• MÉTRICAS.edu. Pró-memória do pré-workshop São Paulo: Métricas.edu, 2017b. Disponível em: https://metricas.usp.br/assets/docs/Pro_Memoria_Pre_Workshop_221117_FAPESP_v15 1217.pdf Acesso em: 23 dez. 2024.
  » https://metricas.usp.br/assets/docs/Pro_Memoria_Pre_Workshop_221117_FAPESP_v15 1217.pdf
• MÉTRICAS.edu. Unicamp’s visit MIT_HARVARD_UMASS related to institutional research São Paulo: Métricas.edu, 2019. Disponível em: https://metricas.usp.br/assets/docs/dez-18/AnexoI_170419_Unicamp_visits_to_MIT_Harvard&UMass_020519.pdf Acesso em: 23 dez. 2024.
  » https://metricas.usp.br/assets/docs/dez-18/AnexoI_170419_Unicamp_visits_to_MIT_Harvard&UMass_020519.pdf
• MILES, M. B.; HUBERMAN, A. M.; SALDAÑA, J. Qualitative data analysis Thousand Oaks: SAGE, 2014.
• NEAVE, G. Institutional Research: from case study to strategic instrument. In: BEGG, R. (org.). The dialogue between higher education research and practice Dordrecht: Springer Netherlands, 2003. p. 3-14.
• PRADO, A. F. B. A. Avaliação acadêmica multidimensional com o uso do “UMultirank”. Avaliação: Revista da Avaliação da Educação Superior, Campinas; Sorocaba, v. 27, n. 1, p. 159-182, jan. 2022. DOI: https://doi.org/10.1590/S141440772022000100009 Acesso em: 23 Jan. 2023.
  » https://doi.org/10.1590/S141440772022000100009
• REICHARD, D. J. The history of institutional research. In: THE HANDBOOK of Institutional Research San Francisco: Jossey-Bass, 2012. p. 3-21.
• SALMI, J. Iniciativas de excelência para formar universidades de classe mundial: funcionam? In: CALDERON, A. et al. (org.). A construção de universidades de classe mundial e rankings acadêmicos no espaço do ensino superior de língua portuguesa e em outras realidades do mundo Brasilia: Anpae, 2023. Disponível em: https://lume.ufrgs.br/bitstream/handle/10183/267706/001185675.pdf?sequence=1&isAllowed=y . Acesso em: 23 dez. 2024.
  » https://lume.ufrgs.br/bitstream/handle/10183/267706/001185675.pdf?sequence=1&isAllowed=y
• SAUPE, J. L. The functions of institutional research. Tallahassee: The association for institutional research, 1990. Disponível em: https://eric.ed.gov/?id=ED319327 Acesso em: 27 jul. 2023.
  » https://eric.ed.gov/?id=ED319327
• SENADO FEDERAL. Avaliação do Programa Ciência sem Fronteiras Brasília: Senado Federal, 2015. Disponível em: https://www12.senado.leg.br/institucional/datasenado/arquivos/avaliacao-doprograma-ciencia-sem-fronteiras Acesso em: 27 jul. 2023.
  » https://www12.senado.leg.br/institucional/datasenado/arquivos/avaliacao-doprograma-ciencia-sem-fronteiras
• SERAFIM, M. P.; RODRIGUES, S. D.; ATVARS, T. D. Z. Indicadores estratégicos - elementos essenciais para o desenvolvimento institucional. Jornal Unicamp, Campinas, 26 mar. 2021. Disponível em: https://unicamp.br/unicamp/noticias/2021/03/26/indicadores-estrategicoselementos-essenciais-para-o-desenvolvimento/ Acesso em: 22 dez. 2024.
  » https://unicamp.br/unicamp/noticias/2021/03/26/indicadores-estrategicoselementos-essenciais-para-o-desenvolvimento/
• TAYLOR, J.; HANLON, M.; YORKE, M. The evolution and practice of institutional research. New Directions for Institutional Research, Louisville, v. 2013, n. 157, p. 59-75, 2013. DOI: https://doi.org/10.1002/ir.20039 Acesso em: 21 mar. 2024
  » https://doi.org/10.1002/ir.20039
• TROW, M. Problems in the transition from elite to mass higher education Berkeley: Carnegie commission on higher education, 1973. Disponível em: https://eric.ed.gov/?id=ED091983 Acesso em: 27 jul. 2023.
  » https://eric.ed.gov/?id=ED091983
• UFRJ. Portaria n^o 8701, de 7 de dezembro de 2020 Rio de Janeiro: UFRJ, 2020. Disponível em: https://pr2.ufrj.br/pdfs/portaria_8701_2020 Acesso em: 21 mar. 2024.
  » https://pr2.ufrj.br/pdfs/portaria_8701_2020
• UFRJ. Programa de Gestão de Indicadores de Desempenho (GID). Relatório Anual. Rio de Janeiro: UFRJ, 2021. Disponível em: https://pr2.ufrj.br/pdfs/relatorio_GID_2021 Acesso em: 23 dez. 2024.
  » https://pr2.ufrj.br/pdfs/relatorio_GID_2021
• UNICAMP. EDAT. Principal Campinas, 2023. Disponível em: https://www.dados.unicamp.br/ Acesso em: 3 ago. 2023.
  » https://www.dados.unicamp.br/
• USP. Carta de Serviços da Universidade de São Paulo São Paulo: USP, 2023. https://jornal.usp.br/wpcontent/uploads/2023/03/carta_de_servicos_da_usp_2023.pdf Acesso em: 23 dez. 2024.
  » https://jornal.usp.br/wpcontent/uploads/2023/03/carta_de_servicos_da_usp_2023.pdf
• USP. Indicadores. São Paulo: EGIDA, 2023. Disponível em: https://egida.usp.br/indicadores-2/ Acesso em: 27 jul. 2023.
  » https://egida.usp.br/indicadores-2/
• USP. Indicadores para museus e coleções: propostas para a Universidade de São Paulo. São Paulo: USP, 2021a. Disponível em: http://egida.usp.br/wpcontent/uploads/sites/508/2021/03/Relato-do-trabalho-realizado-entre-novembrode-2019-e-julho-de-2020-GT-Indicadores-Museus.pdf Acesso em: 27 jul. 2023.
  » http://egida.usp.br/wpcontent/uploads/sites/508/2021/03/Relato-do-trabalho-realizado-entre-novembrode-2019-e-julho-de-2020-GT-Indicadores-Museus.pdf
• USP. Memorial das atividades Aucani (2014-2017) São Paulo: USP, 2017.
• USP. Portaria GR N^o 5075, de 25 de maio de 2011. São Paulo: USP, 2011. Disponível em: https://leginf.usp.br/?portaria=portaria-gr-no-5075-de-25-de-maio-de-2011-2 Acesso em: 27 jul. 2023.
  » https://leginf.usp.br/?portaria=portaria-gr-no-5075-de-25-de-maio-de-2011-2
• USP. Portaria GR N^o 7256, de 29 de junho de 2018. São Paulo: USP, 2018. Disponível em: https://leginf.usp.br/?portaria=portaria-gr-no-7256-de-29-de-junho-de-2018 Acesso em: 27 jul. 2023.
  » https://leginf.usp.br/?portaria=portaria-gr-no-7256-de-29-de-junho-de-2018
• USP. Relatório de gestão. Escritório de Gestão de Indicadores de Desempenho Acadêmico (EGIDA). São Paulo: USP, 2021b. Disponível em: https://www5.usp.br/storage/2021/11/Relatorio-de-Gestao-2018-2021_EGIDA.pdf Acesso em: 27 jul. 2023.
  » https://www5.usp.br/storage/2021/11/Relatorio-de-Gestao-2018-2021_EGIDA.pdf
• VAN VUGHT, F. A.; ZIEGELE, F. (ed.). Multidimensional ranking: the design and development of U-Multirank. New York: Springer Science & Business Media, 2012.
• VOLKWEIN, J. F. The Four Faces of Institutional Research. New directions for institutional research, Louisville, v. 1999, n. 104, p. 9-19, 1999. Disponível em: https://doi.org/10.1002/ir.10401 Acesso em: 20 fev. 2023.
  » https://doi.org/10.1002/ir.10401
• VOLKWEIN, J. F.; LIU, Y.; WOODELL, J. The structure and functions of institutional research offices. In: THE HANDBOOK of institutional research San Francisco: Jossey-Bass, 2012. p. 22-39.
• WALTERS, W. H. Citation-based journal rankings: key questions, metrics, and data sources. IEEE Access, [S.l.], v. 5, p. 22036-22053, 2017.
• YUDKEVICH, M.; ALTBACH, P. G.; RUMBLEY, L. E. The global academic rankings game: changing institutional policy, practice, and academic life. London: Routledge, 2016.

• Editor de seção: André Pires | Editora de Layout: Silmara Pereira da Silva Martins

Datas de Publicação

• Publicação nesta coleção
  21 Jul 2025
• Data do Fascículo
  2025

Histórico

• Recebido
  03 Jul 2024
• Aceito
  23 Jan 2025
• Revisado
  14 Abr 2025