GESTÃO EDITORIAL BASEADA EM DADOS: UM MODELO DE INDICADORES APLICADO À REVISÃO POR PARESRESUMO
Objetivo: Caracterizar o processo de revisão por pares do periódico Cadernos Ibero-Americanos de Direito Sanitário (CIADS), no período de 2015 a 2025, a partir da construção e aplicação de um modelo de indicadores analíticos, derivados dos metadados do Open Journal Systems (OJS) e integrados a ferramentas de Business Intelligence.
Método: Estudo documental, descritivo e quantitativo, de natureza longitudinal retrospectiva. Os metadados do módulo Review Report foram extraídos em formato CSV, submetidos a procedimentos de limpeza, padronização e modelagem, e transformados em indicadores editoriais relacionados às designações de avaliadores, à participação geográfica, à distribuição temporal das avaliações concluídas, às categorias de recomendação e às intervenções editoriais. As análises foram operacionalizadas por meio de medidas analíticas e da visualização dos resultados em painéis no Power BI.
Resultados: Foram identificadas 1.119 designações envolvendo 235 avaliadores, resultando em 898 pareceres concluídos. O fluxo avaliativo caracterizou-se pela concentração recorrente de convites em um núcleo restrito de revisores, pela participação internacional com caráter complementar à base nacional e pela ocorrência de três fases temporais distintas ao longo da série histórica. As recomendações predominantes foram “Aceitar” (40,91%) e “Correções obrigatórias” (37,9%). O acompanhamento editorial envolveu o envio de 344 lembretes e o registro de 44 cancelamentos.
Conclusões: A integração entre os metadados do OJS e ferramentas de Business Intelligence possibilitou a transformação de registros operacionais em evidências analíticas descritivas, tornando visíveis padrões estruturais, assimetrias e dinâmicas do processo de revisão por pares. O modelo de indicadores proposto mostrou-se de baixo custo e aplicável a periódicos científicos de diferentes perfis, dentro dos limites dos dados disponíveis e do escopo metodológico adotado.
PALAVRAS-CHAVE:
Revisão por pares; Gestão editorial; Indicadores editoriais; Business Intelligence; Open Journal Systems.
ABSTRACT
Objective: To characterize the peer review process of the journal Cadernos Ibero-Americanos de Direito Sanitário (CIADS) between 2015 and 2025 through the construction and application of an analytical indicator model derived from Open Journal Systems (OJS) metadata and integrated with Business Intelligence tools.
Method: A documentary, descriptive, and quantitative study with a retrospective longitudinal design. Metadata from the Review Report module were extracted in CSV format, subjected to cleaning, standardization, and modeling procedures, and transformed into editorial indicators related to reviewer assignments, geographic participation, temporal distribution of completed reviews, recommendation categories, and editorial interventions. Analyses were operationalized through analytical measures and the visualization of results in Power BI dashboards.
Results: A total of 1,119 reviewer assignments involving 235 reviewers were identified, resulting in 898 completed reviews. The review process was characterized by the recurrent concentration of invitations among a restricted group of reviewers, international participation with a complementary role to the national base, and the occurrence of three distinct temporal phases over the historical series. The predominant recommendations were “Accept” (40.91%) and “Mandatory revisions” (37.9%). Editorial follow-up included 344 reminders and 44 cancellations.
Conclusions: The integration of OJS metadata with Business Intelligence tools enabled the transformation of operational records into descriptive analytical evidence, making visible structural patterns, asymmetries, and dynamics of the peer review process. The proposed indicator model proved to be low-cost and applicable to scientific journals with different profiles, within the limits of the available data and the adopted methodological scope.
KEYWORDS:
Peer review; Editorial management; Editorial indicators; Business Intelligence; Open Journal Systems.
1 INTRODUÇÃO
A revisão por pares constitui um dos pilares centrais da comunicação científica contemporânea, desempenhando papel fundamental na validação, qualificação e legitimação dos manuscritos submetidos à publicação. Trata-se de um processo coletivo no qual especialistas analisam criticamente os trabalhos, emitem recomendações e subsidiam as decisões editoriais, contribuindo para a confiabilidade e a credibilidade da produção científica (Ross-Hellauer, 2017). Apesar de sua centralidade, a literatura tem apontado limitações estruturais persistentes nesse sistema, como a sobrecarga e a disponibilidade restrita de avaliadores, variações na responsividade, inconsistências nos pareceres e dificuldades relacionadas ao engajamento e à institucionalização do trabalho avaliativo (Farias; Santos, 2023; Horta; Jung, 2024; Tennant et al., 2017).
As modalidades de revisão por pares refletem diferentes estratégias institucionais voltadas à mitigação de vieses, à preservação da integridade do processo avaliativo e à ampliação da transparência. Modelos como o single-blind e o double-blind buscam reduzir influências associadas à autoria, embora o anonimato apresente limites amplamente reconhecidos, sobretudo em comunidades científicas restritas ou altamente especializadas (Ross-Hellauer, 2017; Tennant et al., 2017). No contexto da ciência aberta, a revisão por pares aberta incorporou práticas como a identificação de revisores e publicização dos pareceres, ampliando a responsabilização dos atores envolvidos e intensificando o debate normativo em torno do processo avaliativo (Pedri; Araújo, 2021). Observam-se, ainda, abordagens híbridas que combinam diferentes graus de anonimato e abertura, indicando que a robustez do peer review depende não apenas de escolhas normativas, mas também de condições operacionais concretas das equipes editoriais.
Independentemente do modelo adotado, a integridade da revisão por pares exige a observância de princípios éticos como confidencialidade, imparcialidade, manejo adequado de conflitos de interesse e precisão dos julgamentos, conforme estabelecido pelas diretrizes do Committee on Publication Ethics (COPE, 2017). A operacionalização desses princípios, contudo, depende da capacidade das equipes editoriais de acompanhar empiricamente o funcionamento do processo avaliativo, o que demanda instrumentos que tornem visíveis padrões de participação, assimetrias e intervenções editoriais, especialmente em contextos institucionais com recursos operacionais mais restritos.
Nesse contexto, os metadados gerados pelo Open Journal Systems (OJS) configuram-se como fonte relevante de informação sobre o funcionamento do fluxo editorial científico. O sistema, adotado no Brasil como Sistema Eletrônico de Editoração de Revistas (SEER) em 2003 e consolidado em versões mais recentes, especialmente após o lançamento da versão 3.0, em 2016, com a retomada do nome original como OJS (Vanz; Silveira, 2020), registra de forma estruturada eventos do fluxo editorial, como submissões, convites, confirmações, prazos, lembretes, conclusões e recomendações. Essa arquitetura contribui para a centralização do fluxo editorial e para o fortalecimento da autonomia das equipes editoriais (Vechi; Shintaku, 2025).
Apesar da riqueza informacional desses registros, a prática editorial frequentemente se restringe a métricas operacionais básicas (Marchiori et al., 2018), o que limita a capacidade analítica sobre o funcionamento do processo avaliativo. Como consequência, padrões relevantes, tais como a concentração de designações, a recorrência de avaliadores, a participação internacional e a distribuição das intervenções editoriais, tendem a permanecer pouco visíveis na gestão cotidiana dos periódicos, configurando um descompasso entre o potencial analítico do OJS e seu uso efetivo.
A literatura sobre indicadores de gestão oferece um referencial consistente para a transformação de registros operacionais em informação analítica estruturada. Trzesniak (2014) destaca que indicadores eficazes devem ser conceitualmente claros, rastreáveis e reprodutíveis, enquanto Spudeit, Werlang e Presser (2012) argumentam que tais instrumentos tornam visíveis estruturas e comportamentos institucionais que permanecem ocultos no cotidiano editorial. Ainda assim, a adoção sistemática de indicadores editoriais permanece limitada, em parte em razão da ausência de padronização e da insuficiente integração entre sistemas de editoração e ferramentas analíticas.
As ferramentas de Business Intelligence (BI) ampliam essas possibilidades ao permitir a integração, a modelagem e a visualização dinâmica de dados, com vistas ao suporte à tomada de decisão (Turban et al., 2011). Entre essas ferramentas, o Power BI destaca-se por viabilizar a construção de painéis interativos capazes de consolidar informações dispersas e apoiar análises multiescalares. Contudo, persistem lacunas na literatura quanto à aplicação sistemática de técnicas de BI aos metadados do OJS, configurando um campo metodológico ainda pouco explorado.
Esse contexto torna particularmente relevante o desenvolvimento de modelos analíticos baseados em indicadores operacionais derivados do OJS e integrados a ferramentas de BI, não como mero recurso tecnológico, mas como instrumento de sistematização e leitura qualificada do fluxo editorial. Ao converter registros operacionais dispersos em indicadores rastreáveis, esses modelos permitem acompanhar dimensões estruturais do processo avaliativo, como a internacionalização, a diversidade do corpo avaliador, a regularidade dos fluxos e as intervenções editoriais. Na ausência desse suporte analítico, tais dimensões tendem a permanecer fragmentadas na gestão cotidiana dos periódicos.
Diante desse cenário, o periódico Cadernos Ibero-Americanos de Direito Sanitário (CIADS) foi selecionado como objeto empírico em razão de seu acesso aberto, da disponibilidade de uma ampla série histórica de metadados avaliativos no OJS e da consolidação de seu fluxo de revisão por pares ao longo do período analisado. Inserido no campo do direito sanitário e orientado por uma proposta editorial de recorte ibero-americano (Delduque; Alves, 2021), o periódico constitui um contexto adequado para examinar, por meio de indicadores editoriais, a organização e o funcionamento do processo avaliativo.
Assim, o presente estudo busca responder à seguinte questão: como a aplicação de ferramentas de Business Intelligence ao OJS pode transformar dados operacionais da revisão por pares em indicadores analíticos? Para tanto, descreve e modela os metadados do sistema, constrói indicadores rastreáveis e apresenta visualizações integradas destinadas a apoiar decisões editoriais informadas por dados, contribuindo para a capacidade diagnóstica das equipes editoriais e para a análise da governança do processo avaliativo.
2 METODOLOGIA
Esta seção apresenta o delineamento, o corpus, o recorte temporal, os procedimentos de extração e preparação dos metadados, a modelagem das variáveis, a matriz de indicadores e as técnicas analíticas adotadas.
2.1 Desenho do estudo
Trata-se de um estudo documental, descritivo e quantitativo, de natureza longitudinal retrospectiva, fundamentado nos registros operacionais do OJS. A abordagem adotada envolveu a organização, o tratamento e a análise longitudinal dos registros do fluxo avaliativo do periódico CIADS, abrangendo uma série histórica de dez anos.
2.2 Fonte dos dados e unidade analítica
O corpus foi constituído a partir do relatório Review Report do OJS da revista CIADS, que reúne metadados referentes às designações de avaliadores, incluindo informações sobre convites, confirmações, lembretes, cancelamentos e recomendações.
A unidade analítica adotada foi a designação individual, por representar o nível mais granular do processo de revisão por pares e permitir a observação dos eventos operacionais registrados ao longo do fluxo avaliativo.
2.3 Recorte temporal
Foram analisados registros do período de 5 de maio de 2015 a 19 de maio de 2025, correspondente ao intervalo integral disponível no relatório Review Report do OJS. O recorte temporal decorreu da própria disponibilidade dos metadados no sistema.
2.4 Extração e preparação dos metadados
A base de dados foi exportada em formato CSV diretamente do módulo Review Report, preservando sua estrutura original. O Quadro 1 apresenta a matriz explicativa dos metadados do documento.
A preparação dos dados considerou quatro etapas:
-
1) exclusão de registros irrelevantes, como contas de teste e variáveis qualitativas não utilizadas na construção dos indicadores;
-
2) verificação de integridade, com checagem de duplicidades e de consistência temporal entre os eventos registrados, considerando que o campo de status final não pôde ser utilizado em razão de uma possível falha de tradução associada à instalação ou à atualização de plugins1 do OJS da revista, o que impediu sua correta renderização no Review Report;
-
3) utilização do metadado País tal como informado no OJS, sem preenchimento automático ou inferências externas; e
-
4) exclusão das variáveis temporais relacionadas a prazos, atrasos e duração das etapas avaliativas, cuja análise demandaria procedimentos de padronização e reconstrução sequencial não compatíveis com os objetivos analíticos deste estudo. Dessa forma, a dimensão temporal considerada limita-se à distribuição cronológica dos eventos de avaliação concluída, por mês e ano, a partir de indicadores operacionais diretamente observáveis nos metadados do OJS.
2.5 Modelagem das variáveis
A modelagem foi conduzida no Power Query2, com a organização e o tratamento das variáveis utilizadas na construção dos indicadores analíticos. Os campos Avaliador e ID da Submissão foram mantidos como variáveis de identificação, garantindo a rastreabilidade entre os registros e o vínculo entre designações e avaliações concluídas.
As etapas da modelagem compreenderam:
-
1) organização das variáveis em grupos analíticos:
-
● temporais, correspondentes aos campos de data registrados no OJS utilizados em seu formato original (YYYY-MM-DD hh:mm:ss)3, para fins de ordenação e análise cronológica;
-
● geográficas, relativas ao campo País, mantido conforme informado pelos avaliadores no sistema, sem padronização ou preenchimento automático;
-
● operacionais, relacionadas aos eventos do fluxo editorial, incluindo lembretes, cancelamentos, confirmações e conclusões; e
-
● decisórias, associadas às categorias originais de recomendação dos avaliadores (“Aceitar”; “Rejeitar”; “Correções obrigatórias”; “Ver comentários”; “Submeter novamente para avaliação”; “Submeter a outra revista”).
-
-
2) identificação das designações canceladas, conforme os registros originais do OJS, com base no campo binário Cancelado (valores “Sim”/“Não”), que indica designações encerradas ou mantidas ativas no sistema.
-
3) identificação de cancelamentos administrativos, realizada pelo cruzamento entre as colunas Conclusão e Cancelado, caracterizando casos em que o parecer havia sido entregue antes do registro do cancelamento no sistema.
2.6 Construção dos Indicadores editoriais
A matriz de indicadores (Quadro 2) foi elaborada a partir das etapas de preparação e modelagem dos dados, fundamentada nos princípios de clareza conceitual, rastreabilidade e reprodutibilidade propostos por Trzesniak (2014). Os indicadores foram organizados em cinco eixos analíticos:
-
1) distribuição das designações;
-
2) internacionalização (diversidade e intensidade de participação);
-
3) distribuição temporal das avaliações concluídas;
-
4) padrões de recomendação dos avaliadores;
-
5) intervenções editorais no processo avaliativo (lembretes e cancelamentos).
Cada indicador foi estruturado com definição operacional, finalidade analítica, metadados envolvidos e forma de apuração, assegurando transparência metodológica, rastreabilidade, e consistência na interpretação dos resultados.
2.7 Procedimentos analíticos e visualização de dados
A partir da matriz de indicadores editoriais construída, as análises foram conduzidas no Power BI4, contemplando:
-
1) a construção de uma tabela analítica central derivada do módulo Review Report, após procedimentos de limpeza, padronização e organização dos metadados;
-
2) a definição de medidas analíticas em Data Analysis Expressions (DAX)5, voltadas à contagem de eventos, à identificação de unidades distintas e à aplicação de filtros condicionais, permitindo a operacionalização dos indicadores propostos;
-
3) a elaboração de visualizações gráficas selecionadas conforme a natureza dos indicadores, incluindo séries temporais, distribuições categóricas, medidas sintéticas e representação geográfica;
-
4) a organização de painéis interativos com recursos de drill-down6 e filtros multiescalares, possibilitando análises por avaliador, submissão, ano e categoria de recomendação.
2.8 Considerações éticas
O estudo utilizou exclusivamente metadados operacionais do processo de revisão por pares, sem acesso ao conteúdo dos manuscritos, aos pareceres textuais ou a informações sensíveis de avaliadores. Os dados foram analisados de forma agregada, com anonimização dos avaliadores em todas as etapas de tratamento, análise e visualização dos resultados.
3 RESULTADOS E DISCUSSÃO
Os resultados são apresentados por meio de visualizações analíticas desenvolvidas no Power BI, a partir da operacionalização dos indicadores editoriais definidos na seção metodológica. As Figuras 1, 2, 3 e 4 organizam os dados segundo diferentes níveis de observação do fluxo avaliativo, contemplando perspectivas sistêmica, individual, temporal e processual, e subsidiam a discussão dos resultados nas subseções seguintes, nas quais os diferentes conjuntos de indicadores são analisados.
A Figura 1 apresenta um painel consolidado dos principais indicadores editoriais do periódico CIADS, reunindo informações relativas ao volume de designações, aos padrões de recomendação dos avaliadores, à participação internacional, à distribuição temporal das avaliações concluídas e às intervenções editoriais registradas ao longo da série histórica.
Ao integrar dados que, nos relatórios tradicionais do OJS, aparecem de forma fragmentada, o painel permite uma leitura sistêmica do processo avaliativo e opera como um instrumento diagnóstico do fluxo de revisão por pares, servindo de base para as análises apresentadas nas subseções seguintes.
A Figura 2 desloca o foco da análise para o nível individual dos avaliadores, permitindo observar a distribuição das designações, os padrões de recorrência e os diferentes graus de engajamento no processo de revisão por pares.
A visualização evidencia a heterogeneidade da participação do corpo revisor, a concentração de convites em núcleos específicos de pareceristas e a dinâmica de alocação do trabalho avaliativo do periódico, aspecto relevante para a análise de sobrecarga, sustentabilidade do fluxo editorial e dependência estrutural de determinados perfis de pareceristas.
A dimensão temporal do fluxo avaliativo é explorada na Figura 3, que exemplifica a aplicação de filtros anuais, tomando o ano de 2021 como recorte ilustrativo.
A visualização permite observar variações no volume de avaliações concluídas, identificar picos de atividade e examinar a distribuição das conclusões ao longo dos meses/anos. Esse mesmo recurso analítico pode ser aplicado a qualquer outro ano da série histórica, possibilitando comparações sistemáticas e a identificação de padrões recorrentes e de momentos de intensificação ou retração do fluxo avaliativo, aspectos relevantes para o planejamento e a gestão editorial.
A Figura 4 apresenta a ordenação sequencial dos eventos editoriais associados a cada manuscrito, contemplando as designações de avaliadores, o envio de lembretes, as conclusões dos pareceres e os registros de cancelamento. Ao explicitar o encadeamento dos eventos registrados no sistema, a visualização favorece a rastreabilidade do fluxo editorial em nível de manuscrito, evidenciando a sucessão das interações entre editoria e avaliadores. Essa abordagem contribui para a identificação de padrões recorrentes de acompanhamento editorial e de pontos de reconfiguração do fluxo avaliativo.
3.1 Distribuição das designações
O período registrou 1.119 designações, das quais 898 resultaram em pareceres concluídos, correspondendo a uma taxa de retorno de 80,25%. Esse volume acumulado evidencia a continuidade da demanda avaliativa do periódico ao longo da série histórica, bem como a capacidade de mobilização de seu corpo revisor.
A distribuição das designações revela assimetrias relevantes. O avaliador mais acionado recebeu 41 convites, enquanto um grupo restrito de pareceristas apresentou médias anuais entre 2,33 e 3,73 designações. Entre os 235 avaliadores identificados, uma fração limitada concentrou a maior parte das designações, ao passo que a maioria participou de forma esporádica no período analisado (Figura 5).
Esse padrão evidencia a concentração estrutural do fluxo avaliativo em um núcleo restrito de pareceristas, fenômeno amplamente descrito na literatura internacional sobre revisão por pares (Tennant et al., 2017). A recorrência no acionamento de um mesmo grupo de avaliadores pode ser interpretada, de um lado, como reflexo da confiança editorial em pareceristas historicamente responsivos e tecnicamente qualificados. De outro, essa dependência estrutural tende a reduzir a diversidade epistêmica do processo avaliativo e a ampliar a exposição desse grupo a riscos associados à sobrecarga e à chamada reviewer fatigue, reconhecida como um dos elementos centrais da crise contemporânea da revisão por pares (Horta; Jung, 2024; Beecher; Wang, 2025), embora este estudo não permita inferir impactos diretos sobre a qualidade dos pareceres
No caso analisado, a concentração das designações opera simultaneamente como mecanismo de sustentação e como vulnerabilidade operacional do fluxo editorial. A elevada dependência de um conjunto restrito de avaliadores implica que atrasos, recusas ou desistências por parte desse núcleo tendem a produzir efeitos sistêmicos sobre a continuidade e a previsibilidade do processo avaliativo, reforçando a relevância de estratégias editoriais de acompanhamento e redistribuição das designações.
3.2 Internacionalização do corpo avaliador
A composição geográfica do corpo avaliador evidencia predominância nacional. Dos 235 avaliadores distintos identificados, 197 (83,8%) eram brasileiros, 29 (12,3%) estrangeiros e 9 (3,8%) não apresentavam registro de país no OJS. Entre os avaliadores estrangeiros, observa-se concentração em Portugal (n=12), Argentina (n=10) e Espanha (n=3), com registros pontuais de Cuba, Equador, Colômbia e Moçambique.
A análise da distribuição temporal das avaliações concluídas (Quadro 3) indica que a participação estrangeira esteve presente em todos os anos da série histórica. O volume anual de pareceres concluídos por avaliadores estrangeiros variou entre um e doze eventos por ano, evidenciando flutuações ao longo do período.
Distribuição temporal dos eventos de avaliação concluída por pareceristas estrangeiros (2015-2025)
Essas variações, contudo, não se associam à ampliação consistente da diversidade geográfica nas avaliações concluídas. As flutuações observadas refletem a intensidade anual da participação internacional, expressa pelo número de avaliações concluídas, e não uma expansão estrutural da diversidade geográfica do corpo avaliador. O número de países estrangeiros representados oscilou entre um e quatro por ano e permaneceu concentrado em um conjunto recorrente, composto principalmente por Portugal, Argentina e Espanha.
Em perspectiva interpretativa, a proporção de avaliadores estrangeiros distintos indica que a participação internacional, embora presente ao longo de toda a série histórica, não se configura como eixo estruturante da dinâmica avaliativa do periódico, mantendo apenas caráter complementar à base nacional. Esse padrão pode ser compreendido no contexto das dinâmicas estruturais da internacionalização editorial, que envolvem estratégias linguísticas, redes institucionais e condicionantes político-institucionais (Gonçalves; Alves; Albagli, 2025). Nesse sentido, a inserção internacional do corpo avaliador tende a refletir o estágio de consolidação e circulação do periódico no ecossistema científico ao qual se vincula.
Os resultados também podem ser interpretados à luz das diretrizes de indexação. Embora os critérios da Scientific Electronic Library Online (SciELO) se refiram especificamente à proporção de manuscritos avaliados com participação de editores e pareceristas do exterior, diretrizes igualmente adotadas por bases como Scopus e Web of Science (WoS) convergem na valorização da diversidade institucional e geográfica como indicador de maturidade editorial (Clarivate, 2023; Elsevier, 2023; SciELO, 2024). No contexto do periódico analisado, os dados sugerem um processo de internacionalização caracterizado mais pela consolidação de redes específicas e recorrentes do que pela ampliação progressiva da pluralidade geográfica.
3.3 Distribuição temporal das avaliações concluídas
A análise temporal das avaliações concluídas identificou três fases distintas ao longo da série histórica, estruturadas a partir do volume avaliativo anual (avaliadores e avaliações), dos picos mensais e das recomendações predominantes (Quadro 4).
A primeira fase (2015-2018) caracteriza um período de expansão do processo avaliativo. As avaliações concluídas aumentaram significativamente, de 8 em 2015 para 98 em 2016, ano que registrou o maior pico mensal da série histórica, com 36 pareceres concluídos em junho. Entre 2016 e 2018, as recomendações “Aceitar” predominaram com proporções entre 70% e 85%. Esse período foi marcado pela ampliação do número de avaliadores designados, sugerindo intensificação do volume e da mobilização do corpo avaliador.
A segunda fase (2019-2020) representa um momento de inflexão do fluxo editorial. Em 2019, o volume caiu para 12 avaliações concluídas, das quais 41,67% receberam “Correções obrigatórias”. Em 2020, o número aumentou para 130 avaliações, com predominância dessa mesma categoria (54,62%). Esse comportamento indica um processo de reconfiguração do fluxo avaliativo, compatível com oscilações na disponibilidade de avaliadores e com ajustes na dinâmica editorial do periódico.
A terceira fase (2021-2025) caracteriza um período de maior estabilização do volume avaliativo, considerando-se as limitações dos dados parciais de 2025. Em 2021, registrou-se o maior volume anual (145 avaliações), impulsionado pela edição especial sobre Covid-19, que ampliou a participação de avaliadores nacionais e a intensidade de avaliações concluídas por estrangeiros, conforme evidenciado nas discussões anteriores sobre internacionalização. Entre 2022 e 2024, o volume anual manteve-se estável, variando entre 81 e 113 avaliações, com predominância recorrente da recomendação “Correções obrigatórias”. Em 2025, ainda com dados parciais, 81,12% das 77 avaliações concluídas correspondiam a essa categoria.
De forma integrada, a análise temporal evidencia que o periódico percorreu fases sucessivas de expansão, inflexão e posterior estabilização do volume avaliativo. Essas variações refletem reconfigurações no funcionamento do fluxo editorial ao longo da série histórica, observáveis na dinâmica das avaliações concluídas.
3.4 Padrões de recomendação dos avaliadores
A recomendação “Aceitar” foi a mais incidente, totalizando 367 registros (40,91%) emitidos por 99 avaliadores de seis países, além de quatro casos sem nacionalidade informada. Esse predomínio é consistente com descrições estruturais do processo de peer review, no qual decisões favoráveis tendem a ocorrer após ciclos iterativos de revisão e aprimoramento dos manuscritos (Tennant et al., 2017).
A categoria “Correções obrigatórias” registrou 340 ocorrências (37,9%), emitidas por 137 avaliadores, majoritariamente brasileiros. Sua expressividade indica que grande parte dos manuscritos demandou aperfeiçoamentos antes da decisão final. A literatura identifica esse tipo de recomendação como etapa relevante para o aprimoramento metodológico e conceitual (Gasparyan et al., 2015; Tennant et al., 2017).
A recomendação “Ver comentários” apareceu em 70 avaliações (7,8%), quase todas emitidas por avaliadores brasileiros. Por ser pouco conclusiva, transfere à editoria a interpretação do parecer, ampliando o grau de discricionariedade nas decisões editoriais. Embora menos frequente, essa categoria adiciona complexidade ao fluxo avaliativo.
Recomendações que implicam nova rodada de avaliação, como “Submeter novamente para avaliação”, ocorreram em 65 registros (7,25%), sobretudo emitidos por brasileiros. Sua ocorrência reduzida sugere uso seletivo, ocupando uma posição intermediária entre recomendações favoráveis e restritivas.
A recomendação “Rejeitar” somou 49 registros (5,45%). Apesar da baixa incidência, permanece elemento central do repertório avaliativo e tende a ser empregada com cautela, especialmente em situações nas quais o manuscrito não atende aos critérios editoriais e metodológicos mínimos (Gasparyan et al., 2015).
“Submeter a outra revista”, com apenas 6 registros (0,67%), apresentou uso residual, sugerindo proximidade funcional com a recomendação de rejeição.
No conjunto, prevaleceram recomendações favoráveis ou orientadas à revisão, enquanto decisões terminativas foram minoritárias. Esse padrão é compatível com entendimentos que caracterizam o processo avaliativo como estruturado em ciclos sucessivos de aperfeiçoamento e em decisões editoriais graduais.
3.5 Intervenções editoriais no processo avaliativo
Os lembretes e cancelamentos registrados ao longo do período analisado refletem estratégias de acompanhamento editorial que se tornam particularmente relevantes em um contexto de concentração estrutural das designações, conforme discutido na seção 3.1.
No período analisado, foram registrados 344 lembretes e 44 cancelamentos, correspondentes, respectivamente, a 30,7 lembretes e 3,9 cancelamentos a cada 100 designações. A maior incidência dessas intervenções ocorreu entre avaliadores brasileiros, em função de sua participação mais intensa no fluxo avaliativo do periódico.
A análise dos cancelamentos indica que parte dessas ocorrências foi registrada após a entrega do parecer, sugerindo ajustes administrativos, correções de registros ou reconfigurações do fluxo avaliativo no sistema. Esse achado reforça o caráter híbrido do indicador, que expressa tanto limites operacionais do processo quanto necessidades de gestão editorial, não podendo ser interpretado exclusivamente como resultado do comportamento individual dos avaliadores.
A distribuição individual dos lembretes revela aspectos relevantes. O avaliador que concentrou o maior número de lembretes figurou, simultaneamente, entre os mais participativos em termos de avaliações concluídas. Esse comportamento sugere que participação elevada e responsividade não constituem dimensões necessariamente convergentes, mas refletem a maior exposição desses avaliadores ao volume de designações recebidas, em um contexto de concentração estrutural do trabalho avaliativo.
Dessa forma, os lembretes e cancelamentos configuram-se como instrumentos de governança editorial, acionados para mitigar riscos operacionais decorrentes da dependência de um núcleo restrito de pareceristas. Esse padrão é convergente com a literatura que destaca o papel ativo dos editores na manutenção da continuidade do processo de revisão por pares, especialmente em contextos nos quais a atividade avaliativa é voluntária e concorre com múltiplas demandas acadêmicas (Tennant et al., 2017; Publons, 2018).
5 CONSIDERAÇÕES FINAIS
O estudo permitiu caracterizar o funcionamento do processo de revisão por pares a partir da integração entre metadados do OJS e ferramentas de Business Intelligence, tornando visíveis comportamentos estruturais do fluxo avaliativo pouco perceptíveis nas rotinas editoriais. O modelo proposto, de baixo custo e aplicável a periódicos de diferentes perfis, possibilita transformar registros operacionais em informações analíticas estruturadas, com potencial para apoiar o monitoramento do processo avaliativo e a identificação de assimetrias, dentro dos limites dos dados disponíveis.
A análise da distribuição das designações evidenciou a concentração recorrente dos convites em um núcleo restrito de avaliadores, enquanto a maior parte dos pareceristas participou de maneira pontual ao longo do período examinado, indicando assimetrias na alocação do trabalho avaliativo.
No plano temporal, a análise dos indicadores revelou três fases do fluxo avaliativo, expansão, inflexão e estabilização, refletindo uma dinâmica não linear das avaliações concluídas. A participação internacional esteve presente ao longo do período analisado, com caráter complementar à base nacional.
No que se refere às recomendações dos avaliadores, observou-se a predominância de decisões favoráveis ou orientadas à revisão, com menor incidência de decisões terminativas, em consonância com a literatura que destaca a centralidade de ciclos iterativos de aperfeiçoamento dos manuscritos e o papel mediador da revisão por pares entre a avaliação técnica e a decisão editorial.
As limitações do estudo decorrem do recorte metodológico adotado, centrado em indicadores estruturais e operacionais diretamente observáveis no sistema, bem como da incompletude de alguns metadados do OJS, especialmente aqueles referentes ao país de origem dos avaliadores, o que restringiu a quantificação precisa da participação internacional.
Pesquisas futuras podem avançar na análise do conteúdo dos pareceres, na mensuração da duração, dos prazos e dos atrasos das avaliações, além da comparação entre periódicos e áreas temáticas e da avaliação de como mudanças editoriais se refletem na dinâmica desses indicadores ao longo do tempo.
-
A lista completa com informações dos autores está no final do artigo
-
1
Módulos independentes que podem ser ativados ou desativados para modificar o funcionamento da aplicação.
-
2
Módulo do Power BI usado para importar e transformar dados.
-
3
Padrão internacional de datas e hora (ISO 8601).
-
4
Ferramenta da Microsoft para análise e visualização interativa de dados.
-
5
Linguagem de fórmulas do Power BI.
-
6
Recurso de navegação que permite aprofundar a visualização dos dados, passando de níveis agregados para níveis mais detalhados.
-
PREPRINTS
(x) O manuscrito não é um preprint.
-
ANUÊNCIA DE AVALIAÇÃO ABERTA
(x) Deseja interagir diretamente com o avaliador caso este também concorde, durante o processo de avaliação do manuscrito?
-
LICENÇA DE USO
As autorias cedem à Revista Encontros Bibli os direitos exclusivos de primeira publicação, com o trabalho simultaneamente licenciado sob a Licença Creative Commons Attribution (CC BY) 4.0 International. Essa licença permite que terceiros remixem, adaptem e criem a partir do trabalho publicado, atribuindo o devido crédito de autoria e publicação inicial neste periódico. As autorias têm autorização para assumir contratos adicionais separadamente, para distribuição não exclusiva da versão do trabalho publicada neste periódico (ex.: publicar em repositório institucional, em site pessoal, publicar uma tradução, ou como capítulo de livro), com reconhecimento de autoria e publicação inicial neste periódico.
-
PUBLISHER
Universidade Federal de Santa Catarina. As ideias expressadas neste artigo são de responsabilidade das pessoas autoras, não representando, necessariamente, a opinião dos editores ou da universidade.
-
DISPONIBILIDADE DE DADOS DE PESQUISA E OUTROS MATERIAIS
(x) Os dados foram publicados no próprio artigo. Todo o conjunto de dados que dá suporte aos resultados deste estudo está incluído no corpo do artigo.
REFERÊNCIAS
-
BEECHER, Kate; WANG, Joshua. Peer reviewer fatigue, or peer reviewer refusal? Accountability in Research, [s. l], v. 32, n. 5, p. 838-844, 2025. Disponível em: https://doi.org/10.1080/08989621.2025.2463977 Acesso em: 3 jul. 2025.
» https://doi.org/10.1080/08989621.2025.2463977 -
CLARIVATE. Web of Science core collection: journal evaluation process and selection criteria. [S. l]: Clarivate Analytics, 2023. Disponível em: https://www.hec.gov.pk/english/services/faculty/journals/Documents/WoS.pdf Acesso em: 4 nov. 2025.
» https://www.hec.gov.pk/english/services/faculty/journals/Documents/WoS.pdf -
COPE Council. Guidelines: ethical guidelines for peer reviewers. Eastleigh, UK: Committee on Publication Ethics, 2017. Disponível em: https://publicationethics.org/guidance/guideline/ethical-guidelines-peer-reviewers Acesso em: 5 jul. 2025.
» https://publicationethics.org/guidance/guideline/ethical-guidelines-peer-reviewers -
DELDUQUE, Maria Célia; ALVES, Sandra Mara Campos. Por que publicar nos Cadernos Ibero-Americanos de Direito Sanitário? Cadernos Ibero-Americanos de Direito Sanitário, Brasília, v. 10, p. 7-10, dez. 2021.Supl. 1. Disponível em: https://doi.org/10.17566/ciads.v10iSuplemento.864 Acesso em: 3 maio 2025.
» https://doi.org/10.17566/ciads.v10iSuplemento.864 -
ELSEVIER. Scopus content coverage guide [S. l]: Elsevier, 2023. Disponível em: https://assets.ctfassets.net/o78em1y1w4i4/EX1iy8VxBeQKf8aN2XzOp/c36f79db25484cb38a5972ad9a5472ec/Scopus_ContentCoverage_Guide_WEB.pdf Acesso em: 4 nov. 2025.
» https://assets.ctfassets.net/o78em1y1w4i4/EX1iy8VxBeQKf8aN2XzOp/c36f79db25484cb38a5972ad9a5472ec/Scopus_ContentCoverage_Guide_WEB.pdf -
FARIAS, Maria Giovanna Guedes; SANTOS, Gildenir Carolino. Avaliações de produções científicas: desafios e motivações de editores e avaliadores. Encontros Bibli: revista eletrônica de biblioteconomia e ciência da informação, Florianópolis, v. 28, e92858, 2023. Disponível em: https://doi.org/10.5007/1518-2924.2023.e92858 Acesso em: 1 jul. 2025.
» https://doi.org/10.5007/1518-2924.2023.e92858 -
GASPARYAN, Armen Yuri; YESSIRKEPOV, Marlen; DIYANOVA, Svetlana N.; KITAS, George D. Publishing ethics and predatory practices: a dilemma for all stakeholders of science communication. Journal of Korean Medical Science, [s. l], v. 30, n. 8, p. 1010-1016, aug. 2015. Disponível em: https://doi.org/10.3346/jkms.2015.30.8.1010 Acesso em: 2 jun. 2025.
» https://doi.org/10.3346/jkms.2015.30.8.1010 -
GONÇALVES, Andréa; ALVES, Larissa de Araújo; ALBAGLI, Sarita. Implicações da internacionalização sobre as práticas editoriais de periódicos das ciências humanas no Brasil e na Argentina. Encontros Bibli: revista eletrônica de biblioteconomia e ciência da informação, Florianópolis, v. 30, e103453, 2025. Disponível em: https://doi.org/10.5007/1518-2924.2025.e103453 Acesso em: 11 nov. 2025.
» https://doi.org/10.5007/1518-2924.2025.e103453 -
HORTA, Hugo; JUNG, Jisun. The crisis of peer review: part of the evolution of science. Higher Education Quarterly, [s. l], v. 78, n. 4, e12511, oct. 2024. Disponível em: https://doi.org/10.1111/hequ.12511 Acesso em: 28 maio 2025.
» https://doi.org/10.1111/hequ.12511 -
MARCHIORI, Patrícia Zeni; BETTONI, Eduardo Michelotti; CARVALHO, Marcelo Batista; APPEL, Andre Luiz. Geração de indicadores para periódicos científicos abertos. Transinformação, Campinas, v. 30, n. 3, p. 324-335, set./dez. 2018. Disponível em: https://doi.org/10.1590/2318-08892018000300005 Acesso em: 24 maio 2025.
» https://doi.org/10.1590/2318-08892018000300005 -
PEDRI, Patrícia; ARAÚJO, Ronaldo Ferreira. Vantagens e desvantagens da revisão por pares aberta: consensos e dissensos na literatura. Encontros Bibli: revista eletrônica de biblioteconomia e ciência da informação, Florianópolis, v. 26, n. esp., p. 1-18, 2021. Disponível em: https://doi.org/10.5007/1518-2924.2021.78583 Acesso em: 30 out. 2025.
» https://doi.org/10.5007/1518-2924.2021.78583 -
PUBLONS. Global state of peer review 2018 [Wellington, NZ]: Clarivate Analytics, 2018. Disponível em: https://publons.com/static/Publons-Global-State-Of-Peer-Review-2018.pdf Acesso em: 7 nov. 2025.
» https://publons.com/static/Publons-Global-State-Of-Peer-Review-2018.pdf -
ROSS-HELLAUER, Tony. What is open peer review? A systematic review. F1000Research, [s. l], v. 6, n. 588, 2017. Disponível em: https://doi.org/10.12688/f1000research.11369.2 Acesso em: 30 out. 2025.
» https://doi.org/10.12688/f1000research.11369.2 -
SCIELO. Critérios, política e procedimentos para a admissão e a permanência de periódicos na Coleção SciELO Brasil São Paulo: SciELO, set. 2024. Disponível em: https://www.scielo.br/media/files/20240900-Criterios-SciELO-Brasil.pdf Acesso em: 4 nov. 2025.
» https://www.scielo.br/media/files/20240900-Criterios-SciELO-Brasil.pdf -
SPUDEIT, Daniela; WERLANG, Elisabete; PRESSER, Nadi Helena. Indicadores de gestão do fluxo editorial dos periódicos científicos: uma reflexão teórico-metodológica. Encontros Bibli: revista eletrônica de biblioteconomia e ciência da informação, Florianópolis, v. 17, n. esp. 2, p. 102-117, 2012. Disponível em: https://doi.org/10.5007/1518-2924.2012v17nesp2p102 Acesso em: 20 maio 2025.
» https://doi.org/10.5007/1518-2924.2012v17nesp2p102 -
TENNANT, Jonathan P.; DUGAN, Jonathan M.; GRAZIOTIN, Daniel; JACQUES, Damien C.; WALDNER, François; MIETCHEN, Daniel; ELKHATIB, Yehia; COLLISTIER, Lauren B.; PIKAS, Christina K.; CRICK, Tom; MASUZZO, Paola; CARAVAGGI, Anthony; BERG, Devin R.; NIEMEYER, Kyle E.; ROSS-HELLAUER, Tony; MANNHEIMER, Sara; RIGLING, Lillian; KATZ, Daniel S.; TZOVARAS, Bastian Greshake; PACHECO-MENDOZA, Josmel; FATIMA, Nazeefa; POBLET, Marta; ISAAKIDIS, Marios; IRAWAN, Dasapta Erwin; RENAUT, Sébastien; MADAN, Christopher R.; MATTHIAS, Lisa; NØRGAARD KJÆR, Jesper; O’DONNELL, Daniel Paul; NEYLON, Cameron; KEARNS, Sarah; SELVARAJU, Manojkumar; COLOMB, Julien. A multi-disciplinary perspective on emergent and future innovations in peer review. F1000Research, [s. l], v. 6, n. 1151, 2017. Disponível em: https://doi.org/10.12688/f1000research.12037.2 Acesso em: 30 out. 2025.
» https://doi.org/10.12688/f1000research.12037.2 -
TRZESNIAK, Piotr. Indicadores quantitativos: como obter, avaliar, criticar e aperfeiçoar. Navus: revista de gestão e tecnologia, Florianópolis, v. 4, n. 2, p. 5-18, jul./dez. 2014. Disponível em: https://doi.org/10.22279/navus.2014.v4n2.p5-18.223 Acesso em: 23 maio 2025.
» https://doi.org/10.22279/navus.2014.v4n2.p5-18.223 - TURBAN, Efraim; SHARDA, Ramesh; DELEN, Dursun; KING, David. Business Intelligence: a managerial approach. 2. ed. Boston: Prentice Hall, 2011.
-
VANZ, Samile Andréa de Souza; SILVEIRA, Lúcia da. Publicação continuada: algumas reflexões. Em Questão, Porto Alegre, v. 26, n. 1, p. 12-16, jan./abr. 2020. Disponível em: https://seer.ufrgs.br/index.php/EmQuestao/article/view/98781/55109 Acesso em: 22 maio 2025.
» https://seer.ufrgs.br/index.php/EmQuestao/article/view/98781/55109 -
VECHI, Bernardo Dionízio; SHINTAKU, Milton. Publicação contínua em periódicos científicos: convite à reflexão editorial. Brasília, DF: Editora IBICT, 2025. E-book Disponível em: https://labcotec.ibict.br/omp/index.php/edcotec/catalog/book/396 Acesso em: 22 maio 2025.
» https://labcotec.ibict.br/omp/index.php/edcotec/catalog/book/396
Editado por
-
EDITORES
Edgar Bisset Alvarez, Patrícia Neubert, Genilson Geraldo, Camila de Azevedo Gibbon, Ana Laura Garbin Brati, Alicia Dill Loose, Daniela Capri.
(x) Os dados foram publicados no próprio artigo. Todo o conjunto de dados que dá suporte aos resultados deste estudo está incluído no corpo do artigo.
Fonte: elaboração própria.
Fonte: elaboração própria.
Fonte: elaboração própria.
Fonte: elaboração própria.
Fonte: elaboração própria.