Sistema de Vigilância em Imunizações do Brasil: avaliação do atributo de simplicidade

Immunization Surveillance System in Brazil: Evaluation of the simplicity atribute

RESUMO

Apesar dos avanços tecnológicos em relação aos registros vacinais, a diversidade de Sistemas de Informação de Imunização impõe desafios técnicos e operacionais, particularmente no que se refere à infraestrutura tecnológica e à usabilidade. Este estudo, baseado nas ‘Guidelines for Evaluating Public Health Surveillance Systems’ do Centers for Disease Control and Prevention, objetivou avaliar o Sistema de Vigilância em Imunizações no Brasil, em 2024, com ênfase no atributo simplicidade, que abrange a estrutura e a facilidade de uso dos sistemas de informação. Foram analisados os critérios: fluxo de dados, organizações envolvidas, transferência e disseminação de dados, integração com outros sistemas, processo de validação dos dados e capacitações oferecidas, classificados como simples ou complexos. O Sistema de Vigilância em Imunizações foi classificado como complexo, com exceção do processo de validação dos dados. A diversidade de sistemas de informação utilizados por diferentes profissionais e instituições, públicas e privadas, compromete o fluxo contínuo dos dados e exige elevado grau de interoperabilidade. As capacitações são insuficientes e pouco eficazes, e a complexidade do Sistema de Vigilância em Imunizações exige avanços tecnológicos e operacionais para melhorar a qualidade da informação.

PALAVRAS-CHAVE
Tecnologia biomédica; Sistemas de informação em saúde; Confiabilidade dos dados; Programas de imunização; Avaliação em saúde.

ABSTRACT

Despite technological advances in vaccination records, the diversity of Immunization Information Systems poses technical and operational challenges, particularly regarding technological infrastructure and usability. This study, based on the ‘Guidelines for Evaluating Public Health Surveillance Systems’ from the Centers for Disease Control and Prevention, aimed to evaluate the Immunization Surveillance System in Brazil in 2024, with an emphasis on the attribute of simplicity, which encompasses the structure and ease of use of information systems. The following criteria were analyzed: data flow, organizations involved, data transfer and dissemination, integration with other systems, data validation process, and training offered, classified as either simple or complex. The Immunization Surveillance System was classified as complex, with the exception of the data validation process. The diversity of information systems used by different professionals and institutions, both public and private, compromises the continuous flow of data and requires a high degree of interoperability. Training activities are insufficient and not very effective, and the complexity of the Immunization Surveillance System demands technological and operational advances to improve the quality of information.

KEYWORD
Biomedical technology; Health information systems; Data accuracy; Immunization programs; Health evaluation.

Introdução

Os Sistemas de Informação em Imunizações (SII) são ferramentas gerenciais essenciais para o fortalecimento do Sistema de Vigilância em Imunizações, tanto em nível local quanto nacional^1,2. O monitoramento e a avaliação de indicadores de imunização, por meio de dados oportunos, confiáveis e acessíveis, possibilitam a identificação de áreas com baixa cobertura vacinal, que demandam a implementação de estratégias para a prevenção e o controle de doenças imunopreveníveis^3,4.

Atualmente, no Brasil, diferentes SII são utilizados para o registro das imunizações. Na Atenção Primária à Saúde (APS), esses registros são realizados por meio dos softwares Prontuário Eletrônico do Cidadão (PEC) e Coleta de Dados Simplificada (CDS), que integram a Estratégia e-SUS APS. Além disso, o aplicativo e-SUS Vacinação e o Novo Sistema de Informação do Programa Nacional de Imunizações (Novo SIPNI) também são utilizados na APS para registrar, respectivamente, doses de vacinas aplicadas fora das unidades de saúde e em campanhas nacionais. Além desses, alguns municípios utilizam sistemas próprios ou terceirizados para o registro vacinal na APS^5,6. Fora desse escopo, serviços como hospitais e clínicas privadas de vacinação também realizam registros por meio do Novo SIPNI ou sistemas específicos, o que evidencia a grande diversidade de SII no País⁶.

Esse conjunto de SII compõe o Sistema de Vigilância em Imunizações no Brasil, permitindo o monitoramento de surtos de doenças imunopreveníveis, a avaliação das ações de imunização e a identificação de disparidades na cobertura vacinal^5-7. Contudo, diversos países, incluindo o Brasil, enfrentam desafios quanto aos registros e à gestão das informações de imunização, destacando-se a interoperabilidade e a qualidade dos dados um dos principais obstáculos¹, além da resistência de profissionais à adoção de inovações tecnológicas^8,9.

Na Agenda de Imunização 2030 (AI2030), a Organização Mundial da Saúde (OMS) enfatiza a importância de dados vacinais de alta qualidade para assegurar uma cobertura vacinal adequada, visando aprimorar a capacidade de resposta dos programas de imunização¹⁰.

O Centers for Disease Control and Prevention (CDC), por meio das ‘Guidelines for Evaluating Public Health Surveillance Systems’, reforça a importância de avaliar periodicamente os sistemas de vigilância em saúde pública, para assegurar a qualidade das informações e a eficácia na interação entre tecnologia e usuários¹¹.

A avaliação dos atributos definidos pelo CDC - simplicidade, flexibilidade, qualidade dos dados, aceitabilidade, sensibilidade, valor preditivo positivo, representatividade, oportunidade e estabilidade - possibilita identificar fragilidades e potencialidades, além de orientar melhorias voltadas à otimização do desempenho do sistema e à efetividade das informações geradas¹¹. Entre esses atributos, a simplicidade está diretamente relacionada com a qualidade e a oportunidade dos dados, sendo influenciada pela estrutura tecnológica e pela facilidade de uso^11,12. Sistemas simples facilitam a compreensão, a implementação, o registro e o manejo das informações; favorecem a assimilação durante o uso e fortalecem a interoperabilidade com outras plataformas^11,12.

Vários fatores comprometem a eficiência do Sistema de Vigilância em Imunizações. Dentre eles, destacam-se registros incompletos e/ou duplicados^2,3,8,13,14, a insuficiência de equipamentos tecnológicos ou sua inadequação, uma vez que muitos não atendem aos requisitos mínimos necessários para o funcionamento adequado^1,4,8.

Diante da complexidade das funcionalidades tecnológicas, avaliações recorrentes devem ser consideradas para garantir a eficiência da gestão da informação. Assim, este estudo teve como objetivo analisar o fluxo dos registros de vacinação do Sistema de Vigilância em Imunizações no contexto brasileiro, com ênfase na análise do atributo simplicidade, a fim de contribuir com estratégias para aprimorar os processos de registro e uso das informações em saúde.

Material e métodos

Estudo descritivo e de avaliação do Sistema de Vigilância em Imunizações, que adotou como referencial teórico a publicação ‘Guidelines for Evaluating Public Health Surveillance Systems’ do CDC dos Estados Unidos da América¹¹. Neste estudo, foi avaliado o atributo de simplicidade, que se refere à estrutura e à facilidade de operação das tecnologias^11,12.

Para analisar a simplicidade, foram considerados os critérios propostos pelo CDC¹¹: a descrição e a representação gráfica do fluxo dos dados de imunização do Sistema de Vigilância em Imunizações; as organizações envolvidas na operacionalização e no gerenciamento dos dados; a transferência e a disseminação dos dados consolidados; a integração com outros sistemas; o processo de validação dos dados; e as capacitações oferecidas aos usuários.

Inicialmente, foi realizada a leitura de manuais, notas técnicas, portarias, boletins e relatórios disponíveis em sites oficiais, além de dissertações, teses e artigos científicos, com o objetivo de aprofundar o conhecimento sobre a estrutura e operação do Sistema de Vigilância em Imunizações no Brasil, bem como aumentar a percepção sobre a sua classificação como simples ou complexo.

Para minimizar a subjetividade inerente à avaliação do atributo simplicidade, foi realizado um consenso entre os itens analisados. Participaram desse processo: um grupo de especialistas na temática, composto por docentes e discentes do Programa de Pós-graduação em Enfermagem da Universidade Federal de São João del-Rei, bem como docentes da Universidade do Estado de Minas Gerais e da Universidade de São Paulo. Além disso, participaram a referência técnica de imunização e o suporte técnico de informação do Sistema de Informação em Saúde do município. Esses pesquisadores e profissionais possuem ampla formação e experiência em temas relacionados com imunização e sistemas de informação, o que contribuiu para a robustez e maior confiabilidade dos resultados.

O quadro 1 apresenta os parâmetros utilizados para definir cada classificação (simples e complexo) do atributo de simplicidade.

Quadro 1
Parâmetros utilizados para definir cada classificação (simples e complexo) do atributo de simplicidade do Sistema de Vigilância em Imunização do Brasil, 2024

Critérios	Avaliação	Evidências
Descrição e representação gráfica do fluxo dos dados de vacinação do Sistema de Vigilância em Imunizações	Elaborado um fluxo da informação dos registros de vacinados do Sistema de Vigilância em Imunizações do Brasil	Moraes et al.14; Ministério da Saúde5,6,15; Oliveira et al.9; Oliveira et al.16
Organizações envolvidas na operacionalização e gerenciamento de dados	Descrição dos envolvidos com o Sistema de Vigilância em Imunizações com base nos manuais do Ministério da Saúde, complementada por evidências da literatura científica	Ministério da Saúde5; Silva et al.8; Oliveira et al.9; Oliveira et al.16
Transferência e disseminação dos dados consolidados	Descrição do processo de transferência e disseminação dos dados com base nos manuais e nota informativa do Ministério da Saúde. Além disso, foi discutido sobre as fragilidades e potenciações desse processo com a referência técnica em imunização e o suporte técnico de informação em saúde do município	Ministério da Saúde5,6; Registros
Integração com outros sistemas	Evidências de integração com outros sistemas, a partir da literatura científica; discussão sobre a interoperabilidade entre os sistemas com a referência técnica em imunização, o suporte técnico de informação em saúde do município e os pesquisadores	Ministério da Saúde5,6; Moraes et al.14; Celuppi et al.17; Registros
Processo de validação dos dados	Análise do relatório de validação das vacinas registradas; discussão da validação com a referência técnica em imunização, suporte técnico de informação em saúde do município e os pesquisadores	Ministério da Saúde5; Relatórios de vacinas registradas; Registros
Capacitações com os usuários	Entrevistas com os usuários do sistema; evidências a partir da literatura científica	Rahmadhan, Handayani1; Ministério da Saúde5,6; Silva et al.8; Oliveira et al.9; Morato et al.18; Formulário on-line

Para detalhar os resultados dos itens relacionados com o critério capacitações dos usuários do Sistema, foi aplicado um questionário elaborado no Google Forms. O link do questionário foi enviado aos participantes por meio de WhatsApp e e-mail entre abril e maio de 2024. Os vacinadores da APS de um município de grande porte da Macrorregião Oeste de Minas Gerais (n = 72) participaram do estudo, selecionados com base nos seguintes critérios de inclusão: ter no mínimo seis meses de experiência em atividades de sala de vacinação e disponibilidade para responder ao questionário durante o expediente. Foram excluídos profissionais em férias, em afastamento médico e/ou sem acesso ou habilidades para responder ao questionário on-line. O questionário abordou os seguintes aspectos: se os participantes haviam sido capacitados para o uso do sistema; se tinham conhecimento da disponibilidade de material instrutivo para consulta na unidade; se precisaram recorrer a canais de comunicação para esclarecimento ou retirada de dúvidas sobre o sistema e se as diversas funções do sistema foram bem integradas¹⁹.

Para a classificação final da simplicidade do Sistema de Vigilância em Imunizações, foram considerados, pelo menos, 60% dos critérios avaliados como simples, segundo proposta do CDC¹¹. Essa classificação foi utilizada em outros estudos para explorar o funcionamento de diferentes sistemas de vigilância em saúde^2,20.

O estudo recebeu aprovação do Comitê de Ética em Pesquisa da Universidade Federal de São João del-Rei, conforme Certificado de Apresentação de Apreciação (CAAE) nº 37555620.9.0000.5545 e Parecer nº 4.523.507. Todos os aspectos éticos, como confidencialidade e privacidade dos participantes, foram assegurados de acordo com a Resolução nº 466/2012 do Conselho Nacional de Saúde²¹.

Resultados

Participaram do estudo: 72 profissionais de enfermagem (40% enfermeiros, 57% técnicos e 3% auxiliares), com predominância do sexo feminino (78%) e idades entre 23 e 66 anos (mediana de 41 anos). A maioria atuava na Estratégia Saúde da Família (98,6%), com tempo médio de experiência em salas de vacinação de 7 anos e 8 meses. Em relação à formação, 37,5% tinham ensino médio profissionalizante; 25%, graduação; 30,5%, especialização; 4,2%, mestrado; e 2,8%, doutorado. Entre os profissionais, 34,7% desconhecem os materiais instrutivos disponíveis, 93,1% já utilizaram canais de suporte e 77,8% se consideram capacitados para utilizar os SII. Somente 69,4% consideram que há integração entre as funcionalidades dos SII e outros sistemas de informação, como o Cadastro Nacional de Usuários do Sistema Único de Saúde (CadSUS) e do Cadastro Nacional de Estabelecimentos de Saúde (CNES).

A revisão dos documentos identificados sobre a Estratégia e-SUS APS (softwares PEC e CDS, aplicativo e-SUS Vacinação), Novo SIPNI, além de normativas para o uso de sistemas próprios ou terceirizados, permitiu descrever e elaborar o fluxo da informação dos registros de vacinados no Sistema de Vigilância de Imunização, primeiro critério do atributo de simplicidade (figura 1). Esse fluxo abrange as salas de vacinação da APS, as salas de vacinação da rede pública e privada que não pertencem à APS e os sistemas gerenciais responsáveis pelo acompanhamento e monitoramento dos dados vacinais.

Figura 1
Fluxo da informação dos registros de vacinados do Sistema de Vigilância em Imunizações no Brasil, 2024

Descrevendo o fluxo da informação dos registros de vacinados no Sistema de Vigilância em Imunizações

Com relação ao tipo de SII utilizado para o registro dos dados vacinais, o PEC, implantado nas Unidades de Atenção Primária à Saúde (Uaps), é a tecnologia mais amplamente adotada¹⁷. Embora o PEC seja a ferramenta predominante na APS¹⁷, o Sistema de Vigilância em Imunizações também envolve outras tecnologias, como o CDS e o aplicativo e-SUS Vacinação, ambos parte da Estratégia e-SUS APS⁵. É importante ressaltar que os registros realizados nesses sistemas devem ser integrados ao PEC para garantir a exportação adequada das informações^5,6. O Novo SIPNI, por sua vez, é utilizado na APS para registrar doses aplicadas em campanhas nacionais, gerenciar o estoque de imunobiológicos e monitorar as coberturas vacinais¹⁵. Além disso, alguns municípios optam por utilizar sistemas próprios ou terceirizados para o registro dos dados de imunização⁶.

No que diz respeito ao fluxo da informação dos registros de vacinados do Sistema de Vigilância em Imunizações no Brasil, as informações vacinais registradas no PEC são enviadas diariamente ao Sistema de Informação em Saúde para a Atenção Básica (Sisab)^5,22. As Uaps que utilizam sistemas próprios ou terceirizados seguem o mesmo processo, integrando seus dados ao Centralizador Nacional do Sisab^22,23. Nesse contexto, a transmissão dos dados é realizada por meio da tecnologia Apache Thrift, um framework de comunicação de dados desenvolvido pela Apache Software Foundation, projetado para facilitar a interoperabilidade entre diferentes linguagens de programação²⁴.

Essa ferramenta tecnológica utiliza uma interface de definição de serviços para descrever funções e tipos de dados, facilitando a construção de serviços escaláveis e de alto desempenho. O Thrift suporta múltiplos protocolos e formatos de transporte, tornando-o ideal para sistemas distribuídos e microsserviços, o que garante eficiência e agilidade na comunicação das informações²⁴.

As informações enviadas para o Sisab passam duas validações: a verificação de duplicidade dos registros enviados e a conferência da data de atendimento. Se aprovados, os dados são enviados para a Rede Nacional de Dados em Saúde (RNDS), na qual ocorre uma nova checagem, envolvendo informações do usuário, do profissional, da equipe e do estabelecimento de saúde. O processamento e a validação desses registros são atualizados diariamente no Sisab por meio do Relatório de Vacinas Registradas no e-SUS APS^5,22.

As principais causas de invalidação incluem inconsistências ou ausência do Cartão Nacional do SUS e do Cadastro de Pessoa Física no CadSUS, bem como falhas na identificação do profissional ou estabelecimento no CNES, exigindo correção pelos municípios⁵.

Os gestores devem monitorar a validação dos registros, corrigindo ou excluindo inconsistências no e-SUS APS. Em sistemas próprios ou terceirizados, as retificações dos dados só são possíveis em municípios com pelo menos um PEC instalado para recepção de arquivos Thrift⁵.

Ressalta-se que os registros contidos no PEC podem ser enviados diretamente à RNDS por meio do Registro de Imunobiológico Administrado em Rotina desde que o município possua certificação digital que autorize essa transferência. No entanto, esses dados não passam por processo de validação, sendo apenas disponibilizados para aumentar a transparência e a rastreabilidade das informações vacinais²².

As salas de vacinação não vinculadas à APS, como hospitais, Centros de Referência para Imunobiológicos Especiais (Crie), maternidades e clínicas privadas, registram as vacinas no Novo SIPNI. Esse sistema apresenta maior capacidade de integração com outras plataformas, permitindo um compartilhamento mais eficiente dos dados entre os sistemas. Quando esses serviços utilizam outros sistemas com interoperabilidade, as informações são enviadas diretamente à RNDS⁶.

Independentemente do SII de origem, o registro de qualquer vacina é enviado à RNDS, que atua como ponto de conexão entre todos os participantes do processo de vacinação aos dados de saúde⁶. Os registros de imunização na RNDS são integrados aos sistemas gerenciais (vacinômetro), permitindo o monitoramento em tempo real da cobertura vacinal. Um desses sistemas é o LocalizaSUS, plataforma tecnológica que oferece acesso à diferentes indicadores de saúde, incluindo o acompanhamento do total de doses aplicadas e a avaliação da cobertura vacinal por instância local⁶. Além disso, a plataforma OpenDataSUS disponibiliza os registros de vacinação contra a covid-19²⁵.

Outra ferramenta fundamental para gerenciamento e monitoramento da vacinação é o SIPNI Gestão, que permite aos gestores de saúde acompanhar o estoque de vacinas, o registro das doses aplicadas e a geração de relatórios vacinais individualizados por instância local. O aplicativo Meu SUS Digital, por sua vez, possibilita que o usuário acompanhe seus dados vacinais, além de outras informações relacionadas com a sua saúde. Outros sistemas gerenciais podem monitorar dados vacinais utilizando a Interface de Programação de Aplicações, um conjunto de protocolos e ferramentas que facilita a integração de dados entre diferentes sistemas⁶.

Para orientar os profissionais responsáveis pelas salas de vacinação, o Ministério da Saúde do Brasil oferece materiais de apoio e um portal de suporte, com instruções sobre o registro adequado de vacinas na Estratégia e-SUS APS. Além disso, disponibiliza vídeos explicativos, informes técnicos sobre o Novo SIPNI e um canal de comunicação para esclarecer dúvidas^5,6.

A descrição do fluxo dos dados de vacinação do Sistema de Vigilância em Imunização no Brasil permitiu avaliar os seis critérios do atributo de simplicidade apresentados no quadro 2.

Quadro 2
Critérios de avaliação do atributo simplicidade, Sistema de Vigilância em Imunizações, Brasil, 2024

Critérios	Resultados	Avaliação
Descrição e representação gráfica do fluxo dos dados de vacinação do Sistema de Vigilância em Imunizações	O Sistema de Vigilância em Imunizações no Brasil envolve uma diversidade de tecnologias para o registro de vacinas, incluindo o e-SUS APS (PEC, CDS e e-SUS Vacinação), o Novo SIPNI e sistemas próprios ou terceirizados adotados por municípios5,6. Na APS, o registro das vacinas de rotina é realizado, em geral, por meio das ferramentas do e-SUS5, enquanto em campanhas nacionais, como a da Influenza, é comum a utilização do Novo SIPNI6. Essa falta de padronização pode comprometer a qualidade dos dados e dificultar a adoção das tecnologias1,9,18,26. Outro desafio relevante destacado na literatura refere-se à integração e interoperabilidade entre os sistemas, aspectos fundamentais para garantir a fluidez da informação e a confiabilidade dos dados vacinais1,14,27.	Complexo
Organizações envolvidas na operacionalização e gerenciamento de dados	No Brasil, as salas de vacinação dos serviços públicos de saúde seguem padrões organizacionais relativamente uniformes, sendo gerenciadas principalmente por equipes de enfermagem, com o enfermeiro como referência técnica. Os técnicos de enfermagem assumem a responsabilidade pelo registro dos dados vacinais nos Sistemas de Informação em Imunização (SII), tornando esse o principal ponto de entrada das informações16. Contudo, há evidências da insuficiência de capacitações para o uso dos SII e ausência de supervisão, comprometendo a operacionalização dos Sistemas8,9. Além disso, o processo não se restringe à esfera local: a complexidade aumenta com a distribuição de responsabilidades entre diferentes níveis de gestão, exigindo ações coordenadas entre as instâncias locais, estaduais e federais8,7,28.	Complexo
Transferência e disseminação dos dados consolidados	O registro de qualquer vacina, independentemente do SII de origem, é transferido para a RNDS, sendo cada tecnologia com suas particularidades e diferentes requisitos de interoperabilidade5,6. Esse processo envolve múltiplas etapas e a utilização de diferentes tecnologias, cada uma com suas particularidades e requisitos específicos de interoperabilidade. Essa complexidade técnica e operacional pode comprometer a simplicidade do sistema, pois exige integração entre plataformas distintas, o que aumenta o risco de inconsistências e perda de dados durante a transferência. Além disso, quanto maior o número de sistemas envolvidos e etapas intermediárias, maior a chance de se comprometer a completude e a consistência das informações vacinais.	Complexo
Integração com outros sistemas	Tanto o PEC quanto o Novo SIPNI estão integrados ao CADSUS, o que permite a sincronização dos dados pessoais, essencial para a validação dos registros vacinais. Outros sistemas de informação com capacidade de interoperabilidade enviam diretamente os dados à RNDS5,6. Embora a integração facilite a coleta, validação e produção de relatórios vacinais, a literatura aponta que ainda persistem desafios quanto à padronização, segurança da informação, infraestrutura tecnológica e capacitação profissional, demandando investimentos operacionais e tecnológicos contínuos14,17.	Complexo
Processo de validação dos dados	O Relatório de Vacinas Registradas no e-SUS APS permite identificar possíveis inconsistências ou discrepâncias nos dados. Registros reprovados, devido a erros de digitação ou falta de informações provenientes do PEC, CDS, e-SUS Vacinação ou sistemas próprios integrados ao Centralizador Nacional do SISAB, podem ser ajustados pelo profissional responsável5,22. A capacidade e facilidade de gerar os relatórios de vacinas registradas no e-SUS APS, bem como a possibilidade de correção dos erros e inconsistências nos dados registrados, torna esse critério simples.	Simples
Capacitações com os usuários	Embora haja materiais instrutivos e suporte para os profissionais que utilizam os SII5,6, 34,7% dos respondentes deste estudo desconhecem a existência desses materiais para consulta quando necessário. A literatura nacional e internacional aponta que as capacitações para o uso dos SII são frequentemente insuficientes e pouco eficazes, comprometendo a aceitação das tecnologias1,8,9,18,26. Confirmando essas evidências, 8,3% dos participantes relataram ter recebido capacitação, mas ainda não se sentem preparados para usar os SII, enquanto 13,9% não foram capacitados.	Complexo

Dos seis critérios avaliados, apenas o processo de validação dos dados foi considerado simples (16,7%). Portanto, o Sistema de Vigilância em Imunizações foi classificado como complexo, pois a classificação final não atingiu 60% dos critérios avaliados como simples.

Discussão

Os resultados evidenciam que, de modo geral, o Sistema de Vigilância em Imunizações no Brasil é complexo, sendo apenas o critério relacionado com o processo de validação dos dados considerado simples.

Com relação à descrição e à representação gráfica do fluxo dos dados de vacinação, observou-se, neste estudo, que esse item ainda é considerado complexo. De fato, a diversidade de SII, como os sistemas da Estratégia e-SUS APS, o Novo SIPNI e outros sistemas próprios ou terceirizados^5,6, representa um desafio significativo para a gestão das informações no sistema.

Essa variedade de sistemas pode resultar na perda de dados importantes, como o histórico vacinal dos usuários, conforme evidenciado na integração do PEC com o SIPNI²⁹. Além disso, a fragmentação dos dados pode comprometer a precisão e a continuidade dos registros dos vacinados, podendo levar a interpretações equivocadas da cobertura vacinal, o que pode resultar na distorção da real situação vacinal da população^1,14,27,30. Apesar dos avanços tecnológicos, a multiplicidade de SII traz uma série de obstáculos técnicos e operacionais à interoperabilidade e à consistência dos dados¹. A falta de interoperabilidade entre os sistemas e a diversidade de plataformas utilizadas dificultam a integração e o acesso, em tempo real, a dados consistentes e fidedignos^1,29-33.

No Sistema de Vigilância em Imunizações do Brasil, há muitas organizações envolvidas em sua operacionalização e no gerenciamento de dados, o que pode ter contribuído para que esse item fosse considerado complexo. O Brasil é um país continental, com muitas salas de vacinação que apresentam realidades distintas, tanto nos serviços públicos quanto nos privados⁶. As atividades de vacinação envolvem principalmente os profissionais da equipe de enfermagem, responsáveis pelas salas de vacinação no País¹⁶, além de gestores e referências técnicas em imunização de todos os níveis federativos^5,7,28. São vários os entraves, principalmente relativos ao processo de operacionalização e gerenciamento dos dados, envolvidos na implementação e utilização de um SII. Estudos identificaram a carência de recursos tecnológicos adequados e a baixa familiaridade dos profissionais de saúde com essas ferramentas como grandes desafios a serem superados^18,26,34,35. Outros fatores agravantes são a falta de supervisão nas salas de vacinação¹⁶ e a escassez de recursos humanos para a alimentação oportuna dos dados^14,32,34, somados à resistência de alguns profissionais em aceitar a tecnologia como instrumento facilitador dos registros de imunização^8,9,35.

Pesquisas apontam que o contexto de implementação e o perfil dos profissionais atuantes nas salas de vacinação estão intrinsicamente relacionados com a eficiência do SII e a qualidade dos dados registrados^2,8. Assim, como observado na presente pesquisa, nota-se que o cenário que envolve o Sistema de Vigilância em Imunizações no Brasil é um processo complexo e multidimensional, abrangendo recursos técnicos, capacitação e motivação dos recursos humanos, além de um ambiente organizacional propício, que garanta o uso regular dos SII com dados precisos e de alta qualidade².

O uso adequado dos SII garante o eficaz gerenciamento das informações do Sistema de Vigilância em Imunizações². Nesse sentido, quanto maior for a interação dos vacinadores com a tecnologia, maior será a probabilidade de obter dados vacinais confiáveis, precisos, oportunos e representativos da realidade do território nacional^9,13.

Outros aspectos importantes a serem considerados é a transferência e disseminação dos dados consolidados e a integração com outros sistemas. De nada adianta que os registros sejam realizados corretamente se a transferência e disseminação desses dados não ocorrerem de forma segura e confiável^27,31. Para isso, é preciso que haja uma boa interoperabilidade e comunicação adequada entre os sistemas que compõem o Sistema de Vigilância em Imunizações do Brasil, além da adoção de medidas de segurança e proteção dos dados coletados. Nesta pesquisa, ambos os quesitos mencionados foram considerados complexos.

Na atual conjuntura, os registros vacinais são enviados para a RNDS, independentemente do SII utilizado. Há uma diversidade de sistemas e plataformas empregadas no gerenciamento dos dados de vacinação. Essas ferramentas tecnológicas apresentam características e requisitos de interoperabilidade distintos, o que ressalta a importância de um elevado nível de integração entre elas^5,6.

Estudos apontam que a interoperabilidade é um dos maiores desafios para a integração dos SII com o prontuário eletrônico devido à troca limitada de informações e aos riscos associados à segurança e à privacidade dos dados. Esse problema é observado não apenas no Brasil, mas também em diversos outros países, pois não se restringe ao cruzamento de bases de dados, abrangendo também aspectos técnico-políticos que influenciam diretamente a gestão de informações e as políticas de tecnologia da informação em saúde^1,27.

Para que o Sistema de Vigilância em Imunizações cumpra seus objetivos e forneça estimativas confiáveis, é essencial, além do alcance da interoperabilidade entre os sistemas, aprimorar a qualidade, a privacidade e a segurança dos dados de todos os SII envolvidos nesse fluxo. Isso exige uma padronização dos registros vacinais e o desenvolvimento de soluções que facilitem a integração entre as plataformas, promovendo uma troca de dados eficiente e segura entre os sistemas^1,36.

É necessário, ainda, que os SII sejam hospedados em hardware e software seguros, em conformidade com os padrões de proteção das informações pessoais de saúde dos indivíduos. A segurança exigida para essas tecnologias deve incluir mecanismos de criptografia, planos de recuperação de desastres, práticas de confidencialidade e privacidade, além de políticas que respeitem as leis e os regulamentos de proteção de dados vigentes nos países onde essas inovações tecnológicas estão implementadas³⁷.

Ademais, a disponibilização de equipamentos tecnológicos que atendam às necessidades locais e estejam alinhados à infraestrutura existente, aliada ao apoio de uma gestão que incentive e promova o uso eficaz das tecnologias disponíveis, é apontada como uma estratégia para enfrentar os desafios mencionados³⁸.

No que se refere ao processo de validação dos dados, este foi o único critério avaliado como simples, pois permite a emissão de relatórios para acompanhamento e correção de inconsistências. No entanto, a alta rotatividade dos profissionais, associada a baixos salários, pode comprometer a qualidade dos dados^1,39. A saída do responsável pelo registro pode gerar a necessidade de outro profissional transcrever os dados, aumentando o risco de duplicidade de dados na RNDS, com registros simultaneamente validados e inválidos⁵.

Diversos países também adotam mecanismos próprios de validação dos dados registrados no SII, conforme observado neste estudo. Em vários países, para garantir que o registro de uma dose vacinal seja válido, os vacinadores podem selecionar a vacina e sua respectiva dose a ser administrada em uma lista incluída no sistema. Em outros contextos, a validação ocorre de forma automática, por meio de regras predefinidas e similares⁴⁰.

Há ainda países que validam os registros dos SII por meio de leitores de código de barras, menus suspensos para selecionar a dose administrada em uma lista predefinida de vacinas, vinculação a um banco de dados de produtos ou upload de registros médicos eletrônicos por serviços da web. Em todos esses lugares, o registro das doses registradas não é realizado de forma manual⁴⁰.

No entanto, pesquisadores relatam que ainda há ausência de processos consolidados para validação dos dados vacinais e controle de qualidade desses registros nos sistemas, o que representa um grande desafio para a obtenção de dados confiáveis, fidedignos e representativos da real situação vacinal das pessoas^40,41.

Quanto ao último critério avaliado do atributo simplicidade, capacitações com os usuários, este foi considerado complexo. Embora sejam ofertados materiais e suporte aos gestores e profissionais de saúde^5,6, há evidências de que as capacitações são insuficientes e pouco eficazes para a utilização dos SII^3,8,32. Isso tem prejudicado a aceitação das tecnologias^1,8,9,18,26. Nesse contexto, é fundamental assegurar que os profissionais aceitem e sejam devidamente capacitados para incorporar essas tecnologias em suas atividades diárias⁹.

Estudo aponta que a oferta de treinamento para as equipes de saúde que utilizam os SII ainda é limitada, sendo que apenas 7,8% dos profissionais de saúde nas Uaps receberam capacitação para usar esses sistemas. Além disso, 50% dos profissionais utilizavam os dados gerados pelos SII para tomar decisões enquanto apenas 31% elaboravam relatórios analíticos com base nessas informações⁴².

Um sistema deve ser fácil de aprender, permitindo que os profissionais compreendam rapidamente a sua interface; eficiente para usar, possibilitando alta produtividade na localização de informações; fácil de memorizar, para que os profissionais não precisem reaprender a usá-lo; pouco sujeito a erros, e agradável de usar, garantindo uma experiência satisfatória⁴³.

Como visto, o Sistema de Vigilância em Imunização no Brasil é complexo, o que tem impactado a vida das pessoas, dos profissionais de saúde e dos gestores. A complexidade desse sistema afeta diretamente a adesão à vacinação, especialmente em populações vulneráveis. Isso ocorre devido à diversidade de sistemas existentes para os registros dos dados vacinais e à baixa interoperabilidade entre eles, o que gera inconsistências e incompletudes dos registros, uma vez que os dados ficam duplicados e/ou se perdem quando são transmitidos para outros sistemas. Essas questões dificultam o acompanhamento do histórico vacinal das pessoas, comprometem a qualidade dos dados e a confiança nos sistemas informacionais e nos serviços de saúde^1,14.

No ponto de vista gerencial, a fragmentação dos sistemas de informação exige estratégias de padronização e interoperabilidade. Experiências no Canadá e na União Europeia mostram que sistemas nacionais integrados, com validação automática e tecnologias como leitores de código de barras, otimizam a gestão da informação^30,40. No Brasil, a RNDS é um avanço promissor, mas ainda requer melhorias na infraestrutura digital e na capacitação dos profissionais de saúde^14,26,29.

No âmbito acadêmico, os resultados deste estudo contribuem para o debate sobre os desafios da vigilância em saúde no Brasil e apontam lacunas ainda pouco exploradas na literatura. A escassez de investigações que abordem a usabilidade dos sistemas de informação sob a perspectiva dos profissionais e as barreiras tecnológicas enfrentadas por diferentes populações revela a necessidade de pesquisas interdisciplinares, que articulem os campos da saúde coletiva, tecnologia da informação e ciências sociais^9,26,27,29. Além do mais, este estudo dialoga com as pesquisas sobre vigilância em saúde ao preocupar-se com o monitoramento, consistência e consolidação dos dados em saúde e ao enfrentar os desafios da era digital nos sistemas públicos, a fim de promover um acompanhamento adequado da situação de saúde da população²⁷.

Dentre as limitações deste estudo, destaca-se que, apesar das estratégias adotadas para reduzir a subjetividade na avaliação dos critérios do atributo simplicidade, os resultados devem ser interpretados com cautela, considerando as constantes atualizações e a heterogeneidade dos SII no Brasil. Outra limitação está relacionada com a coleta de dados por meio de formulários eletrônicos. Apesar das vantagens, como agilidade e maior alcance, essa abordagem pode resultar em alta taxa de não respondentes e respostas incompletas, afetando a representatividade dos dados. Adicionalmente, a fragmentação das informações nos manuais e normativas dos SII, associada à diversidade de tecnologias utilizadas no registro e na comunicação dos dados vacinais, dificultou a compreensão atual do fluxo de dados de vacinação no País.

No entanto, este estudo apresenta diversas fortalezas, como o uso das diretrizes do CDC, que conferem rigor à análise do Sistema de Vigilância em Imunizações do Brasil. A avaliação do atributo de simplicidade é essencial, pois permite uma visão abrangente dos desafios do sistema de vigilância ao descrever o fluxo de dados e analisar a usabilidade dos SII, aspecto crucial para sua aceitação e adoção.

Conclusões

O Sistema de Vigilância em Imunizações no Brasil enfrenta desafios significativos que demandam aprimoramento contínuo, tanto do ponto de vista tecnológico quanto operacional. Embora tenha havido avanços importantes com a implementação de tecnologias como o PEC, o e-SUS Vacinação e o Novo SIPNI, a eficácia dessas soluções está intimamente ligada à superação de questões técnicas, políticas e operacionais, além de envolver a capacitação constante dos profissionais de saúde. A integração de dados e a interoperabilidade entre diferentes plataformas continuam sendo um dos maiores obstáculos, impactando na qualidade e a consistência dos registros vacinais.

Por fim, a complexidade do Sistema de Vigilância em Imunizações no Brasil ainda apresenta desafios gerenciais relacionados com a integração dos sistemas e suscita discussões relevantes para investigações futuras. Reforça-se, assim, a necessidade de investimentos em infraestrutura digital do País e a formação profissional, com intuito de torná-la problematizadora, sendo o enfoque o real uso dos sistemas de informações e das informações geradas, de modo a atender às reais necessidades dos serviços de saúde e da população assistida.

• Suporte financeiro: Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (código 001), Fundação de Amparo à Pesquisa de Minas Gerais (APQ-00877-20)

Disponibilidade de dados:

os dados de pesquisa estão contidos no próprio manuscrito

Referências

• ¹ Rahmadhan MAWP, Handayani PW. Challenges of vaccionation information system implementation: A systematic literature review. Hum Vaccin Immunother. 2023;19(2):2257054. DOI: https://doi.org/10.1080/21645515.2023.2257054
  » https://doi.org/10.1080/21645515.2023.2257054
• ² Silva AA, Teixeira AMS, Domingues CMAS, et al. Evaluation of the National Immunization Program Surveillance System - Vaccination Record Module, Brazil, 2017. Epidemiol Serv Saude. 2021;30(1):e2019596. DOI: https://doi.org/10.1590/S1679-49742021000100028
  » https://doi.org/10.1590/S1679-49742021000100028
• ³ Sato APS. National Immunization Program: Computerized System as a tool for new challenges. Rev Saúde Pública. 2015;49:39. DOI: https://doi.org/10.1590/S0034-8910.2015049005925
  » https://doi.org/10.1590/S0034-8910.2015049005925
• ⁴ Oliveira GCCF, Arroyo LH, Vimieiro AM, et al. Spatial behavior of hepatitis A, MMR, and varicella vaccination coverage in the state of Minas Gerais, 2020. Rev Bras Epidemiol. 2023;26:e230030. DOI: https://doi.org/10.1590/1980-549720230030.2
  » https://doi.org/10.1590/1980-549720230030.2
• ⁵ Ministério da Saúde (BR), Secretaria de Atenção Primária à Saúde. e-SUS Atenção Primária à Saúde: Manual do Sistema com Prontuário Eletrônico do Cidadão PEC - Versão 5.3. Brasília, DF: Ministério da Saúde; 2024.
• ⁶ Ministério da Saúde (BR), Secretaria de Vigilância em Saúde e Ambiente, Departamento de Imunização e Doenças Imunopreveníveis. Nota Informativa Conjunta nº 4/2023. Interrupção do uso do sistema SIPNI (Web e Desktop) módulo Registro de Vacinação Individualizado e Movimentação de Imunobiológicos. Brasília, DF: Ministério da Saúde; 2023.
• ⁷ Ministério da Saúde (BR), Secretaria de Vigilância em Saúde, Departamento de Articulação Estratégica de Vigilância em Saúde. Guia de Vigilância em Saúde. 5ª ed. rev. Brasília, DF: Ministério da Saúde; 2022.
• ⁸ Silva BS, Guimarães EAA, Oliveira VC, et al. National Immunization Program Information System: implementation context assessment. BMC Health Serv Res. 2020;20(1):333. DOI: https://doi.org/10.1186/s12913-020-05175-9
  » https://doi.org/10.1186/s12913-020-05175-9
• ⁹ Oliveira VC, Guimarães EAA, Amaral GG, et al. Acceptance and use of the Information System of the National Immunization Program. Rev Lat Am Enfermagem. 2020;28:e3307. DOI: https://doi.org/10.1590/1518-8345.3360.3307
  » https://doi.org/10.1590/1518-8345.3360.3307
• ¹⁰ World Health Organization. Immunization Agenda 2030: A global strategy to leave no one behind. Geneva: WHO; 2020.
• ¹¹ Centers for Disease Control and Prevention. Updated guidelines for evaluating public health surveillance systems. Washington: CDC; 2001.
• ¹² Waldman EA. Vigilância em Saúde Pública - volume 7 [Internet]. São Paulo: Faculdade de Saúde Pública da Universidade de São Paulo; 1998 [acesso em 2024 outubro 20]. Disponível em: https://bvsms.saude.gov.br/bvs/publicacoes/saude_cidadania_volume07.pdf
  » https://bvsms.saude.gov.br/bvs/publicacoes/saude_cidadania_volume07.pdf
• ¹³ Braz RM, Domingues CMAS, Teixeira AMS, et al. Classificação de risco de transmissão de doenças imunopreveníveis a partir de indicadores de coberturas vacinais nos municípios brasileiros. Epidemiol Serv Saúde. 2016; 25(4):745-54. DOI: http://dx.doi.org/10.5123/S1679-49742016000400008
  » http://dx.doi.org/10.5123/S1679-49742016000400008
• ¹⁴ Moraes JC, França AP, Guibu IA, et al. Confiabilidade das informações registradas no Sistema de Informação do Programa Nacional de Imunizações. Epidemiol Serv Saúde. 2024;33(Esp 2):e20231309. DOI: https://doi.org/10.1590/S2237-96222024v33e20231309.especial2.pt
  » https://doi.org/10.1590/S2237-96222024v33e20231309.especial2.pt
• ¹⁵ Ministério da Saúde (BR), Secretaria de Atenção Primária à Saúde. Transição de registro do SIPNI para eSUS APS encerra em 31 de julho. Brasília, DF: Ministério da Saúde; 2020.
• ¹⁶ Oliveira SH, Silva BS, Carvalho LMR, et al. Prevalence and underreporting of immunization errors in childhood vaccination: results of a household survey. Rev Esc Enferm USP. 2024;57:e20230253. DOI: https://doi.org/10.1590/1980-220X-REEUSP-2023-0253en
  » https://doi.org/10.1590/1980-220X-REEUSP-2023-0253en
• ¹⁷ Celuppi IC, Mohr ETB, Felisberto M, et al. Dez anos do Prontuário Eletrônico do Cidadão e-SUS APS: em busca de um Sistema Único de Saúde eletrônico. Rev Saúde Pública. 2024;58:23. DOI: https://doi.org/10.11606/s1518-8787.2024058005770
  » https://doi.org/10.11606/s1518-8787.2024058005770
• ¹⁸ Morato YC, Carvalho DBF, Oliveira VC, et al. Análise do Sistema de Informação em Imunizações do Brasil sob a ótica das heurísticas de usabilidade. Rev Cuba Inf Cienc Salud [Internet]. 2020 [acesso em 2024 outubro 31];31(2):e1515. Disponível: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S2307-21132020000200011&lng=es
  » http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S2307-21132020000200011&lng=es
• ¹⁹ Ferreira AP, Silva BS, Pereira MAD, et al. Checklist para avaliação do desempenho do Sistema de Informação de Imunização: desenvolvimento e validação. Rev Cuba Inf Cienc Salud [Internet]. 2021 [acesso em 2024 set 21];32(1):e1688. Disponível em: https://acimed.sld.cu/index.php/acimed/article/view/1688/pdf_66
  » https://acimed.sld.cu/index.php/acimed/article/view/1688/pdf_66
• ²⁰ Ribeiro IG, Percio J, Moraes C. Avaliação do sistema nacional de vigilância da doença meningocócica: Brasil, 2007-2017. Epidemiol Serv Saúde. 2019;28(3):e2018335. DOI: https://doi.org/10.5123/S1679-49742019000300009
  » https://doi.org/10.5123/S1679-49742019000300009
• ²¹ Conselho Nacional de Saúde (BR). Resolução nº 466, de 12 dezembro de 2012. Aprova as diretrizes e normas regulamentadoras de pesquisas envolvendo seres humanos. Diário Oficial da União, Brasília, DF. 2013 jun 13; Edição 112; Seção I:59-62.
• ²² Ministério da Saúde (BR), Secretaria de Atenção Primária à Saúde. Sistema de Informação em Saúde para a Atenção Básica - SISAB. Nota Técnica Explicativa - Relatório de Vacinas Registradas no e-SUS APS. Brasília, DF: Ministério da Saúde; 2024.
• ²³ Ministério da Saúde (BR), Secretaria de Atenção Primária à Saúde. SISAB - Sistema de Informação em Saúde para a Atenção Básica. Brasília, DF: Ministério da Saúde; 2024.
• ²⁴ Slee M, Agarwal A, Kwiatkowski M. Thrift: Scalable Cross-Language Services Implementation [Internet]. Palo alto: Apache Software Foundation; 2007 [acesso em 2024 outubro 31]. Disponível em: https://thrift.apache.org/static/files/thrift-20070401.pdf
  » https://thrift.apache.org/static/files/thrift-20070401.pdf
• ²⁵ Ministério da Saúde (BR), Secretaria de Atenção Especializada em Saúde. Campanha Nacional de Vacinação Contra COVID-19. Brasília, DF: Ministério da Saúde; 2024.
• ²⁶ Guimarães EAA, Morato YC, Carvalho DBF, et al. Evaluation of the Usability of the Immunization Information System in Brazil: A Mixed-Method Study. Telemed J E Health. 2021;27(5):551-60. DOI: https://doi.org/10.1089/tmj.2020.0077
  » https://doi.org/10.1089/tmj.2020.0077
• ²⁷ Scharf LG, Coyle R, Adeniyi K, et al. Current Challenges and Future Possibilities for Immunization Information Systems. Acad Pediatr. 2021;21(4S):S57-S64. DOI: https://doi.org/10.1016/j.acap.2020.11.008
  » https://doi.org/10.1016/j.acap.2020.11.008
• ²⁸ Ministério da Saúde (BR), Secretaria de Vigilância em Saúde e Ambiente, Departamento do Programa Nacional de Imunizações. Manual de Normas e Procedimentos para Vacinação. 2ª ed. rev. Brasília, DF: Ministério da Saúde; 2024. 294 p.
• ²⁹ Silva BS. Avaliação da situação vacinal de crianças em Minas Gerais: uma análise comparativa [Internet]. Ribeirão Preto: Escola de Enfermagem da Universidade de São Paulo; 2023 [acesso em 2024 set 22]. Disponível em: https://www.teses.usp.br/teses/disponiveis/22/22133/tde-04092024-091901/pt-br.php
  » https://www.teses.usp.br/teses/disponiveis/22/22133/tde-04092024-091901/pt-br.php
• ³⁰ Wilson SE, Quach S, MacDonald SE, et al. Immunization information systems in Canada: Attributes, functionality, strengths and challenges. A Canadian Immunization Research Network study. Can J Public Health. 2017;107(6):e575-e582. DOI: https://doi.org/10.17269/cjph.107.5679
  » https://doi.org/10.17269/cjph.107.5679
• ³¹ Rajamani S, Jiter N, Leeds M, et al. Evolving Interoperability Across a State Public Health Immunization Registry and Electronic Health Records. Stud Health Technol Inform. 2024;310:23-27. DOI: https://doi.org/10.3233/shti230920
  » https://doi.org/10.3233/shti230920
• ³² Rau C, Lüdecke D, Dumolard LB, et al. Data quality of reported child immunization coverage in 194 countries between 2000 and 2019. PLOS Glob Public Health. 2022;2(2):e0000140. DOI: https://doi.org/10.1371/journal.pgph.0000140
  » https://doi.org/10.1371/journal.pgph.0000140
• ³³ Araújo JR, Filho DCA, Machado LDS, et al. Sistema e-SUS AB: percepções dos enfermeiros da Estratégia Saúde da Família. Saúde debate. 2019;43(122):780-92. DOI: https://doi.org/10.1590/0103-1104201912210
  » https://doi.org/10.1590/0103-1104201912210
• ³⁴ Fonseca KR, Buenafuente SMF. Análise das coberturas vacinais de crianças menores de um ano em Roraima, 2013-2017. Epidemiol Serv Saúde. 2021;30(2):e2020195. DOI: https://doi.org/10.1590/S1679-49742021000200010
  » https://doi.org/10.1590/S1679-49742021000200010
• ³⁵ Rodrigues SB, Amaral GG, Silva BS, et al. Uso do Sistema de Informação de Imunização do Brasil: qual a realidade? Rev Cuidarte. 2022;13(1)e2138. DOI: http://dx.doi.org/10.15649/cuidarte.2138
  » http://dx.doi.org/10.15649/cuidarte.2138
• ³⁶ Pavia G, Branda F, Ciccozzi A, et al. Integrating Digital Health Solutions with Immunization Strategies: Improving Immunization Coverage and Monitoring in the Post-COVID-19 Era. Vaccines. 2024;12(8):847. DOI: https://doi.org/10.3390/vaccines12080847
  » https://doi.org/10.3390/vaccines12080847
• ³⁷ European Centre for Disease Prevention and Control. Designing and implementing an immunisation information system. Technical Guidance Report. Suécia: ECDC; 2018. 75 p.
• ³⁸ Leandro BBS, Rezende FAVS, Pinto JMC. Informações e registros em saúde e seus usos no SUS. 1ª ed. Rio de Janeiro: Editora Fiocruz; 2020. 176 p.
• ³⁹ Domingues CMAS, Fantinato FFST, Duarte E, et al. Vacina Brasil Movement and immunization training and development strategies. Epidemiol Serv Saúde. 2019;8(2):e20190223. DOI: https://doi.org/10.5123/S1679-49742019000200024
  » https://doi.org/10.5123/S1679-49742019000200024
• ⁴⁰ Derrough T, Olsson K, Gianfredi V, et al. Immunisation Information Systems - useful tools for monitoring vaccination programmes in EU/EEA countries, 2016. Euro Surveill. 2017;22(17):30519. DOI: https://doi.org/10.2807/1560-7917.es.2017.22.17.30519
  » https://doi.org/10.2807/1560-7917.es.2017.22.17.30519
• ⁴¹ Jalloh MF, Namageyo-Funa A, Gleason B, et al. Assessment of VaxTrac electronic immunization registry in an urban district in Sierra Leone: Implications for data quality, defaulter tracking, and policy. Vaccine. 2020;38(39):6103-6111. DOI: https://doi.org/10.1016/j.vaccine.2020.07.031
  » https://doi.org/10.1016/j.vaccine.2020.07.031
• ⁴² Worku A, Alemu H, Belay H, et al. Contribution of health information system to child immunization services in Ethiopia: baseline study of 33 woredas. BMC Med Inform Decis Mak. 2022;22(1):64. DOI: https://doi.org/10.1186/s12911-022-01796-8
  » https://doi.org/10.1186/s12911-022-01796-8
• ⁴³ Nielsen J. Usability 101: Introduction to Usability. Nielsen Norman Group [Internet]. 2012 jan 3 [acesso em 2024 nov 8]; Articles & Videos. Disponível em: https://www.nngroup.com/articles/usability-101-introduction-to-usability/
  » https://www.nngroup.com/articles/usability-101-introduction-to-usability/

Editado por

• Editora responsável:
  Mônica Ferreira da Silva

Datas de Publicação

• Publicação nesta coleção
  17 Nov 2025
• Data do Fascículo
  2025

Histórico

• Recebido
  10 Nov 2024
• Aceito
  19 Jun 2025