Elaboração, validade de conteúdo e confiabilidade de instrumento de avaliação da comercialização de alimentos e bebidas em cantinas escolares do BrasilRESUMO
Objetivos: Elaborar, verificar a validade de conteúdo e avaliar a confiabilidade de um instrumento de avaliação da comercialização de alimentos e bebidas em cantinas escolares.
Métodos: A versão preliminar do instrumento foi construída após revisão de literatura, identificação das dimensões do ambiente alimentar, elaboração dos itens e estruturação do instrumento, dividido em três seções, quais sejam: identificação e caracterização da cantina, alimentos comercializados e publicidade dos alimentos comercializados. O instrumento foi avaliado por especialistas e foi calculado o índice de validade de conteúdo (IVC) para cada item do instrumento (satisfatório >0,80). A confiabilidade foi examinada em uma amostra de cantinas por meio do teste interobservador e intraobservador. Foram calculados valores de kappa, PABAK e coeficiente de correlação intraclasse.
Resultados: O instrumento contemplou 945 itens. A média de pontuação do IVC do instrumento, considerando os aspectos avaliados (relevância, clareza da escrita dos itens e das suas opções de respostas) foi de 0,95. As sugestões dos especialistas foram avaliadas e os itens foram incluídos, retirados ou alterados quando pertinente. Com relação à confiabilidade, 95,2% do total dos itens analisados apresentou concordância excelente, muito boa ou boa (≥0,6).
Conclusão: O instrumento apresentou validade de conteúdo adequada e confiabilidade satisfatória no contexto das escolas estudadas para mensurar o ambiente alimentar de cantinas escolares. Dessa forma, contribui para o avanço da aferição da comercialização de alimentos em cantinas, um importante aspecto do ambiente alimentar escolar.
Palavras-chave:
Alimentação escolar; Ambiente; Confiabilidade e validade; Espaço social alimentar
ABSTRACT
Objectives: To develop, verify content validity, and evaluate the reliability of an instrument for assessing the commercialization of food and beverages in school canteens.
Methods: The preliminary version of the instrument was developed following a literature review, identification of food environment dimensions, item development, and structuring of the instrument, which was divided into three sections: identification and characterization of canteens, commercialized foods, and food advertising. The instrument was evaluated by experts, and the content validity index was calculated for each item (deemed satisfactory if >0.80). Reliability was assessed in a sample of canteens using inter-rater and intra-rater tests. Values of kappa, prevalence-adjusted bias-adjusted kappa, and intraclass correlation coefficient were calculated.
Results: The instrument included 945 items. The average content validity index score of the instrument, considering the evaluated aspects (relevance, clarity of item wording, and clarity of response options), was 0.95. Experts’ suggestions were reviewed, and items were added, removed, or modified when appropriate. Regarding reliability, 95.2% of the total analyzed items showed excellent, very good, or good agreement (≥0.6).
Conclusion: The instrument proved to be reliable for measuring the food environment in school canteens in the Brazilian context, showing satisfactory values for both content validity and reliability. Thus, the instrument contributes to advancing the assessment of food commercialization in canteens, an important aspect of the school food environment.
Keywords:
School meals; Environment; Reliability and validity; Food social space
INTRODUÇÃO
Os ambientes nos quais as pessoas estão inseridas influenciam de diversas maneiras as escolhas alimentares e o consumo de alimentos, por meio de um conjunto de elementos que englobam aspectos físicos, econômicos, políticos e socioculturais dos ambientes1,2,3. Assim, o ambiente alimentar escolar é definido como os espaços, a infraestrutura e as condições, dentro e ao redor das escolas, em que os alimentos estão disponíveis, podendo ser obtidos, comprados ou consumidos: cantinas, lanchonetes, máquinas de autosserviço e vendedores ambulantes, bem como qualquer instalação em que haja venda de alimentos. Inclui também informações, promoção (marketing, propaganda, marcas, rótulos, embalagens) e precificação dos alimentos4.
Nesse contexto, as cantinas escolares destacam-se como espaços dentro das escolas destinados à comercialização de alimentos e bebidas para a comunidade escolar5. Elas influenciam as escolhas alimentares, sendo acessíveis a 31,4% dos alunos de escolas públicas e 88% dos estudantes de instituições privadas no Brasil, segundo a Pesquisa Nacional de Saúde do Escolar (PeNSE) de 20196.
A comercialização de alimentos não saudáveis nas escolas está associada ao maior consumo desses alimentos entre os alunos7,8,9. No Brasil, foi verificada associação entre a compra regular de lanches nas cantinas a uma maior chance de consumo de bebidas açucaradas pelos adolescentes10 e à alta prevalência da comercialização de alimentos ultraprocessados em escolas privadas11.
Diante desse cenário, destaca-se a importância de instrumentos com boas propriedades psicométricas para avaliar a comercialização de alimentos em cantinas escolares. Ainda são escassos os estudos que validam ou verificam a confiabilidade desses instrumentos. Pesquisas realizadas na Austrália12,13,14,15, Nova Zelândia16, África do Sul17,18 e Noruega19 avaliaram a validade e/ou confiabilidade de instrumentos aplicados a diferentes aspectos do ambiente escolar. No Brasil, não há instrumentos validados para medir de forma precisa e confiável a comercialização de alimentos em cantinas escolares, dificultando a comparação entre estudos20 e limitando o avanço do conhecimento científico21.
Tendo em vista a lacuna e o impacto do ambiente alimentar escolar no consumo alimentar de crianças e adolescentes, o presente estudo teve como objetivo elaborar, verificar a validade de conteúdo e avaliar a confiabilidade de um instrumento de avaliação da comercialização de alimentos e bebidas nesses espaços.
MÉTODOS
Elaboração do instrumento
O instrumento foi elaborado no contexto do estudo Comercialização de Alimentos em Escolas Brasileiras (Caeb), cujo objetivo principal foi avaliar a comercialização de alimentos e bebidas em escolas privadas das capitais brasileiras22.
A primeira etapa da elaboração do instrumento foi a revisão de instrumentos existentes que avaliam o ambiente alimentar escolar e contêm dimensões ou itens aplicáveis para o contexto brasileiro. A revisão foi conduzida por dois pesquisadores nas bases Sistema Online de Busca e Análise de Literatura Médica (MEDLINE, via United States National Library of Medicine - PubMed) e Scientific Electronic Library Online (SciELO) em 2022. As versões preliminares do instrumento foram elaboradas com base na identificação das dimensões, formulação dos itens e estruturação do instrumento.
Entre as dimensões identificadas estão a disponibilidade (que inclui a variedade de alimentos disponíveis), a acessibilidade financeira (preço), a comodidade/conveniência (formas de pagamento, horário de funcionamento)23, a informação nutricional1, a promoção de alimentos (publicidade)1,3,24,25,26, a infraestrutura para a produção de refeições, a governança27 e a política3. Os instrumentos que serviram de base para a elaboração do instrumento foram: “Instrumento de avaliação do ambiente alimentar: ESAO-restaurantes”28; “Instrumento de auditoria do ambiente alimentar baseado na nova classificação de alimentos do Guia Alimentar (NOVA) - AUDIT-NOVA”29; “Instrumento de avaliação do ambiente alimentar universitário”30; o instrumento da PeNSE6 e o Instrumento do projeto “Segurança alimentar em cantinas escolares dos municípios do território da cidadania do noroeste colonial/RS31. Os itens referentes a alimentos foram elaborados com base nas recomendações do Guia Alimentar para a População Brasileira32 e no “Instrumento de avaliação do ambiente alimentar universitário”30.
O instrumento foi organizado em duas seções: Seção 1, destinada à identificação e caracterização da cantina; e Seção 2, voltada para os alimentos comercializados. Após a elaboração das versões preliminares, passou por avaliação de especialistas. Esse processo compõe a fase prototípica, essencial para o refinamento dos esboços iniciais e a criação de um instrumento adequado à mensuração proposta21.
O instrumento foi desenvolvido para uso por pesquisadores, sociedade civil, governo e demais interessados, visando avaliar a comercialização de alimentos em cantinas escolares com foco na alimentação adequada e saudável. Para isso, é fundamental compreender o funcionamento da cantina, cuja organização e operação influenciam a disponibilidade de alimentos.
O instrumento não gera um escore único nem uma classificação geral, pois cada dimensão pode ser analisada separadamente conforme o aspecto avaliado. No entanto, com base nos resultados da Seção 2, referentes à disponibilidade de alimentos, tem sido calculado o índice de saudabilidade33. Esse índice é obtido pela soma da disponibilidade de alimentos in natura, minimamente processados, processados e preparações culinárias baseadas nesses alimentos (AIMPP) e da não disponibilidade de alimentos ultraprocessados e preparações culinárias baseadas nesses alimentos (AUPP). O valor final varia de 0 a 100, indicando maior adequação quanto mais próximo de 10033.
Avaliação por especialistas
Recomenda-se que de cinco a 20 especialistas avaliem o instrumento34,35. Neste estudo, 12 pesquisadores da área da nutrição e vinculados a diferentes instituições de pesquisa, com especialidade em epidemiologia, saúde coletiva, ambientes alimentares, alimentação coletiva ou gastronomia, foram convidados a participar da avaliação. Todos possuíam experiência nos temas do estudo e/ou na construção de instrumentos.
A versão preliminar foi analisada em um único momento quanto à relevância dos itens para os objetivos do estudo, clareza da redação e ausência de ambiguidade, com base em escala Likert de quatro pontos, em que: 1=item não equivalente; 2=item necessita de grande revisão para ser avaliada a equivalência; 3=item equivalente, necessita de pequenas alterações; e 4=item absolutamente equivalente36. Os avaliadores registraram comentários/sugestões. Essa etapa, de abordagem qualitativa, integra a fase prototípica da elaboração do instrumento21.
Pré-teste
O pré-teste foi realizado em uma escola com características semelhantes às escolas da amostra do estudo Caeb, por meio do instrumento impresso, e foi realizado por uma pesquisadora treinada.
Confiabilidade do instrumento
A confiabilidade do instrumento foi avaliada em uma amostra de conveniência composta de escolas públicas e privadas de uma capital e de um município da sua região metropolitana. A estimativa da amostra de cantinas avaliadas (n=13) foi realizada com base nos critérios propostos por Hulley et al.37 para o cálculo do coeficiente de correlação. Considerou-se uma correlação média de 0,70, a qual é classificada como boa concordância segundo os critérios estabelecidos por Byrt38. Adotou-se nível de significância de 5% e poder de teste de 80%. Foram convidadas a participarem do estudo 28 cantinas.
A coleta ocorreu entre setembro e dezembro de 2023 por meio do aplicativo Collect Box39 e foi aplicada por duas pesquisadoras treinadas e com experiência em ambiente alimentar escolar. As cantinas foram avaliadas três vezes40,41: pelas duas pesquisadoras no mesmo dia, com até 30 minutos de intervalo (teste interobservador), e por uma delas novamente após, em média, 21 dias (teste intraobservador).
A coleta combinou diferentes estratégias: algumas informações foram obtidas por meio de entrevista com gestores ou funcionários da cantina, enquanto outras decorreram de observação direta (auditoria). Para assegurar a padronização dos procedimentos, foi utilizado o manual de coleta, disponibilizado também como material suplementar.
Análise dos dados
Após o retorno dos especialistas, aplicou-se o Índice de Validade de Conteúdo (IVC) para avaliação quantitativa42. O IVC mede a proporção de especialistas que concordam sobre aspectos dos itens43, com base na escala Likert de 1 a 4 descrita36. Itens com notas 1 ou 2 devem ser revistos ou excluídos. O IVC de cada item é calculado pela razão entre respostas 3 e 4 e o total de respostas, sendo aceitável um índice ≥ 0,80, preferencialmente > 0,9044.
Para a confiabilidade, analisaram-se variáveis categóricas por meio da concordância percentual (CP45), kappa e kappa ajustado para prevalência e viés (PABAK46) e variáveis contínuas (variedade, tamanho e preços) pelo Coeficiente de Correlação Intraclasse (CCI47). O PABAK foi incluído como medida complementar, por corrigir distorções em situações de prevalência extrema, conferindo maior robustez à interpretação da concordância. Os valores de CP, kappa, PABAK e CCI foram classificados de acordo com o critério de Byrt38 em: concordância excelente (≥0,92), concordância muito boa (0,80 a 0,91), concordância boa (0,60 a 0,79), concordância razoável (0,40 a 0,59), concordância superficial (0,20 a 0,39), concordância pobre (0,00 a 0,19), nenhuma concordância (<0,00). Não foram calculados valores de kappa e PABAK para os itens que não eram comercializados em nenhuma cantina, pois as estatísticas não puderam ser computadas pela ausência de um ou mais níveis nas tabelas de referência cruzadas.
As análises foram realizadas com o auxílio do software Statistical Package for the Social Sciences (SPSS 21)48 e do Software for Statistics and Data Science (Stata/SE 15)49. Este estudo obedeceu aos preceitos éticos da Declaração de Helsinki e das Resoluções no 466/2012 e 510/2016 do Conselho Nacional de Saúde, sendo aprovado pelo Comitê de Ética em Pesquisa da Universidade Federal de Minas Gerais (parecer número 5.240.459). Participaram do estudo especialistas e gestores/as de cantinas que consentiram em participar e registraram o aceite no termo de consentimento livre e esclarecido.
Declaração de Disponibilidade de Dados:
Todo o conjunto de dados que dá suporte aos resultados deste estudo foi publicado no artigo e na seção “Materiais suplementares”.
RESULTADOS
Avaliação por especialistas
83,3% (n=10) dos especialistas convidados participaram da validação de conteúdo. A concordância foi satisfatória, com média do IVC de 0,9. As médias por seção estão na Tabela 1 do material suplementar.
Com base na avaliação, os itens foram revisados e ajustados conforme as sugestões pertinentes, discutidas pelos coordenadores do estudo. As principais alterações foram: inclusão da pergunta sobre a existência da estratégia de venda, presente na dimensão “promoção de alimentos”; inclusão do item sobre a existência de oferta de refeição e seu preço na cantina; retirada de quatro itens referentes à identificação da cantina; e reorganização da dimensão do tamanho e preço dos alimentos e bebidas - anteriormente o objetivo era conhecer o tamanho único (quando houvesse somente uma opção do alimento/bebida), mínimo e máximo, bem como o preço único (quando houvesse somente uma opção do alimento/bebida), mínimo e máximo. A versão final contou com o tamanho do alimento de menor preço e o menor preço. A dimensão da publicidade dos alimentos sofreu uma reorganização e passou a ser o objetivo da terceira seção.
Os especialistas recomendaram a elaboração de um manual de coleta abrangente, com orientações sobre aferição da variedade, unidade de medida (peso, volume ou unidade) e exemplos para a classificação dos alimentos quanto ao seu grau de processamento (conforme o manual de coleta de dados). As alterações estão descritas na Tabela 1 do material suplementar.
Pré-teste
O pré-teste mostrou que os itens foram compreendidos e preenchidos adequadamente, sem necessidade de alterações. A sequência das seções mostrou-se pertinente e o conteúdo, claro. Então, o instrumento foi programado em um aplicativo, com itens configurados de forma dinâmica e condicionados às respostas anteriores, o que trouxe maior praticidade e reduziu erros de digitação.
Versão final do instrumento
A versão final do instrumento elaborado considerou as dimensões: informação alimentar e nutricional, infraestrutura para alimentação, conveniência, acessibilidade financeira, disponibilidade, variedade e promoção. Contemplou 945 itens distribuídos em três seções:
-
1. Identificação e caracterização da cantina;
-
2. Comercialização, variedade, tamanho, valor do menor preço e estratégia de venda de alimentos, bebidas e preparações culinárias; e
-
3. Presença de publicidade desses itens.
A primeira seção foi composta de 95 itens relacionados a: aspectos administrativos, presença de nutricionista, tipo de refeições, local de preparo, disponibilidade de cardápios e informações nutricionais, estrutura para consumo, comercialização de preparações destinadas a dietas especiais (por exemplo: alergias, intolerâncias, diabetes), disponibilidade de condimentos, critérios e proibições de alimentos, incentivos de fornecedores, ações e materiais educativos sobre alimentação saudável, estratégias de preço e venda de alimentos realizada por outros membros da comunidade escolar fora da cantina.
A segunda seção foi composta de 300 itens que levam em conta a presença, a variedade, o tamanho do alimento de menor preço, o menor preço e as estratégias de venda (como combos ou promoções) para 50 alimentos e bebidas. Destes, 21 são alimentos in natura, minimamente processados ou processados e preparações culinárias baseadas nestes alimentos, e 29 são alimentos ultraprocessados e preparações culinárias baseadas nesses alimentos.
A terceira e última seção diz respeito às possíveis estratégias de comunicação mercadológica dos 50 alimentos e bebidas comercializados e contém 550 itens. Verifica 11 tipos de estratégias publicitárias como banners, vestimentas, réplicas, cardápios, entre outros. O instrumento completo está disponível no material suplementar.
Confiabilidade do instrumento
Participaram da coleta 14 cantinas, com duração média das entrevistas de 30 minutos em escolas particulares e 20 minutos em públicas. O instrumento foi reaplicado em média após 21 dias, com intervalo de 19 a 24 dias. Na seção 1, não foi possível calcular kappa, PABAK e CCI para 33 itens em razão da ausência de um ou mais níveis nas tabelas de referência cruzadas, dado o baixo número de ocorrências. O mesmo ocorreu na seção 2, com 124 itens. Além disso, 50 itens não foram contemplados pela amostra, pois dez alimentos do instrumento não estavam disponíveis nas cantinas, impossibilitando a avaliação de variedade, tamanho, preço, combos e promoções. Na seção 3, nenhum item permitiu o cálculo dessas medidas, porém o percentual de concordância no teste interobservador e intraobservador foi excelente (100%). Assim, no total, foi possível avaliar a confiabilidade de 188 itens.
No desempenho geral, 95,2% do total dos itens analisados (n=188) apresentaram concordância percentual excelente, muito boa ou boa. No teste interobservador, considerando-se as análises para as variáveis categóricas, entre os 112 itens avaliados, 90,1% tiveram concordância excelente e 9,9% muito boa ou boa, para o kappa (variação de 0,75-1,00). Para o PABAK 89,3% dos itens tiveram concordância excelente e 9,8% muito boa ou boa. A concordância nula foi observada em apenas 0,9% dos itens, especificamente na análise do PABAK no item sobre a comercialização do suco 100% integral em caixinha, lata ou garrafa (variação de -0,28 a 1,00) (Tabela 1). O CCI calculado para os itens “quantidade clientes atendidos por dia” e para a variedade, tamanho e preço dos alimentos/refeição na análise interobservador apresentou variação de 0,0 a 1,0 (92,1%≥0,92; 2,6% entre 0,6 a 0,91; 1,3% entre 0,2 a 0,39 e 3,9%<0,0). Do total de itens avaliados (n=76), 92,1% apresentaram concordância excelente e 2,6% concordância muito boa ou boa (Tabela 2). Apenas 1,3% dos itens apresentaram concordância superficial (variedade da pizza com recheio ultraprocessado) e 3,9% dos itens apresentaram nenhuma concordância (variedade do doce de frutas; tamanho da fruta fresca e variedade do sanduíche com recheio ultraprocessado).
No teste intraobservador, para os 76 itens em que o CCI foi calculado, 97,3% apresentaram concordância excelente, 2,7% apresentaram concordância muito boa e boa (variação de 0,61 a 1,00) e nenhum item teve concordância razoável, superficial, pobre nem nula (Tabela 2). Considerando-se as análises com as variáveis categóricas, do total dos 112 itens avaliados para o kappa, 95,5% apresentaram concordância excelente (≥0,92), 3,6% concordância muito boa e boa (CCI entre 0,6 a 0,91) e 0,9% nenhuma concordância (CCI<0,0). Com relação ao PABAK, encontraram-se 94,6% dos itens apresentando concordância excelente e 5,4% concordância muito boa ou boa, com variação de 0,8 a 1,0 (Tabela 3). Considerando-se o kappa, observou-se nenhuma concordância em 0,9% dos itens, especificamente no item que avalia a permissão de acordo com legislação municipal ou estadual como critério de comercialização dos alimentos. O detalhamento da avaliação encontra-se nas Tabelas 2, 3 e 4 do material suplementar.
DISCUSSÃO
Este estudo elaborou, verificou a validade de conteúdo e a confiabilidade de um instrumento de avaliação da comercialização de alimentos e bebidas em cantinas escolares. Nos contextos estudados, o instrumento apresentou validade de conteúdo e confiabilidade satisfatórias, podendo ser utilizado em estudos sobre comercialização de alimentos em cantinas escolares.
A identificação e caracterização das cantinas permite traçar o perfil desses estabelecimentos e entender os alimentos comercializados nesse importante espaço organizacional. Estudos que elaboram instrumentos para avaliar ambientes alimentares organizam os itens de forma detalhada, assegurando que cada aspecto a ser avaliado esteja identificado e que as dimensões do ambiente alimentar sejam claramente definidas28,29,30. Os alimentos presentes no instrumento foram selecionados com base em pesquisas nacionais e dos alimentos mais frequentemente comercializados nas cantinas6,50,51, levando-se em consideração a classificação NOVA52 e as atuais diretrizes do Guia Alimentar para a População Brasileira32. Informações sobre variedade, preço, estratégias de venda e publicidade dos alimentos comercializados permitem uma avaliação detalhada do ambiente alimentar escolar4,53, analisando os obstáculos e facilitadores que crianças e adolescentes enfrentam ao tomar decisões nesses espaços.
Apesar de mais de 90% dos itens apresentarem confiabilidade satisfatória, alguns poucos itens não foram bem avaliados. Entre eles, destacam-se aqueles relacionados à comercialização do suco 100% integral em caixinha, lata ou garrafa; à variedade de pizzas com recheio ultraprocessado; à variedade de doces de frutas; ao tamanho da fruta fresca; à variedade de sanduíches com recheio ultraprocessado; e ao critério de permissão para comercialização de alimentos com base na legislação municipal ou estadual, cuja confiabilidade insatisfatória pode ser explicada pelas diferenças na interpretação e aplicação dessas legislações entre escolas, um problema que ressalta a inconsistência na implementação das regras.
No teste interobservador, as diferenças podem ser atribuídas à interpretação dos critérios pelos avaliadores, à falta de clareza ou ambiguidade nas instruções ou a variações na observação e registro dos dados, indicando a necessidade de aprimoramento do treinamento realizado. Outros estudos também encontraram esse cenário30,54,55, o que demonstra a complexidade de aferição de diferentes dimensões do ambiente alimentar, relacionada às características dos itens, que podem envolver subjetividade na mensuração ou apresentar variação na disponibilidade de itens.
No teste intraobservador os resultados foram ainda mais satisfatórios. As diferenças podem ser atribuídas a mudanças no ambiente, como a disponibilidade e variedade de alimentos, ou ao comportamento dos participantes entre as duas aplicações do teste. No estudo de Franco et al.30, cujo objetivo foi avaliar a validade de conteúdo e a confiabilidade de um instrumento para avaliação do ambiente alimentar universitário brasileiro, as diferenças encontradas deram-se pelas variações do ambiente, especificamente na oferta dos alimentos. Borges et al.29, ao avaliarem a confiabilidade de um instrumento de auditoria do ambiente alimentar do consumidor, encontraram pequenas mudanças na disponibilidade, preço, quantidade de marcas e estratégias publicitárias dos alimentos. É importante mencionar que o referido estudo avaliou estabelecimentos como supermercados, hipermercados e mercados, que apresentam maior variação de preço, marcas e publicidades. Isso difere do presente estudo e do estudo de Franco et al.30, que analisaram estabelecimentos como cantinas escolares e lanchonetes/restaurantes universitários, ambos inseridos no ambiente organizacional, onde a variedade do cardápio não costuma sofrer tantas alterações e os reajustes de preços costumam ser realizados com menor frequência, em momentos mais pontuais como as voltas às aulas.
Ainda com relação ao teste intraobservador, o estudo que avaliou a validade e a confiabilidade do instrumento Perceived Nutrition Environment Measures Survey (NEMS-P)56, traduzido e adaptado para o Brasil, também encontrou valores de CCI aceitáveis. Entretanto, assim como observado no presente estudo, algumas dimensões apresentaram desempenho inferior - no caso do NEMS-P, questões relativas a preços, marketing em supermercados e promoção de alimentos, que chegaram a apresentar valores baixos ou até negativos. Os autores atribuíram esses resultados ao contexto de inflação no país, às dificuldades de compreensão das questões e às limitações dos métodos psicométricos para captar percepções individuais56.
Uma revisão sistemática57 que objetivou classificar e avaliar a qualidade dos métodos de aferição do ambiente alimentar escolar identificou que poucos estudos realizaram as etapas de elaboração e avaliação da validade de conteúdo e da confiabilidade dos instrumentos57. Ressalta-se o ineditismo do presente estudo ao realizar todas essas etapas para um instrumento específico para mensuração da comercialização de alimentos em cantinas escolares.
Entre os pontos fortes do estudo, tem-se a validação de conteúdo por meio da análise qualitativa e quantitativa e a realização da avaliação da confiabilidade do instrumento em escolas públicas e privadas, abrangendo, assim, os dois contextos do ambiente alimentar escolar. Além disso, o instrumento incluiu uma lista ampla de alimentos, baseada na classificação NOVA, e incorporou informações detalhadas sobre a comercialização de alimentos nas cantinas. O instrumento inclui perguntas que identificam a influência da indústria alimentícia nas escolas, permitindo uma análise mais crítica desse contexto.
Entre as limitações, destaca-se o período de coleta de dados, que durou três meses, não permitindo a identificação de diferenças sazonais. No entanto, o estudo contemplou duas cidades com características socioeconômicas e demográficas distintas, o que agrega valor à análise. Para alguns dos itens para os quais caberia cálculo de kappa e PABAK, estas estatísticas não foram computadas, o que pode estar relacionado ao número reduzido de cantinas avaliadas, embora o tamanho da amostra tenha apresentado poder estatístico suficiente para as análises. Ademais, foram avaliadas cantinas de escolas públicas, onde a comercialização de alimentos é menos frequente, em consequência do Programa Nacional de Alimentação Escolar. Nessas escolas, limitações de recursos humanos impactam a estrutura das cantinas, resultando em alto número de respostas negativas na aplicação do instrumento.
No contexto das escolas estudadas, o instrumento demonstrou ser confiável para mensurar a comercialização de alimentos em cantinas escolares, indicando aplicabilidade em contextos similares. Sua utilização contribui para o avanço na aferição do ambiente alimentar dessas cantinas, permitindo um monitoramento detalhado e fornecendo subsídios para intervenções que promovam ambientes mais saudáveis e alimentação adequada para os estudantes.
Materiais suplmentares
Material suplementar 1
Material suplementar 2
Referências bibliográficas
-
1. Glanz K, Sallis JF, Saelens BE, Frank LD. Healthy nutrition environments: concepts and measures. Am J Health Promot 2005; 19(5): 330-3, ii. https://doi.org/10.4278/0890-1171-19.5.330
» https://doi.org/https://doi.org/10.4278/0890-1171-19.5.330 -
2. Story M, Nanney MS, Schwartz MB. Schools and obesity prevention: creating school environments and policies to promote healthy eating and physical activity. Milbank Q 2009; 87(1): 71-100. https://doi.org/10.1111/j.1468-0009.2009.00548.x
» https://doi.org/https://doi.org/10.1111/j.1468-0009.2009.00548.x -
3. Swinburn B, Sacks G, Vandevijvere S, Kumanyika S, Lobstein T, Neal B, et al. INFORMAS (International Network for Food and Obesity/non-communicable diseases Research, Monitoring and Action Support): overview and key principles. Obes Rev 2013; 14 Suppl 1:1-12. https://doi.org/10.1111/obr.12087
» https://doi.org/https://doi.org/10.1111/obr.12087 -
4. Food and Agriculture Organization of United Nations. FOA school food and nutrition framework [Internet]. Rome: Food and Agriculture Organization of United Nations; 2019 [cited on Mar. 21, 2024]. Available at: https://openknowledge.fao.org/server/api/core/bitstreams/6f3162ea-1c1f-4699-a4b1-59a041e5f113/content
» https://openknowledge.fao.org/server/api/core/bitstreams/6f3162ea-1c1f-4699-a4b1-59a041e5f113/content -
5. São Paulo. Portaria Conjunta COGSP/CEI/DSE, de 23 de março de 2005. Normas para funcionamento de cantinas escolares [Internet]. 2005 [cited on Mar. 29, 2024]. Available at: https://www.educacao.sp.gov.br/a2sitebox/arquivos/documentos/953.pdf
» https://www.educacao.sp.gov.br/a2sitebox/arquivos/documentos/953.pdf -
6. Instituto Brasileiro de Geografia e Estatística. Pesquisa nacional de saúde do escolar: 2019 [Internet]. Rio de Janeiro: IBGE; 2021 [cited on Feb. 10, 2024]. Available at: https://biblioteca.ibge.gov.br/visualizacao/livros/liv101852.pdf
» https://biblioteca.ibge.gov.br/visualizacao/livros/liv101852.pdf -
7. Leite MA, Azeredo CM, Peres MFT, Escuder MML, Levy RB. Availability and consumption of ultra-processed foods in schools in the municipality of São Paulo, Brazil: results of the SP-Proso. Cad Saude Publica 2022; 37(suppl 1): e00162920. https://doi.org/10.1590/0102-311X00162920
» https://doi.org/https://doi.org/10.1590/0102-311X00162920 -
8. Clinton-McHarg T, Janssen L, Delaney T, Reilly K, Regan T, Nathan N, et al. Availability of food and beverage items on school canteen menus and association with items purchased by children of primary-school age. Public Health Nutr 2018; 21(15): 2907-14. https://doi.org/10.1017/S1368980018001726
» https://doi.org/https://doi.org/10.1017/S1368980018001726 -
9. Azeredo CM, Rezende LFM, Canella DS, Claro RM, Peres MFT, Luiz OC, et al. Food environments in schools and in the immediate vicinity are associated with unhealthy food consumption among Brazilian adolescents. Prev Med 2016; 88: 73-9. https://doi.org/10.1016/j.ypmed.2016.03.026
» https://doi.org/https://doi.org/10.1016/j.ypmed.2016.03.026 -
10. Rocha LL, Pessoa MC, Gratão LHA, Carmo AS, Cordeiro NG, Cunha CF, et al. Characteristics of the school food environment affect the consumption of sugar-sweetened beverages among adolescents. Front Nutr 2021; 8: 742744. https://doi.org/10.3389/fnut.2021.742744
» https://doi.org/https://doi.org/10.3389/fnut.2021.742744 -
11. Carmo AS, Assis MM, Cunha CF, Oliveira TRPR, Mendes LL. The food environment of Brazilian public and private schools. Cad Saúde Pública 2018; 34(12): e00014918. https://doi.org/10.1590/0102-311X00014918
» https://doi.org/https://doi.org/10.1590/0102-311X00014918 -
12. Reilly K, Nathan N, Wolfenden L, Wiggers J, Sutherland R, Wyse R, et al. Validity of four measures in assessing school canteen menu compliance with state-based healthy canteen policy. Health Promot J Austr 2016; 27(3): 215-21. https://doi.org/10.1071/HE16053
» https://doi.org/https://doi.org/10.1071/HE16053 -
13. Nathan N, Wolfenden L, Morgan PJ, Bell AC, Barker D, Wiggers J. Validity of a self-report survey tool measuring the nutrition and physical activity environment of primary schools. Int J Behav Nutr Phys Act 2013; 10: 75. https://doi.org/10.1186/1479-5868-10-75
» https://doi.org/https://doi.org/10.1186/1479-5868-10-75 -
14. Finch M, Sutherland R, Harrison M, Collins C. Canteen purchasing practices of year 1-6 primary school children and association with SES and weight status. Aust N Z J Public Health 2006; 30(3): 247-51. https://doi.org/10.1111/j.1467-842x.2006.tb00865.x
» https://doi.org/https://doi.org/10.1111/j.1467-842x.2006.tb00865.x -
15. Finch M Begley A, Sutherland R, Harrison M, Collins C. Development and reproducibility of a tool to assess school food-purchasing practices and lifestyle habits of Australian primary school-aged children. Nutr Diet 2007; 64(2): 86-92. https://doi.org/10.1111/j.1747-0080.2007.00148.x
» https://doi.org/https://doi.org/10.1111/j.1747-0080.2007.00148.x -
16. Carter MA, Swinburn B. Measuring the ‘obesogenic’ food environment in New Zealand primary schools. Health Promot Int 2004; 19(1): 15-20. https://doi.org/10.1093/heapro/dah103
» https://doi.org/https://doi.org/10.1093/heapro/dah103 -
17. Faber M, Laurie S, Maduna M, Magudulela T, Muehlhoff E. Is the school food environment conducive to healthy eating in poorly resourced South African schools? Public Health Nutr 2014; 17(6): 1214-23. https://doi.org/10.1017/S1368980013002279
» https://doi.org/https://doi.org/10.1017/S1368980013002279 -
18. Bekker F, Marais M, Koen N. The provision of healthy food in a school tuck shop: does it influence primary-school students’ perceptions, attitudes and behaviours towards healthy eating? Public Health Nutr 2017; 20(7): 1257-66. https://doi.org/10.1017/S1368980016003487
» https://doi.org/https://doi.org/10.1017/S1368980016003487 -
19. Gebremariam MK, Henjum S, Terragni L, Torheim LE. Correlates of fruit, vegetable, soft drink, and snack intake among adolescents: the ESSENS study. Food Nutr Res 2016; 60: 32512. https://doi.org/10.3402/fnr.v60.32512
» https://doi.org/https://doi.org/10.3402/fnr.v60.32512 -
20. Bastos JL, Duquia RP, González-Chica DA, Mesa JM, Bonamigo RR. Field work I: selecting the instrument for data collection. An Bras Dermatol 2014; 89(6): 918-23. https://doi.org/10.1590/abd1806-4841.20143884
» https://doi.org/https://doi.org/10.1590/abd1806-4841.20143884 -
21. Reichenheim ME, Bastos JL. O quê, para quê e como? Desenvolvendo instrumentos de aferição em epidemiologia. Rev Saúde Pública 2021; 55: 40. https://doi.org/10.11606/s1518-8787.2021055002813
» https://doi.org/https://doi.org/10.11606/s1518-8787.2021055002813 -
22. Canuto R, Clark SGF, Borges LD, Castro Junior PCP, Tavares LF, Cardoso LO, et al. Aspectos metodológicos do estudo sobre Comercialização de Alimentos em Escolas Brasileiras. Cad Saúde Pública 2025; 41(5): e00167624. https://doi.org/10.1590/0102-311XPT167624
» https://doi.org/https://doi.org/10.1590/0102-311XPT167624 -
23. Caspi CE, Sorensen G, Subramanian SV, Kawachi I. The local food environment and diet: a systematic review. Health Place 2012; 18(5): 1172-87. https://doi.org/10.1016/j.healthplace.2012.05.006
» https://doi.org/https://doi.org/10.1016/j.healthplace.2012.05.006 -
24. Story M, Kaphingst KM, Robinson-O’Brien R, Glanz K. Creating healthy food and eating environments: policy and environmental approaches. Annu Rev Public Health 2008; 29: 253-72. https://doi.org/10.1146/annurev.publhealth.29.020907.090926
» https://doi.org/https://doi.org/10.1146/annurev.publhealth.29.020907.090926 -
25. Turner C, Aggarwal A, Walls H, Herforth A, Drewnowski A, Coates J, et al. Concepts and critical perspectives for food environment research: A global framework with implications for action in low- and middle-income countries. Glob Food Secur 2018; 18: 93-101. https://doi.org/10.1016/j.gfs.2018.08.003
» https://doi.org/https://doi.org/10.1016/j.gfs.2018.08.003 -
26. Downs SM, Ahmed S, Fanzo J, Herforth A. Food environment typology: advancing an expanded definition, framework, and methodological approach for improved characterization of wild, cultivated, and built food environments toward sustainable diets. Foods 2020; 9(4): 532. https://doi.org/10.3390/foods9040532
» https://doi.org/https://doi.org/10.3390/foods9040532 -
27. Castro IRR, Canella DS. Organizational food environments: advancing their conceptual model. Foods 2022; 11(7):993. https://doi.org/10.3390/foods11070993
» https://doi.org/https://doi.org/10.3390/foods11070993 -
28. Duran AC, Lock K, Latorre MRDO, Jaime PC. Evaluating the use of in-store measures in retail food stores and restaurants in Brazil. Rev Saude Publica 2015; 49: 80. https://doi.org/10.1590/S0034-8910.2015049005420
» https://doi.org/https://doi.org/10.1590/S0034-8910.2015049005420 -
29. Borges CA, Jaime PC. Development and evaluation of food environment audit instrument: AUDITNOVA. Rev Saude Publica 2019; 53: 91. https://doi.org/10.11606/s1518-8787.2019053001316
» https://doi.org/https://doi.org/10.11606/s1518-8787.2019053001316 -
30. Franco AS, Canella DS, Tavares LF, Pereira AS, Barbosa RMS, Oliveira Junior GI, et al. Content validity and reliability of a university food environment assessment instrument. Cien Saude Colet 2022; 27(6): 2385-96. https://doi.org/10.1590/1413-81232022276.13792021
» https://doi.org/https://doi.org/10.1590/1413-81232022276.13792021 -
31. Balestrin M, Brasil CCB, Bellei EA, Marchi ACB, Kirsten VR, Wagner MB. Cantinas survey: proposição e avaliação de um aplicativo para análise do risco sanitário e dos alimentos comercializados em cantinas escolares. Reciis 2022; 16(3): 704-18. https://doi.org/10.29397/reciis.v16i3.2367
» https://doi.org/https://doi.org/10.29397/reciis.v16i3.2367 - 32. Brasil. Ministério da Saúde. Secretaria de Atenção à Saúde. Departamento de Atenção Básica. Guia alimentar para a população brasileira. Brasília: Ministério da Saúde; 2014.
-
33. Tavares LF, Perez PMP, Passos MEA, Castro Junior PCP, Franco AS, Cardoso LO, et al. Development and application of healthiness indicators for commercial establishments that sell foods for immediate consumption. Foods 2021; 10(6): 1434. https://doi.org/10.3390/foods10061434
» https://doi.org/https://doi.org/10.3390/foods10061434 - 34. Lynn MR. Determination and quantification of content validity. Nurs Res 1986; 35(6): 382-5. PMID: 3640358.
-
35. Haynes B, Haines A. Barriers and bridges to evidence based clinical practice. BMJ 1998; 317(7153): 273-6. https://doi.org/10.1136/bmj.317.7153.273
» https://doi.org/https://doi.org/10.1136/bmj.317.7153.273 -
36. Coluci MZ, Alexandre NMC, Milani D. Construção de instrumentos de medida na área da saúde. Ciênc Saúde Coletiva 2015; 20(3): 925-36. https://doi.org/10.1590/1413-81232015203.04332013
» https://doi.org/https://doi.org/10.1590/1413-81232015203.04332013 - 37. Hulley SB, Cummings SR, Browner WS, Grady D, Hearst N, Newman TB. Designing clinical research: an epidemiologic approach. 2nd ed. Philadelphia: Lippincott Williams & Wilkins; 2001.
-
38. Byrt T. How good is that agreement? Epidemiology 1996; 7(5): 561. https://doi.org/10.1097/00001648-199609000-00030
» https://doi.org/https://doi.org/10.1097/00001648-199609000-00030 -
39. Collect Box. Coleta de dados de forma rápida e acessível [Internet]. 2019 [cited on Sept. 29, 2023]. Available at: https://www.collectbox.com.br/
» https://www.collectbox.com.br/ - 40. Polit DF, Beck CT. Fundamentos de pesquisa em enfermagem: métodos, avaliação e utilização. 7a ed. Porto Alegre: Artmed; 2011.
-
41. Heale R, Twycross A. Validity and reliability in quantitative studies. Evid Based Nurs 2015; 18(3): 66-7. https://doi.org/10.1136/eb-2015-102129
» https://doi.org/https://doi.org/10.1136/eb-2015-102129 -
42. Souza AC, Alexandre NMC, Guirardello EB. Propriedades psicométricas na avaliação de instrumentos: avaliação da confiabilidade e da validade. Epidemiol Serv Saúde 2017; 26(3): 649-59. https://doi.org/10.5123/S1679-49742017000300022
» https://doi.org/https://doi.org/10.5123/S1679-49742017000300022 -
43. Chen CM, Cano SJ, Klassen AF, King T, McCarthy C, Cordeiro PG, et al. Measuring quality of life in oncologic breast surgery: a systematic review of patient-reported outcome measures. Breast J 2010; 16(6): 587-97. https://doi.org/10.1111/j.1524-4741.2010.00983.x
» https://doi.org/https://doi.org/10.1111/j.1524-4741.2010.00983.x -
44. Polit DF, Beck CT. The content validity index: are you sure you know what’s being reported? Critique and recommendations. Res Nurs Health 2006; 29(5): 489-97. https://doi.org/10.1002/nur.20147
» https://doi.org/https://doi.org/10.1002/nur.20147 - 45. Luiz RR. Métodos estatísticos em estudos de concordância. In: Medronho RA, Bloch KV, Luiz RR, Werneck GL, orgs. Epidemiologia. São Paulo: Atheneu; 2009. p. 343-70.
-
46. Byrt T, Bishop J, Carlin JB. Bias, prevalence and kappa. J Clin Epidemiol 1993; 46(5): 423-9. https://doi.org/10.1016/0895-4356(93)90018-v
» https://doi.org/https://doi.org/10.1016/0895-4356(93)90018-v - 47. Streiner DL, Norman GR, Cairney J. Reliability. In: Streiner DL, Norman GR, Cairney J, eds. Health measurement scales: a practical guide to their development and use. New York: Oxford University Press; 2015. p. 179-99.
- 48. IBM Corp. IBM SPSS Statistics for Windows [Software]. Versão 21.0. Armonk: IBM Corp; 2012.
- 49. StataCorp. Stata Statistical Software: Release 15 [Software]. College Station: StataCorp LLC; 2017.
- 50. Mendes LL, Canuto R, Tavares LF, Cardoso LO, Castro Júnior PCP, Borges LD, et al. Manual para coleta de dados: comercialização de alimentos em escolas brasileiras. Belo Horizonte; 2024
-
51. Souza LBO, Azevedo ABC, Bandoni DH, Canella DS. Características do ambiente escolar relativas à alimentação e atividade física: PeNSE 2015. Rev Saúde Pública 2021; 55: 115. https://doi.org/10.11606/s1518-8787.2021055003377
» https://doi.org/https://doi.org/10.11606/s1518-8787.2021055003377 -
52. Monteiro CA, Cannon G, Moubarac JC, Levy RB, Louzada MLC, Jaime PC. The UN Decade of Nutrition, the NOVA food classification and the trouble with ultra-processing. Public Health Nutr 2018; 21(1): 5-17. https://doi.org/10.1017/S1368980017000234
» https://doi.org/https://doi.org/10.1017/S1368980017000234 - 53. World Health Organization. Food marketing exposure and power and their associations with food-related attitudes, beliefs and behaviours: a narrative review. Geneva: World Health Organization; 2022.
- 54. Messias GM. Ambiente alimentar hospitalar: desenvolvimento e avaliação de confiabilidade de um instrumento na rede pública de uma metrópole brasileira [tese]. Rio de Janeiro: Universidade do Estado do Rio de Janeiro; 2019.
-
55. Winston CP, Sallis JF, Swartz MD, Hoelscher DM, Peskin MF. Reliability of the hospital nutrition environment scan for cafeterias, vending machines, and gift shops. J Acad Nutr Diet 2013; 113(8): 1069-75. https://doi.org/10.1016/j.jand.2013.04.004
» https://doi.org/https://doi.org/10.1016/j.jand.2013.04.004 -
56. Avelar BA, Hino AAF, Santos AP, Mendes LL, Carraro JCC, Mendonça RD, et al. Validity and reliability of the Perceived Nutrition Environment Measures Survey (NEMS-P) for use in Brazil. Public Health Nutr 2023; 27(1): e11. https://doi.org/10.1017/S1368980023002653
» https://doi.org/https://doi.org/10.1017/S1368980023002653 -
57. O’Halloran S, Eksteen G, Gebremariam M, Alston L. Measurement methods used to assess the school food environment: a systematic review. Int J Environ Res Public Health 2020; 17(5): 1623. https://doi.org/10.3390/ijerph17051623
» https://doi.org/https://doi.org/10.3390/ijerph17051623
-
COMO CITAR ESSE ARTIGO:
Borges LD, Tavares LF, Carmo AS, Cardoso LO, Canuto R, Castro Junior PCP, et al. Elaboração, validade de conteúdo e confiabilidade de instrumento de avaliação da comercialização de alimentos e bebidas em cantinas escolares do Brasil. Rev Bras Epidemiol. 2026; 29: e260015. https://doi.org/10.1590/1980-549720260015.2
-
FONTE DE FINANCIAMENTO:
Este estudo foi apoiado pelas seguintes agências de pesquisa e instituições brasileiras: MS-SCTIE-Decit/Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) no 26/2019; Chamada Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) no 4/2021 - Bolsa de Produtividade em Pesquisa - PQ; ACT Promoção da Saúde; Instituto Brasileiro de Defesa do Consumidor (Idec); Instituto Ibirapitanga e Instituto Desiderata.
Editado por
-
EDITOR ASSOCIADO:
Roger Keller Celeste http://orcid.org/0000-0002-2468-6655
-
EDITORA CIENTÍFICA:
Maria Fernanda Tourinho Peres http://orcid.org/0000-0002-7049-905X
