Estudo de adaptação do Test of Early Mathematics Ability (TEMA-3) para avaliação de habilidades numéricas iniciaisResumo
Sabe-se da importância da avaliação precoce das habilidades numéricas iniciais por serem fortes preditoras do desempenho matemático posterior. No Brasil, o que tem dificultado tal avaliação é a escassez de instrumentos padronizados para avaliar tais competências. A pesquisa objetivou adaptar e validar o Test of Early Mathematics Ability para avaliar crianças de 3 a 8 anos matriculadas em escolas públicas do Rio Grande do Sul. O estudo traz implicações para a pesquisa, educação e clínica, evidenciando a possibilidade de uso do teste na avaliação das habilidades numéricas iniciais como importante ferramenta de diagnóstico de dificuldades precoces.
Palavras-chave
habilidades numéricas iniciais; avaliação; adaptação; validação
Abstract
The importance of early assessment of child numeracy skills is known, since they are strong predictors of later mathematical performance. In Brazil, such action is hindered by the scarcity of standardized instruments to assess mathematical skills in children. This research aims to adapt and validate the Test of Early Mathematics Ability with children from 3 to 8 years, enrolled in public schools in Rio Grande do Sul. This study carries implications for research and in the educational and clinical fields, since it showed that test can be used for the evaluation of early numeracy skills, proving to be an important tool for diagnosing early difficulties.
Keywords
early numeracy skills; evaluation; adaptation; validation
Introdução
A matemática inicial pode ser considerada alicerce da matemática mais avançada, e as habilidades envolvidas nesse processo introdutório, quando bem desenvolvidas, tornam a matemática formal posterior mais acessível aos estudantes, sendo de extrema relevância para definição da trajetória de aprendizagens na área (Jordan et al., 2022). Ao longo das últimas décadas, muitos pesquisadores (Corso & Dorneles, 2013; Nunes & Bryant, 1997; Spinillo, 2014) têm desenvolvido estudos acerca das experiências matemáticas iniciais da criança, ou seja, de sua familiaridade com os números e das relações e significados que ela lhes atribui, habilidades que permitem ao indivíduo lidar de maneira bem-sucedida e flexível com as inúmeras situações cotidianas que envolvem os números (Spinillo, 2014).
Portanto, a avaliação das habilidades matemáticas iniciais é de fundamental importância para identificar crianças que podem apresentar dificuldades posteriores na área da matemática (Corso et al., 2019, 2022). Nesse sentido, o uso de instrumentos padronizados na avaliação de tais habilidades tem sido uma prática comum entre profissionais da área da educação, apesar de se depararem com poucos instrumentos adequados (Corso et al., 2022). Destaca-se também que a adaptação de instrumentos de avaliação pode ser considerada mais vantajosa do que a construção de novos instrumentos (Borsa et al., 2012), possibilitando a comparação de estudos em diferentes culturas e, consequentemente, maior capacidade de generalização de dados (Hambleton et al., 2004).
Nesse contexto, este estudo tem como objetivo adaptar e validar a versão espanhola do instrumento de avaliação Test of Early Mathematics Ability (TEMA-3) para crianças de 3 a 8 anos matriculadas em escolas da rede pública de ensino das cidades de Porto Alegre (RS) e São José do Hortêncio (RS), com o intuito de contribuir para a área da avaliação e intervenção de habilidades numéricas iniciais em crianças brasileiras. Para tanto, inicialmente será contextualizada a avaliação das habilidades numéricas iniciais com o uso de instrumentos de avaliação. Em seguida, será apresentado o TEMA-3, instrumento foco da pesquisa. E, por fim, será detalhado o estudo brasileiro de adaptação e validação do instrumento.
Avaliação das habilidades numéricas iniciais: uso de instrumentos de avaliação
No Brasil, a avaliação de habilidades acadêmicas com o uso de instrumentos de avaliação padronizados é uma prática ainda mais presente em clínicas do que nos espaços educacionais. Além disso, os profissionais brasileiros convivem com uma escassez de instrumentos padronizados, normatizados e adequados que possam ser utilizados para avaliar habilidades matemáticas em crianças (Corso & Dorneles, 2013; Corso et al., 2022; Dias & Seabra, 2013). Apesar do cenário que se apresenta, é consenso que somente uma avaliação detalhada e minuciosa é capaz de garantir uma intervenção apropriada e eficaz (Corso & Dorneles, 2013) que possa ser utilizada tanto no âmbito educacional quanto no clínico.
Os testes utilizados hoje no Brasil para a avaliação das habilidades numéricas iniciais são instrumentos de avaliação padronizados/normatizados ou testes informais de pesquisa, não padronizados. Os normatizados são aqueles que permitem uma avaliação que leva em consideração uma população de referência, sendo possível determinar se o desempenho de uma criança está adequado, acima ou abaixo dos níveis esperados para a sua idade (Silva et al., 2020). Cohen et al. (2014) definem um teste padronizado como aquele que tem procedimentos claramente especificados para aplicação e levantamento de escores, geralmente incluindo dados normativos. Por sua vez, os testes não padronizados sugerem uma avaliação mais qualitativa, sendo possível compreender melhor o modo de pensar e raciocinar da criança, além das estratégias por ela utilizadas na resolução de cada item do teste. Estes últimos são considerados tarefas informais de pesquisa e muitos não apresentam dados normativos, fato que impossibilita comparar o desempenho de um estudante com o desempenho de uma população de referência (Silva et al., 2020).
A investigação das dificuldades matemáticas iniciais tem se mostrado cada vez mais fundamental, dado que os índices brasileiros de desempenho em matemática revelam-se preocupantes, de acordo com o Instituto Nacional Estudos e Pesquisas Educacionais Anísio Teixeira (Inep, 2018, 2019). A identificação de dificuldades matemáticas viabiliza intervenções pontuais e efetivas (Corso & Dorneles, 2010), motivo pelo qual é fundamental que existam instrumentos aptos a permitir seu diagnóstico adequado. Atualmente, no cenário brasileiro encontram-se disponíveis alguns instrumentos de avaliação padronizados/normatizados para a avaliação de habilidades matemáticas, tais como: Teste de Desempenho Escolar 2ª edição (TDE-II) – Subteste Aritmético (Milnitsky et al., 2019), Instrumento de Avaliação Neuropsicológica Breve Infantil (NEUPSILIN-Inf) – Subteste de Habilidades Aritméticas (Fonseca et al., 2009), e Prova de Aritmética (PA) (Dias & Seabra, 2013). Dentre os instrumentos de avaliação apresentados, destaca-se que parte deles é de uso restrito a psicólogos e fonoaudiólogos, fato que limita ainda mais a avaliação de habilidades matemáticas de crianças brasileiras. Outro aspecto que merece atenção é a inexistência de instrumentos para avaliação do senso numérico, habilidade inicial base para a construção de conhecimentos formais posteriores (Geary et al., 2018; Ginsburg & Baroody, 2003). Na sequência será descrito o TEMA-3, instrumento foco desta pesquisa de adaptação. A escolha do referido instrumento se deu a partir de uma revisão de instrumentos de avaliação estrangeiros utilizados mundialmente para a avaliação de habilidades aritméticas iniciais, uma vez que ele leva em consideração aspectos formais e informais da matemática inicial. Tal instrumento apresenta dados de validade confiáveis, destacando-se os seguintes aspectos: dados de normatização coletados em diferentes línguas e culturas, uso não restrito a determinados profissionais, como psicólogos ou fonoaudiólogos, e facilidade de aplicação (Ginsburg & Baroody, 2003).
Test of Early Mathematics Ability (TEMA-3)
O Test of Early Mathematics Ability (TEMA-3) (Ginsburg & Baroody, 2003) avalia o conhecimento matemático de crianças de 3 a 8 anos de idade e é utilizado também em crianças mais velhas que apresentam dificuldades de aprendizagem matemática. É um teste normativo e confiável, composto por 72 itens que valorizam diferentes aspectos da competência matemática básica. Esses itens são divididos em dois blocos: o de aspectos informais e o de aspectos formais. Os aspectos informais da matemática (atividades que não exigem o uso de símbolos escritos) são avaliados por meio de 41 itens, divididos em quatro categorias: numeração, comparação de quantidades, habilidades informais de cálculo e conceitos. Os aspectos formais (atividades que envolvem o uso de símbolos matemáticos) são avaliados por 31 itens, também distribuídos em quatro componentes: conhecimento de convenções, fatos numéricos, habilidades de cálculo e conceitos de base 10. Dentro da área da matemática informal, os itens referentes à enumeração estão amplamente representados, dada a importância dos processos de contagem nessa área. Na matemática formal, os fatos numéricos e as habilidades de cálculo têm maior representatividade, refletindo a importância que lhes é atribuída no ensino da matemática básica (Ginsburg & Baroody, 2003). Assim, os itens que avaliam os conhecimentos informais e formais da matemática foram classificados em um modelo de oito fatores, apresentado no Quadro 1.
Na sequência, o Quadro 2 apresenta alguns exemplos de itens do teste que avaliam conhecimentos formais e informais da matemática.
O referido teste é aplicado individualmente e com papel e caneta. Seu tempo médio de aplicação varia entre 30 e 45 minutos, mas não é cronometrado. Em relação aos critérios de pontuação, considera-se um ponto para cada item respondido corretamente. A avaliação inicia no ponto de partida correspondente à idade de cada criança, ou seja, crianças com 3 anos começam no item 1, com 4 anos no item 6, com 5 anos no item 11, com 6 anos no item 21, com 7 anos no item 32 e com 8 anos no item 47.
A pontuação total do teste é obtida a partir da soma de todos os itens corretos, considerando-se os itens piso e teto. O valor da soma total é chamado de pontuação direta. O teto representa o limite superior da avaliação e é atingido quando a criança responde incorretamente a cinco itens consecutivos. Ao atingir o teto, a aplicação do teste é interrompida. Qualquer item acima do teto é classificado como incorreto. O piso representa o limite inferior da avaliação e é estabelecido pelos últimos cinco itens consecutivos resolvidos corretamente pela criança. Todos os itens abaixo do piso são considerados corretos. Após obter o item teto do teste, o item piso deverá ser estabelecido, caso não tenha sido encontrado durante a aplicação. Nesse caso, o avaliador deve retornar ao ponto de partida e aplicar os itens anteriores até que a criança responda corretamente a cinco itens consecutivos ou até atingir o item número 1. Uma vez estabelecido o item piso, todos os elementos abaixo dele são considerados corretos. A pontuação direta é convertida no Índice de Competência Matemática (ICM) por meio do uso das tabelas de pontuação.
Estudo de adaptação do Test of Early Mathematics Ability
O TEMA-3, desenvolvido por Ginsburg e Baroody em 2003, foi adaptado e validado para a população espanhola por Maria Cristina Núñez del Río e Isabel Lozano Guerra em 2007 (Ginsburg & Baroody, 2007).O teste original estadunidense foi normatizado com uma amostra de 1219 crianças, e a amostra espanhola foi composta por 627 crianças de Madri.
A confiabilidade do teste foi verificada por meio do uso do cálculo estatístico alfa de Cronbach, que foi calculado para cada faixa etária, e em seguida obteve-se a média de todos os coeficientes por idade. Todas as faixas etárias obtiveram um alfa acima de 0,90, exceto o grupo de 3 anos, que obteve um alfa de 0,84. Primeiramente, os autores realizaram uma análise do conteúdo avaliado pelo teste, obtendo evidências qualitativas da validade do conteúdo do TEMA-3. Além disso, realizaram uma análise quantitativa, apresentando resultados de análise dos itens, principalmente sobre a dificuldade e o poder discriminatório. Os autores afirmam que, na adaptação espanhola do TEMA-3, os resultados das análises de itens atendem aos critérios estatísticos amplamente reconhecidos e que seu poder de discriminação e dificuldade é adequado. O aumento de dificuldade dos itens do teste é gradual e os pontos de início para cada grupo também se mostram adequados. Após uma análise detalhada, os resultados mostraram que não houve diferença de gênero em nenhum dos itens do teste.
A adaptação de instrumentos de avaliação é considerada um procedimento bastante complexo que exige rigor e planejamento por parte do pesquisador. O rigor refere-se à manutenção do conteúdo do instrumento, das características psicométricas e de validade para a população-alvo (Borsa et al., 2012). De acordo com a International Test Comission (ITC, 2017), algumas etapas se mostram necessárias na adaptação de um instrumento, tais como: i) tradução para o idioma-alvo; ii) síntese das versões traduzidas; iii) avaliação da versão sintetizada pelos experts; iv) avaliação da versão sintetizada pela população-alvo; v) tradução reversa (back-translation); e vi) estudo-piloto.
A primeira etapa a ser considerada na adaptação de um instrumento é a de tradução do idioma de origem para o idioma-alvo. Posteriormente, deve ser realizada a síntese das versões traduzidas, que consiste em compará-las avaliando suas discrepâncias semânticas, conceituais, linguísticas e contextuais a fim de chegar a uma única versão. Na sequência, a avaliação da síntese das versões pelos experts é a etapa de análise dos termos e expressões utilizadas, ou seja, verifica-se se os termos podem ser generalizados para diferentes contextos e populações e se as expressões estão adequadas à população-alvo. A etapa seguinte, de avaliação pela população-alvo, tem como objetivo investigar se as instruções estão claras, se os termos estão adequados, ou, ainda, se as expressões são utilizadas pelo grupo no qual o instrumento será aplicado. A tradução reversa (back-translation) é a etapa de tradução da versão sintetizada e revisada do instrumento para o idioma-origem, no intuito de avaliar em que medida a versão traduzida reflete o conteúdo de cada item, em conformidade com o teste original, além de verificar a clareza semântica. Como etapa final, é recomendável que se realize um estudo-piloto antes de confirmar que o novo instrumento está pronto para ser aplicado na população-alvo (Borsa et al., 2012) (Figura 1).
Na sequência serão apresentadas e descritas as quatro primeiras etapas realizadas nesta pesquisa: tradução do TEMA-3, síntese das versões traduzidas, avaliação das versões pelos experts e avaliação da versão sintetizada pela população-alvo. As demais etapas do processo de adaptação do instrumento para a população brasileira encontram-se no repositório digital da Universidade Federal do Rio Grande do Sul (UFRGS).
Método
Trata-se de uma pesquisa de adaptação e validação de um instrumento, padronizado e estrangeiro, que avalia habilidades numéricas iniciais, o TEMA-3. O estudo foi aprovado pelo Comitê de Ética e pelo Comitê de Pesquisa da Faculdade de Educação da Universidade Federal do Rio Grande do Sul.
O estudo teve como objetivo geral adaptar e validar a versão espanhola do TEMA-3 com crianças de 3 a 8 anos matriculadas em escolas da rede pública de ensino das cidades de Porto Alegre e São José do Hortêncio, ambas no Rio Grande do Sul. Mais especificamente, foram realizadas com o TEMA-3 algumas etapas do processo de adaptação de instrumentos, quais sejam: tradução para o idioma-alvo; síntese das versões traduzidas; avaliação da versão sintetizada pelos experts e avaliação da versão sintetizada pela população-alvo. A validação, por sua vez, compreendeu a verificação de semelhanças de conteúdo entre o TEMA-3 e os documentos norteadores nacionais: Parâmetros Curriculares Nacionais (PCNs), Referencial Curricular para Educação Infantil (RCNEI) e Base Nacional Comum Curricular (BNCC).
Participantes
Da etapa de tradução do TEMA-3 participaram dois tradutores brasileiros bilíngues (Tradutor 1 e Tradutor 2), ambos com domínio da língua espanhola e falantes nativos do idioma-alvo de tradução do instrumento. O Tradutor 1 é graduado em Matemática e doutor em Educação. O Tradutor 2 é graduado em Letras – Português/Espanhol e especialista em tradução de espanhol.
Na etapa de avaliação do instrumento por experts, três juízas participaram avaliando cada item do instrumento. A Juíza 1 é pesquisadora acadêmica graduada em Matemática e doutora em Educação. A Juíza 2 é professora atuante em escola de educação básica, graduada em Matemática e doutora em Educação. A Juíza 3 é psicóloga, com experiência em adaptação de instrumentos.
Para a etapa de avaliação do instrumento pela população-alvo, contou-se com a participação de 37 crianças entre 3 e 8 anos de idade, oriundas de duas escolas públicas municipais das cidades de Porto Alegre e São José do Hortêncio, localizados no estado do Rio Grande do Sul.
Procedimentos
Em todas as etapas da pesquisa utilizou-se o instrumento de avaliação TEMA-3, descrito anteriormente. Primeiramente, obteve-se a autorização do autor principal do teste, que detém os direitos do TEMA-3, para traduzir, adaptar e verificar a aplicabilidade do instrumento para a população brasileira.
Em seguida, a versão espanhola do TEMA-3 foi traduzida para o português pelos dois tradutores. Após essa etapa, as pesquisadoras realizaram a análise das traduções com o intuito de sintetizar as duas versões. A versão sintetizada do TEMA-3 foi submetida à avaliação de um grupo de experts formado por três juízas, que foram convidados a avaliar o instrumento quanto à clareza e adequação dos itens à faixa etária, atribuindo uma nota de 1 a 5 a cada um dos itens do teste. Além disso, poderiam ser solicitadas sugestões de alteração para cada um dos itens, caso não fossem considerados adequados.
Posteriormente, realizou-se uma análise comparativa entre o conteúdo do TEMA-3 e os conteúdos curriculares brasileiros, utilizando-se os seguintes documentos nacionais: PCNs (Brasil, 1997), RCNEI (Brasil, 1998) e BNCC (Brasil, 2017).
Na sequência, as pesquisadoras apresentaram-se às escolas para obtenção de autorização e assinatura do Termo de Participação das equipes diretivas de cada estabelecimento de ensino. Logo após, apresentaram-se e conversaram com as professoras regentes das turmas-alvo para a realização da entrega do Termo de Consentimento Livre e Esclarecido a todas as crianças participantes. A síntese da versão traduzida do TEMA-3 foi apresentada a 37 crianças entre 3 e 8 anos, sendo 25 meninas e 12 meninos, de duas escolas municipais, situadas em Porto Alegre e São José do Hortêncio, para a realização de possíveis ajustes nos itens do instrumento. Após a coleta dos dados, as pesquisadoras entregaram às famílias um relatório individual com os resultados de participação da criança na pesquisa. Além disso, uma formação docente foi promovida em cada escola parceira, a fim de compartilhar com a equipe pedagógica os fundamentos teóricos da pesquisa, os principais resultados e suas implicações para apoiar a aprendizagem das crianças.
Resultados
Após a etapa de tradução do instrumento, realizada por dois tradutores bilíngues, a primeira autora deste artigo, graduada em Matemática, realizou a comparação das versões. Foi possível observar que as duas versões traduzidas eram muito semelhantes, destacando-se apenas algumas diferenças referentes à nomenclatura específica da área da Matemática, foco de avaliação do instrumento. A tradução feita pelo Tradutor 1 apresentava-se totalmente coerente com as nomenclaturas de termos específicos utilizados na área, o que possivelmente se deu pelo fato de ele ser graduado em Licenciatura em Matemática. Já na tradução realizada pelo Tradutor 2, observaram-se inúmeras traduções literais. Assim, nesse sentido, a pesquisadora optou por utilizar, na íntegra, a versão realizada pelo Tradutor 1, chegando-se então a uma versão preliminar do instrumento.
Na etapa seguinte, a versão sintetizada do TEMA-3 foi submetida à avaliação de um grupo de experts formado por três juízas. O objetivo dessa etapa é compreender se os itens são claros e as instruções são adequadas. Portanto, as juízas foram responsáveis por avaliar a clareza e adequação dos itens do instrumento à faixa etária, atribuindo uma nota de 1 a 5 a cada um dos itens do teste, e a solicitar sugestões de alteração àqueles que fossem considerados inadequados. A seguir será descrita, de forma resumida, a avaliação dos itens feita por cada uma das juízas.
Quanto à clareza dos itens, a Juíza 1 avaliou-os atribuindo-lhes notas 4 e 5, e, quanto à adequação, atribuiu notas 3, 4 e 5. Na visão dele, os itens avaliados com nota 3 são considerados difíceis, levando em consideração a realidade dos estudantes brasileiros, principalmente no que se refere a estudantes de 8 anos da rede pública de ensino, os quais, segundo ele, ainda não demonstram a consolidação do princípio multiplicativo. Apesar de considerá-los de nível difícil, a Juíza 1 acredita que os itens possam ser mantidos na avaliação do instrumento, por serem conteúdos (decomposição dos números em dezenas e centenas e fatos básicos de multiplicação) previstos nos documentos norteadores nacionais para o ano escolar em que se encontram a maioria dos estudantes de 8 anos. Como sugestões de alteração, a Juíza 1 considera a linguagem utilizada no item 71 não muito adequada para a faixa etária, pois utiliza termos como “expressão numérica”, sugerindo modificações de reescrita.
A Juíza 2 atribuiu notas de 2 a 5 à clareza dos 72 itens do teste. Quanto à adequação dos itens à faixa etária avaliada, a juíza também atribuiu notas de 2 a 5, sugerindo alterações nos itens do instrumento. A Juíza 3 atribuiu as notas 2, 4 e 5 à clareza dos 72 itens do teste e nota 5 à adequação de todos os itens, não sugerindo qualquer tipo de modificação.
Para analisar a concordância das juízas, calculou-se o Coeficiente de Validade de Conteúdo (CVC), proposto por Hernández Nieto (2002), cujo ponto de corte é considerado 0,80. Esse coeficiente foi calculado com base na avaliação das juízas-avaliadoras quanto à clareza de linguagem e adequação (pertinência) dos itens, cujos escores foram obtidos do CVC final para cada um dos itens do teste.
Quando foram analisados, de maneira isolada, os 72 elementos do instrumento, constatou-se que 11 deles apresentaram valores inferiores a 0,80, mas muito próximos do ponto de corte mencionado. Os itens 2 (0,79) e 71 (0,79) obtiveram valores inferiores a 0,80 no CVC em relação à clareza. Os itens 8 (0,79), 26 (0,79), 30 (0,79), 31 (0,79), 42 (0,79), 53 (0,79), 56 (0,79), 63 (0,79) e 64 (0,73) obtiveram CVC inferior a 0,80 em relação à adequação (pertinência). Apesar de os itens mencionados anteriormente terem sido classificados como inaceitáveis, por clareza ou adequação, o CVC total dos elementos apresenta um valor muito superior a 0,80, ou seja, 0,99 para a clareza dos itens e 0,92 para a adequação dos itens. Assim, após a análise do material pelo grupo de experts, as pesquisadoras debruçaram-se sobre os conteúdos do currículo brasileiro, ou seja, dos documentos norteadores nacionais brasileiros, para a tomada de decisões referente aos elementos que seriam mantidos no teste, levando-se em consideração o cálculo do CVC dos itens do instrumento.
Realizou-se a análise a partir de um comparativo entre os conteúdos mensurados pelo TEMA-3 e os conteúdos previstos por documentos norteadores nacionais – PCNs (Brasil, 1997), RCNEI (Brasil, 1998) e BNCC (2017) para a Educação Infantil (3 a 5 anos) e o Ciclo de Alfabetização (6 a 8 anos).
Em 1997, o Ministério da Educação e do Desporto lançou os documentos nacionais norteadores para educação brasileira, os PCNs, destinados ao Ensino Fundamental. Os documentos dividem-se em dez volumes, sendo o terceiro referente à matemática. Os conteúdos são apresentados em cinco blocos,cujos dois primeiros referem-se especificamente à área foco desta pesquisa. O primeiro bloco propõe conteúdos relacionados a “Números Naturais e Sistema de Numeração Decimal” e o segundo a “Operações com Números Naturais” (Brasil, 1997).
Em 1998, publicou-se o documento que busca orientar o ensino brasileiro da Educação Infantil, primeira etapa da educação básica, o RCNEI (Brasil, 1998), que integra a série de documentos dos PCNs. Especificamente para a área da matemática, foco desta pesquisa, o referencial propõe que se aprofundem os conteúdos indicados para as crianças de 0a 3anos, pré-escolares, dando-se crescente atenção à construção de conceitos e procedimentos especificamente matemáticos. Os conteúdos foram organizados em três blocos: “Números e Sistema de Numeração”, “Grandezas e Medidas” e “Espaço e Forma”. Para esta pesquisa, foca-se o bloco “Números e Sistema de Numeração”, que envolve contagem, notação e escrita numéricas e as operações matemáticas (Brasil, 1998).
Em 2017, 20 anos após a publicação dos PCNs, é homologada a BNCC. O documento é considerado bem completo e contemporâneo por corresponder às demandas do estudante desta época, preparando-o para o futuro e garantindo, além de um conjunto de aprendizagens essenciais aos estudantes brasileiros, seu desenvolvimento integral por meio de dez competências gerais para a Educação Básica, que apoiam as escolhas necessárias para a concretização dos seus projetos de vida e continuidade dos estudos (Ministério da Educação, 2017). A BNCC especifica as competências que devem ser desenvolvidas ao longo de toda a Educação Básica (Educação Infantil, Ensino Fundamental e Ensino Médio) e em cada etapa da escolaridade, expressando os direitos de aprendizagem e desenvolvimento de todos os estudantes.
Na primeira etapa da Educação Básica, e de acordo com os eixos estruturantes da Educação Infantil, devem ser assegurados seis direitos de aprendizagem e desenvolvimento (conviver, brincar, participar, explorar, expressar e conhecer-se) para que as crianças tenham condições de aprender e se desenvolver. Considerando os direitos de aprendizagem e desenvolvimento, a BNCC estabelece cinco campos de experiências, quais sejam: “Oeu, o outro e o nós”; “Corpo, gestos e movimentos”; “Traços, sons, cores e formas”; “Escuta, fala, pensamento e imaginação”; e “Espaços, tempos, quantidades, relações e transformações”. Em cada campo de experiências são definidos objetivos de aprendizagem e desenvolvimento, organizados em três grupos por faixa etária, a saber: bebês (0 meses a 1 ano e 6 meses), crianças bem pequenas (1 ano e 7 meses a 3 anos e 11 meses) e crianças pequenas (4 anos e 5 anos e 11 meses).
Já o Ensino Fundamental está organizado em cinco áreas do conhecimento: Linguagens, Matemática, Ciências da Natureza, Ciências Humanas e Ensino Religioso. Para a garantia do desenvolvimento das competências específicas, cada componente curricular apresenta um conjunto de habilidades. Essas habilidades estão relacionadas a diferentes objetos de conhecimento (conteúdos, conceitos e processos) organizados em unidades temáticas, as quais definem um arranjo dos objetos de conhecimento ao longo do Ensino Fundamental adequado às especificidades dos diferentes componentes curriculares. A área da matemática, foco desta pesquisa, articula-se por meio de seus diversos campos: Aritmética, Álgebra, Geometria, Estatística e Probabilidade.
A partir de agora, serão apresentadas as competências propostas pela BNCC no campo de experiência “Espaços, tempos, quantidades, relações e transformações” da Educação Infantil e no campo “Aritmética” do Ensino Fundamental, os quais contemplam a área da matemática. O Quadro 3 apresenta os objetivos de aprendizagem propostos para a Educação Infantil.
O Quadro 4 apresenta os objetos de conhecimento propostos pela BNCC, na unidade temática “Números”, para o Ciclo de Alfabetização (1º ao 3º ano), equivalente à faixa etária entre 6 e 8 anos.
Os conteúdos mensurados pelo TEMA-3 foram tabulados e categorizados a partir dos conteúdos descritos no manual de instruções do teste (Ginsburg & Baroody, 2007), conforme mostra o Quadro 5, buscando facilitar a comparação com os documentos norteadores nacionais brasileiros.
Após detalhar os conteúdos propostos pelos documentos norteadores nacionais brasileiros e os mensurados pelo TEMA-3, realizou-se um comparativo entre os conteúdos de cada item do teste e os de cada documento para observar quais conteúdos do TEMA-3 estão contemplados nos documentos norteadores. Observou-se que somente três itens, de um total de 72, avaliam habilidades que não estão contempladas pela BNCC: o item 8 (4 anos), que avalia adição e subtração não verbal, o item 19 (5 anos), que avalia adição oral, e o item 71 (8 anos), que avalia comutatividade aditiva. Assim, levando em consideração a quantidade total de itens, é possível afirmar que 4,2% dos itens não são contemplados pelo documento que atualmente norteia os parâmetros curriculares das escolas brasileiras, a BNCC. Dos itens não contemplados (8, 19 e 71) pela BNCC, o item 8 (0,79) obteve CVC inferior a 0,80 em relação à adequação (pertinência) e o item 71 (0,79) obteve valor inferior a 0,8 no CVC em relaçãoà clareza, se observados de forma isolada.
Para a tomada de decisão final, o grupo de pesquisadoras reuniu-se e analisou as avaliações realizadas pelo grupo de experts e o estudo comparativo entre os conteúdos do TEMA-3 e os documentos norteadores. A partir dessa discussão, decidiu-se manter todos os itens do teste original, uma vez que o coeficiente de conteúdo total manteve-se superior a 0,80 (Hernández Nieto, 2002): 0,99 para a clareza dos itens e 0,92 para a adequação. Do mesmo modo, os documentos norteadores nacionais contemplam mais de 95% dos conteúdos avaliados pelo TEMA-3. Quanto aos ajustes no instrumento, realizaram-se alguns, acatando-se parcialmente as sugestões dadas pelas juízas. Os itens ajustados e a descrição dos ajustes encontram-se detalhados no Quadro 6.
Assim, chegou-se à versão preliminar do instrumento TEMA-3, a qual foi apresentada a 37 crianças (25 meninas e 12 meninos), na faixa etária entre 3 e 8 anos, de duas escolas municipais de São José do Hortêncio. Essa etapa teve por objetivo verificar se o instrumento, como um todo, é compreendido pela população-alvo. Às crianças de 3 anos (n=5), foram aplicados os itens 1 a 5; às crianças de 4 anos (n=4), foram aplicados os itens 6 a 10; às de 5 anos (n=4), os itens 11 a 20; às de 6 anos (n=11), os itens 21 a 31; às de 7 anos (n=8), os itens 32 a 46; e, por fim,às crianças de 8 anos (n=5), os itens 47 a 72.
Durante a aplicação, as pesquisadoras constataram que os itens 26 e 39 não estavam sendo bem compreendidos pelas crianças avaliadas. Por terem pouca idade, elas demonstravam pouca maturidade para dar sugestões de mudança para cada um dos itens que não estava tão claro. Assim, buscou-se usar palavras mais habituais, do cotidiano das crianças, para ajustar os itens de modo que ficassem mais compreensíveis (Quadro 7). À medida que eram feitos os ajustes, os itens se tornavam mais claros para as crianças. Após cada ajuste, os itens eram aplicados novamente às crianças da idade-alvo. Para cada um, as pesquisadoras atribuíam “sim” ou “não”. “Sim” para os itens que precisavam ser modificados e “não” para os que não necessitavam de alteração. A aplicação encerrou-se quando se obteve uma porcentagem considerável (acima de 70%) de entendimento em cada um dos itens, ou seja, quando mais de 70% das crianças demonstraram que não era necessário modificar o item. Do total de itens, apenas 9 obtiveram porcentagem inferior a 100%, portanto os demais obtiveram 100%. A porcentagem utilizada para essa avaliação foi escolhida conjuntamente entre o grupo de pesquisa e o profissional da área da psicometria responsável pelos cálculos estatísticos do estudo.
Após o ajuste final dos itens chegou-se à versão final do instrumento, utilizada no estudo-piloto, que se encontra publicado no repositório digital da Universidade Federal do Rio Grande do Sul. O estudo-piloto contou com a participação de 204 crianças (50% meninas e 50% meninos) entre 3 e 8 anos. Como resultados, a análise fatorial confirmatória mostrou uma solução de um único fator para o TEMA-3 com cargas fatoriais altas. Além disso, a fidedignidade foi verificada obtendo-se altos índices de confiabilidade (α = 0,95), e as análises de correlação item-total indicaram que cada item correlacionou-se fortemente com os demais itens do instrumento. O estudo também revelou importantes evidências de validade, com correlações positivas significativas entre o desempenho no TEMA-3 e as demais variáveis envolvidas no estudo: idade (r=0,818; p<0,01), nível socioeconômico (r=0,108; p<0,01) e desempenho intelectual (r=0,187; p<0,01). A idade e o tempo de escolaridade mostraram-se fortemente associadas ao desempenho dos estudantes, e não foram evidenciadas diferenças estatisticamente significativas de desempenho entre gêneros.
Considerações finais
Este estudo teve como objetivo geral adaptar e validar a versão espanhola do instrumento de avaliação estrangeiro TEMA-3 com uma amostra de crianças de 3 a 8 anos matriculadas em escolas públicas de dois municípios do Rio Grande do Sul. Mais especificamente, visou realizar as etapas do processo de adaptação do instrumento de avaliação TEMA-3 e verificar semelhanças de conteúdo entre o instrumento e os documentos norteadores nacionais: Parâmetros Curriculares Nacionais, Referencial Curricular para Educação Infantil e Base Nacional Comum Curricular.
Durante o processo de adaptação, realizaram-se alterações sugeridas pelo grupo de experts, que avaliou a versão sintetizada traduzida e observada pelas pesquisadoras durante a etapa de aplicação do instrumento à população-alvo, uma vez que a literatura aponta para uma adequação do instrumento à realidade da população local, caso se encontrem diferenças significativas entre os conteúdos (Cohen et al., 2014). O fato de o estudo envolver crianças bem pequenas (3 anos) e crianças pequenas (4 e 5 anos) da Educação Infantil dificultou, em parte, a etapa referida, visto que as crianças dessa idade não tinham condições de relatar ou sugerir modificações nos itens não compreendidos.
Quanto ao objetivo de verificar semelhanças de conteúdo entre o instrumento de avaliação TEMA-3 e os documentos norteadores nacionais (PCNs, RCNEI e BNCC), esperava-se encontrar semelhanças entre os conteúdos avaliados pelo teste e os conteúdos propostos pelos documentos. Esse estudo qualitativo foi fundamental para a tomada de decisão referente à manutenção de todos os itens do teste na versão final, tendo em vista que uma quantidade mínima de itens (9 de 72) apresentaram o CVC abaixo, porém muito próximo, do ponto de corte desejado, de 0,80 (Hernández Nieto, 2002). Assim, mantiveram-se todos os itens na versão final do instrumento, que foi aplicada, posteriormente, na etapa de estudo-piloto.
Uma das implicações, tanto para o campo de pesquisa quanto para o educacional e clínico, provenientes desta pesquisa éa evidência da possibilidade de uso do TEMA-3 para a avaliação das habilidades numéricas iniciais,uma vez que o instrumento de avaliação apresenta validade de conteúdo, ou seja, mostra-se alinhado à proposta curricular dos documentos norteadores nacionais da educação brasileira. Ao mesmo tempo, o TEMA-3 torna-se uma importante ferramenta de diagnóstico de dificuldades precoces no Brasil, país que carece de instrumentos para a avaliação precisa das habilidades mencionadas. Ademais, o uso de tal instrumento viabiliza a elaboração de programas de intervenção em idade precoce adequados e eficazes, buscando minimizar dificuldades futuras na área e, consequentemente, garantir resultados mais promissores na proficiência em matemática dos estudantes brasileiros. As devolutivas dos resultados da pesquisa atual e as formações docentes realizadas nas escolas parceiras contribuíram na divulgação da importância do estudo aos profissionais docentes, bem como na instrumentalização desses resultados em suas práticas diárias.
Os resultados da investigação reforçam que a condução de estudos de adaptação e validação são considerados procedimentos complementares e necessários para o uso de instrumentos de avaliação em diferentes línguas e culturas. Nesse sentido, o processo de adaptação do TEMA-3 encontra-se atualmente em fase de coleta de dados de uma nova amostra piloto, a nível nacional, envolvendo escolas públicas e privadas de três regiões do Brasil.
Por fim, o avanço do conhecimento acerca da importância da avaliação de habilidades numéricas iniciais por meio de instrumentos válidos, fidedignos, padronizados e normatizados para a realidade brasileira faz-se fundamental. A condução de novas investigações nesse campo, bem como as aproximações entre resultados de pesquisa e a prática escolar e clínica, será promissora para a divulgação, a circulação e o envolvimento mais abrangentes de todos os profissionais cuja prática envolve tal temática. Do mesmo modo, possibilitará a superação de abordagens mais intuitivas de avaliação da matemática inicial, substituindo-as por avaliações de qualidade. Estas últimas, por sua vez, requerem atenção das políticas públicas voltadas para a Educação Básica, na medida em que avaliações de qualidade podem atuar como instrumentos de superação de vulnerabilidades sociais e condição para o exercício pleno da cidadania.
-
Revisão textual:
Normalização bibliográfica (APA 7ª Ed.), preparação e revisão textual em português: Tikinet comercial@tikinet.com.brVersão e revisão em língua inglesa: Tikinet comercial@tikinet.com.br
Disponibilidade de dados:
Os conteúdos subjacentes ao texto da pesquisa estão contidos no manuscrito.
Referências
-
Borsa, J. C., Damásio, B. F., & Bandeira, D. R. (2012). Adaptação e validação de instrumentos psicológicos entre culturas: algumas considerações. Paidéia, 22(53), 423-432. https://doi.org/10.1590/S0103-863X2012000300014
» https://doi.org/10.1590/S0103-863X2012000300014 -
Ministério da Educação. (2017, 6 de abril). Base Nacional Comum Curricular. http://basenacionalcomum.mec.gov.br
» http://basenacionalcomum.mec.gov.br -
Ministério da Educação e do Desporto. Secretaria de Educação Fundamental. (1998). Referencial curricular nacional para a educação infantil. https://curriculo-uerj.pro.br/wp-content/uploads/referencial-curricular-nacional-para-a-educacao-infantil-volume-1.pdf
» https://curriculo-uerj.pro.br/wp-content/uploads/referencial-curricular-nacional-para-a-educacao-infantil-volume-1.pdf -
Ministério da Educação e do Desporto. Secretaria de Educação Fundamental. (1997). Parâmetros Curriculares Nacionais: Introdução aos Parâmetros Curriculares Nacionais https://basenacionalcomum.mec.gov.br/images/pcn/livro01.pdf
» https://basenacionalcomum.mec.gov.br/images/pcn/livro01.pdf - Cohen, R. J., Swerdlik, M. E., &Sturman, E. D. (2014). Testagem e avaliação psicológica: Introdução a testes e medidas AMGH.
- Corso, L. V.,&Dorneles, B. V. (2010). Senso numérico e dificuldades de aprendizagem na matemática. Revista psicopedagogia, 27(83), 298-309.
- Corso, L. V., & Dorneles, B. V. (2013). Avaliação da matemática: Competências numéricas e competências de base. In R. M. J. Scicchitano& M. I. S. Castanho (Orgs.). Avaliação psicopedagógica: Recursos para a prática (pp. 185-198). Wark.
- Corso, L. V., Corso, H. V., & Salles, J. F. (2019). Intervenção em habilidades matemáticas: Senso numérico. In C. Carso & N. Dias (Orgs.). Intervenção neuropsicológica infantil: Da estimulação precoce-preventiva à reabilitação (pp. 319-336). Pearson.
- Corso, L. V., Rocha-Luna, F. M.,& Weber, R. E. (2022). Avaliação das habilidades aritméticas iniciais: Algumas questões para reflexão. Com a Palavra, o Professor, 7(17), 216-234.
- Dias, N. M., & Seabra, A. G. (2013). Evidências de validade e fidedignidade da Prova de Aritmética. In A. G. Seabra, N. M. Dias, & F. C. Capovilla (Orgs.). Avaliação neuropsicológica cognitiva: Leitura, escrita e aritmética (pp. 121-130). Memnon.
- Fonseca, R. P., Salles, J. F., & Parente, M. A. M. P. (2009). Instrumento de Avaliação Neuropsicológica Breve NEUPSILIN Vetor.
-
Geary, D. C., vanMarle, K., Chu, F. W., Rouder, J., Hoard, M. K., & Nugent, L. (2018). Early conceptual understanding of cardinality predicts superior school-entry number system knowledge. Psychological Science, 29(2), 191-205. https://doi.org/10.1177/0956797617729817
» https://doi.org/10.1177/0956797617729817 - Ginsburg, H. P., &Baroody, A. J. (2003). TEMA 3: Test of Early Mathematics Ability (3a ed.). PRO-ED.
- Ginsburg, H. P., &Baroody, A. J (2007). Test de competencia matemática básica – TEMA 3: Manual TEA.
-
Hambleton, R. K., Merenda, P. F., & Spielberger, C. D. (Eds.). (2004). Adapting educational and psychological tests for cross-cultural AssessmentErlbaum. https://doi.org/10.4324/9781410611758
» https://doi.org/10.4324/9781410611758 - HernándezNieto, R. A (2002). Contribuciones al análisis estadístico: Sensibilidad (estabilidad y consistencia) de varios coeficientes de variabilidad relativa y el coeficiente de variación proporcional (Cvp) Universidad de Los Andes.
- Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. (2018). Relatório SAEB/ANA 2016: Panorama do Brasil e dos estados
- Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. (2019). Relatório SAEB
-
Internacional Test Commission. (2017). The ITC GuidelinesofAdaptingTests (2a ed.). https://www.intestcom.org/files/guideline_test_adaptation_2ed.pdf
» https://www.intestcom.org/files/guideline_test_adaptation_2ed.pdf -
Jordan, N. C., Devlin, B. L.,&Botello, M. (2022) Core foundations of early mathematics: Refining the number sense framework. Current Opinion in BehavioralSciences, 46 https://doi.org/10.1016/j.cobeha.2022.101181
» https://doi.org/10.1016/j.cobeha.2022.101181 - Milnitsky, L., Giacomoni, C. H., & Fonseca, R. P. (2019). Teste de desempenho escolar:TDE II Vetor.
- Nunes, T., & Bryant, P. (1997). Explicando numeralização Artes Médicas.
- Río, Mª. C. N. del; Guerra, I. L. Test de Competencia Matemática Básica – TEMA 3: Manual. Madrid: TEA Ediciones, S. A., 2007.
- Silva, E. O., Aranha, R. C., Júlio-Costa, A., Las-Casas, D., Pinheiro-Chagas, P., Ferreira, F. O., Paiva, G. M., Wood, G. M. O., Starling-Alves, I., Salvador, L. S., Gomides, M. R. A., Carvalho, M. R. S., Moura, R. J., Lopes-Silva, J. B., & Haase, V. G. (2020). Para que serve o subteste de Aritmética do Teste de Desempenho Escolar? NeuropsicologíaLatinoamericana, 12(2).
- Spinillo, A. G. (2014). Usos e funções do número em situações do cotidiano. In Ministério da Educação. Pacto nacional pela alfabetização na idade certa: Quantificações, registros e agrupamentos(pp. 20-29).
Editado por
-
Editoras responsáveis:
Editora Associada: Carolina Rodrigues de Souza <https://orcid.org/0000-0002-7826-1011>Editora Chefe: Chantal Medaets <https://orcid.org/0000-0002-7834-3834>
Fonte: