Propostas para o Novo Saeb: o debate atual

RESUMO

Este artigo analisa o debate atual sobre a reformulação do Sistema de Avaliação da Educação Básica (Saeb) no Brasil. Por meio de uma revisão sistemática de documentos, entrevistas com especialistas e análise de apresentações acadêmicas, a pesquisa identifica os principais consensos e divergências sobre os objetivos, formato, estrutura e governança do Novo Saeb. Os resultados indicam amplo acordo sobre a necessidade de atualizar as matrizes de avaliação para alinhá-las à Base Nacional Comum Curricular, mas revelam discordâncias sobre a abrangência dessa atualização e os métodos para implementá-la. O estudo também constata a falta de um planejamento robusto e de uma definição clara dos recursos necessários para executar as mudanças propostas. Conclui-se que, apesar do extenso debate, há uma carência de ações práticas e de convergência entre as diferentes visões para a efetiva reformulação do Saeb. A pesquisa aponta que é urgente conciliar opiniões e propostas de forma pragmática, definir a governança do processo de mudança, estabelecer uma agenda de prioridades e planejar robustamente a execução, com base no mapeamento de recursos e projeção de investimentos.

PALAVRAS-CHAVE:
Saeb; Avaliação educacional; Políticas educacionais; Base Nacional Comum Curricular; Reforma educacional

ABSTRACT

This article analyzes the current debate on reformulating Brazil’s Basic Education Assessment System (Saeb). Through a systematic review of documents, expert interviews, and analysis of academic presentations, the research identifies key consensuses and divergences regarding the objectives, format, structure, and governance of the New Saeb. The results indicate broad agreement on the need to update assessment matrices to align with the National Common Curricular Base, but reveal disagreements about the scope of this update and implementation methods. The study also notes the lack of robust planning and clear definition of resources needed to execute proposed changes. Despite extensive debate, there is a lack of practical actions and convergence between different views for Saeb’s effective reformulation. The research concludes that the process of constructing the New Saeb still lacks adequate planning and governance. It is urgent to reconcile opinions and proposals from different actors pragmatically, define change process governance, establish a priority agenda, and robustly plan execution based on resource mapping and investment projections.

KEYWORDS:
Saeb; Educational assessment; Educational policies; National Common Curricular Base; Educational reform

Introdução

O sistema de Avaliação da Educação Básica (Saeb) foi criado nos anos 1990 com o intuito de fornecer um panorama da Educação Básica no Brasil e dos fatores que podem influenciar esse desempenho.¹ Desde então, esse conjunto de avaliações passou por várias mudanças. A Teoria de Resposta ao Item foi adotada em 1995, substituindo a metodologia clássica de construção de testes e de análise de resultados. Concebido originalmente para avaliar amostras representativas de estudantes, o público-alvo do Saeb foi ampliado para incluir todos os discentes ao final das etapas de ensino. Além de Língua Portuguesa e Matemática, domínios inicialmente priorizados, Ciências da Natureza e Ciências Humanas passaram também a ser avaliadas. A aprendizagem em etapas estruturantes, como a da alfabetização - primeiramente no 3º ano do Ensino Fundamental e, posteriormente, no 2º - também passou a ser aferida. O Índice de Desenvolvimento da Educação Básica (Ideb), que apresenta de forma mais intuitiva como está a qualidade da educação, só pôde ser construído e disseminado pela existência e continuidade dos resultados do Saeb - que, juntamente a dados de fluxo escolar, sinalizam os contornos gerais se os estudantes estão desenvolvendo as aprendizagens essenciais no tempo certo.

Entretanto, desde a implementação de sua matriz de 2001, o Saeb não passou por evoluções conceituais significativas, mantendo-se estático em matrizes, formatos e estruturas da avaliação, formas de aplicação, apesar das profundas transformações pelas quais a educação passou ao longo das últimas duas décadas, e o quanto já evoluiu o conhecimento acerca de avaliações educacionais.

A homologação da Base Nacional Comum Curricular (BNCC) em 2018 para toda a Educação Básica, por exemplo, tornou ainda mais urgente a reestruturação do Saeb. A BNCC “é um documento de caráter normativo que define o conjunto orgânico e progressivo de aprendizagens essenciais que todos os alunos devem desenvolver ao longo das etapas e modalidades da Educação Básica”,² que reflete uma abordagem mais integrada e contemporânea sobre a Educação, em uma perspectiva de desenvolvimento integral. No entanto, o Saeb continua a avaliar os estudantes com base em uma matriz desatualizada que não contempla plenamente a BNCC, resultando em uma avaliação insuficiente para capturar a complexidade e a amplitude do aprendizado dos estudantes.

No ano 2023, o Movimento pela Base (MPB) apoiou a condução da pesquisa “Propostas para o Novo Saeb: o debate atual”, desenvolvida com o objetivo de identificar consensos e pontos de atenção discutidos por especialistas e instituições dedicados ao debate sobre a reforma do Saeb, de forma a pontuar as mudanças necessárias para que o Novo Saeb tenha as características e atributos desejados.

Para a realização deste trabalho, foram utilizadas três fontes de informações: i. Análise de 17 documentos e estudos sobre a reformulação do Saeb produzidos nos últimos anos por organizações brasileiras do terceiro setor e organizações multilaterais, como a OCDE; ii. Entrevistas em profundidade com 14 especialistas brasileiros em currículo e avaliação; iii. Sistematização de algumas apresentações de trabalhos realizadas na XX Reunião da Associação Brasileira de Avaliação Educacional (Abave) em 2023, cujo tema foi “A avaliação do futuro e o futuro da avaliação”.

A pesquisa incluiu a coleta e a sistematização de informações relativas às necessidades de mudanças e propostas técnicas para o Novo Saeb, contemplando todas as etapas de escolarização incluídas na avaliação do Saeb,³ e incluiu os seguintes itens de investigação:

1. Os objetivos do Novo Saeb.

2. O formato e a estrutura da avaliação: séries e componentes curriculares a serem avaliados; periodicidade, abrangência e formas de aplicação da avaliação.

3. As matrizes de avaliação e escalas de proficiência: definição, alinhamento da avaliação com a Base Nacional Comum Curricular (BNCC), natureza, construção e validação de itens.

4. Os questionários de contexto, as devolutivas e seus usos.

5. A governança do Novo Saeb.

6. O cronograma de implementação e os recursos necessários para a reformulação.

Neste artigo, apontamos quais são os consensos e as divergências de opinião a respeito da reestruturação do Novo Saeb no debate recente sobre o tema, em cada item investigado, com a expectativa de contribuir para o trabalho que se faz necessário para o aprimoramento da principal avaliação da qualidade da educação básica no Brasil.

Objetivos do Novo Saeb

Nesta seção, apresentaremos os consensos e divergências surgidos a respeito dos objetivos do Novo Saeb, a partir da análise das três principais fontes de informações consultadas. Um consenso relevante entre especialistas e gestores refere-se à função principal do Saeb, que deveria seguir sendo a de monitoramento da educação básica brasileira. Para que esse objetivo se cumpra, entretanto, é imprescindível e urgente uma reformulação das matrizes de avaliação do Saeb de maneira que estejam plenamente alinhadas à BNCC e, consequentemente, à avaliação do desenvolvimento de habilidades de ordem superior pelos estudantes. Também são consensuais as recomendações de aprimoramento dos instrumentos de avaliação para a Educação Infantil e a alfabetização, refletindo uma preocupação recente com a qualidade do atendimento e a importância destas etapas.

Para além de não haver dúvidas de que os objetivos de avaliação e monitoramento do Saeb atual permanecem como objetivos principais do Novo Saeb, há debate, não consensual, sobre a inclusão de objetivos adicionais como o suporte técnico às redes estaduais e municipais para a interpretação dos resultados do Saeb e sua consideração em políticas educacionais. De forma geral, especialistas entendem que esse não é um objetivo primário do Saeb. Por outro lado, há uma demanda das redes estaduais e municipais por esse apoio.

Embora não haja consenso quanto a esse suporte tornar-se parte dos objetivos do Saeb ou a quem caberia prestá-lo, surgiram recomendações importantes como o estabelecimento de definições mais nítidas sobre o que é esperado do aluno em termos de aprendizado; maior celeridade e aprimoramento das devolutivas; disponibilização de capacitações para os profissionais das redes de ensino para que saibam interpretar os resultados; e criar um sistema coerente de avaliações entre os diversos níveis de governo.

Entende-se que, no apoio às redes, o Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) e a Secretaria de Educação Básica do Ministério da Educação (SEB/MEC) atuariam de forma complementar.

Ao Inep caberia o aprimoramento técnico na devolutiva de apoio para as redes, que envolveria elaborar indicadores e dados mais precisos e relevantes, que auxiliem na identificação das lacunas no aprendizado. O Inep também poderia atuar como parceiro das redes, estimulando o desenvolvimento de equipes nos estados e municípios para realizar suas próprias avaliações e desenvolver tecnologias de avaliação mais adequadas às suas realidades.

Já a SEB/MEC assumiria um papel de coordenação e articulação política com as esferas estaduais e municipais. Isso envolveria o estabelecimento de um diálogo constante, acompanhando resultados e metas, e mobilizando discussões sobre políticas públicas de formação de professores, pactuação curricular e recomposição de aprendizagens. A SEB/MEC teria o papel de conectar as informações dos resultados às necessidades de adequações na Base Nacional Comum Curricular (BNCC) e habilidades do currículo, permitindo aos gestores tomarem decisões mais assertivas.

Formato e estrutura

Em termos de sua estrutura e abrangência, os especialistas fazem recomendações específicas acerca das áreas do conhecimento (ou componentes curriculares) e abrangência da prova para cada etapa da escolarização (ver Quadro 1). Em todas as etapas da escolarização incluídas no Saeb, recomenda-se avaliar a matemática e a língua portuguesa de forma censitária.

No caso da avaliação da alfabetização no 2º ano do Ensino Fundamental, a produção textual deve ser avaliada de forma censitária e a fluência em leitura de forma amostral. Não há consenso sobre a pertinência da mediação das provas. Para o Ensino Médio, deve-se incluir a avaliação amostral da redação. A avaliação da Língua Estrangeira (Língua Inglesa) deve ser aplicada no 9º ano do Ensino Fundamental e o no 3º ano do Ensino Médio de forma censitária. Esses componentes curriculares devem ser incluídos em cada aplicação do Saeb, em regime bianual.

Para o caso das Ciências da Natureza e Ciências Humanas, recomenda-se a avaliação amostral, a partir do 5º ano do Ensino Fundamental. Essas áreas do conhecimento poderiam ser avaliadas a cada quatro anos, em esquema de rodízio a cada edição do Saeb.

Na discussão sobre o Novo Ensino Médio, entende-se que o Saeb deva contemplar a avaliação da formação geral básica, mas não há consenso sobre a avaliação dos itinerários formativos. Sobre a avaliação da Educação Infantil, aponta-se a importância avançar na definição de instrumentos que meçam a qualidade de processos e práticas pedagógicas.

Quadro 1
Abrangência da avaliação do Saeb, por área do conhecimento e etapa da escolarização

Área do Conhecimento | Componente Curricular	2º ano EF	5º ano EF	9º ano EF	3º ano EM
Língua Portuguesa	-	censitário	censitário	censitário
Fluência em leitura	amostral	-	-	-
Produção textual	censitário	-	-	-
Redação	-	-	-	amostral
Língua estrangeira (língua inglesa)	-	-	censitário	censitário
Matemática	censitário	censitário	censitário	censitário
Ciências da natureza	-	amostral	amostral	amostral
Ciências humanas	-	amostral	amostral	amostral

• Fonte: Elaboração própria.

A respeito da forma de aplicação das provas, a introdução do formato digital é vista como mudança necessária para avaliar competências e habilidades mais complexas e incluir questões inovadoras. Entretanto, entende-se que, no curto prazo, o Saeb deve permanecer no formato impresso e que a introdução das provas em formato digital deve ser realizada com cautela, observando as desigualdades de acesso e letramento digital.

Nesse item, os especialistas apontam diversas vantagens da prova em formato digital. As principais seria a inclusão de itens de diferentes tipos (abertos, resposta construída), viabilizando uma avaliação mais abrangente das habilidades dos estudantes, e um possível maior engajamento dos estudantes. Além disso, na avaliação, haveria maior agilidade na correção por meio de ferramentas de inteligência artificial e significativa redução de custos operacionais e logísticos.

A defesa de uma transição gradual para o formato digital justifica-se pela grande desigualdade de acesso à internet e a dispositivos tecnológicos dos alunos de regiões mais pobres e remotas, pela inexistência de infraestrutura adequada (laboratórios de informática, acesso à internet) para a aplicação digital em larga escala e pelos riscos de problemas técnicos na realização das provas, como falhas de internet ou de funcionamento dos dispositivos.

[O DEBATE RECENTE NA ABAVE 2023]

Sobre a transição para a prova digital

Na mesa “O futuro do Saeb”, a professora Sueli Rodrigues, da Fundação Cesgranrio, falou sobre a evolução das avaliações com o avanço da tecnologia e mencionou os principais benefícios de aplicação da prova em formato digital:

A ampliação das possibilidades de avaliação de habilidades mais complexas e avaliação do conhecimento do fenômeno, a partir da introdução de itens de naturezas distintas, simulação, de resposta construída etc., e de tecnologias como a avaliação por voz. A agilidade e maior eficiência na correção das provas e na elaboração de relatórios para devolutivas para escolas e professores, com o uso de plataformas e inteligência artificial.

Ela reconheceu a dificuldade da introdução da prova digital na avaliação nacional no curto prazo e sugeriu que haja uma transição, com aplicação digital parcial, para se possam avaliar os impactos dessa mudança. No entanto, ela ponderou que é preciso projetar o futuro para que no longo prazo o Brasil possa contar com um sistema de avaliação moderno, que utilize os recursos da tecnologia a seu favor. Ela defendeu que é preciso ter grande ambição para chegarmos a esse sistema de avaliação moderno e robusto e afirmou que temos [o Brasil] competência técnica para isso.

Sobre o uso da tecnologia na avaliação educacional

Na mesa “TDIC na Avaliação Educacional”, coordenada pelo professor Joaquim J. S. Neto, a experiência do Serviço Social da Indústria (Sesi) com a introdução da avaliação digital foi apresentada por Wisley Pereira. O apresentador destacou que, ao implementar a avaliação digital no Sesi, ampliaram-se as possibilidades de aferição das competências e habilidades, permitindo o alinhamento da matriz de avaliação com a Base Nacional Comum Curricular. Ele destacou que a avaliação aplicada e corrigida com o uso de tecnologia da informação permite entregar devolutivas em tempo do planejamento e ações das escolas e que o Sesi tem conseguido entregar os boletins da escola com a análise dos resultados em 12 dias a contar da data da prova. Informou que estão avançando na implementação de teste adaptativo computadorizado (CAT e no uso da inteligência artificial para a identificação de lacunas do aprendizado e criação de pacotes de recomendações de estudos aos alunos). Ele chamou a atenção para o fato de que o Brasil não tem um banco de itens robusto para realizar, por exemplo, um Novo Enem [com avaliações mais complexas das habilidades] ou um Enem em tempo contínuo e sugeriu que a experiência do Sesi pode servir de benchmark para a transição das avaliações nacionais para o formato digital, especialmente no que tange ao processo de implementação.

Na mesma sessão, Júlia Sant’Anna - representante do Centro de Inovação para a Educação Brasileira (Cieb) - sugere o uso da tecnologia para o aprimoramento dos sistemas de gestão educacionais. Ela destaca que o Brasil ainda carece de tecnologia em processos básicos de gestão - como matrículas, alocação de professores nas turmas, controles de faltas e notas, sobretudo em redes de ensino municipais - e destaca que a tecnologia pode aumentar o impacto sobre o aprendizado de forma indireta, ao atuar sobre, por exemplo, a busca ativa de alunos a partir dos dados de faltas, a formação de professores focalizada em docentes com dificuldades, a elaboração de material de aula e avaliações por meio de plataformas digitais. Ao apontar deficiências tecnológicas básicas no sistema educacional brasileiro, a apresentadora cita as grandes desigualdades de acesso e conectividade de professores e alunos como um grande desafio para a transição das avaliações para o formato digital.

Matrizes de avaliação, banco de itens e escalas de proficiência

As matrizes do Saeb e a sua adequação com a Base Nacional Comum Curricular (BNCC) são o tema de maior relevância no debate sobre o Novo Saeb. Os especialistas acreditam que as matrizes atuais do Saeb não são adequadas, pois não descrevem as competências e habilidades e, portanto, não refletem as expectativas de aprendizagem da BNCC. Elas não descrevem o domínio adequado dos conhecimentos esperados, mas apenas contemplam uma justaposição de habilidades. Uma revisão profunda na documentação técnica orientadora do Saeb seria prioridade absoluta para que a avaliação esteja alinhada às mudanças curriculares. O objetivo é que as matrizes reflitam as competências, habilidades e dimensões cognitivas da BNCC. A avaliação deve cobrir todas as áreas de conhecimento exigidas pela BNCC, incluindo competências socioemocionais. A revisão das matrizes é considerada uma tarefa complexa, recomendando-se a colaboração de especialistas em educação, avaliação e psicometria.

Acredita-se que as matrizes devam ser aprimoradas em termos de clareza e objetivos. Há uma necessidade de mais discussões técnicas e qualidade nas matrizes, para que elas sejam mais representativas dos objetivos de avaliação e forneçam informações valiosas sobre o desempenho dos alunos.

A falta de alinhamento entre as matrizes do Saeb e a BNCC pode ser um obstáculo para uma avaliação mais abrangente e representativa dos conhecimentos e habilidades esperados dos alunos, bem como dos processos de ensino e aprendizagem nas diferentes etapas da educação básica. Por exemplo, a BNCC da Educação Infantil é inovadora e traz componentes curriculares e conceitos importantes de intencionalidade pedagógica do professor, ainda não contemplados nas matrizes de avaliação atuais. Por exemplo, a BNCC enfatiza a importância da linguagem oral e da compreensão oral, mas esses aspectos não são adequadamente avaliados pelo Saeb. As matrizes do Saeb nessa etapa não oferecem um olhar amplo sobre a aprendizagem, incluindo a observação das interações e situações de aprendizado das crianças.

Há uma divergência de opiniões acerca da suficiência e total adequação das novas matrizes do Saeb. O Inep acredita que as matrizes propostas a partir de 2019 estão atualizadas e contemplam adequadamente as expectativas de aprendizagem propostas na BNCC, para os componentes curriculares e séries contemplados nessa primeira revisão. A maior parte dos especialistas discorda dessa visão e argumenta pela falta de esforço e pouco debate técnico na criação dessas matrizes.

Dessa forma, embora sinalize um avanço, a revisão das matrizes proposta recentemente ainda não refletiria adequadamente as expectativas de aprendizagem definidas na base curricular. Segundo os especialistas, para que as matrizes do Novo Saeb sejam adequadas à avaliação da aprendizagem na perspectiva do desenvolvimento integral proposto pela BNCC, é necessário um trabalho de revisão e aprimoramento das matrizes existentes.

A seguir, destacamos as principais considerações apontadas no debate recente sobre o processo de revisão e atualização das matrizes do Saeb.

1. Amplas discussões com especialistas: As matrizes devem ser construídas a partir de discussões com uma ampla frente de especialistas, que incluam profissionais da educação, pedagogos, psicólogos, matemáticos, estatísticos e outros profissionais relevantes. Isso garantirá que diversos pontos de vista sejam considerados na criação das matrizes.

2. Consideração das competências e habilidades da BNCC: As matrizes devem refletir de forma abrangente as competências e habilidades definidas pela BNCC em cada etapa da educação básica. Os itens das provas devem ser pertinentes e alinhados com o que é esperado do desenvolvimento dos estudantes em cada área de conhecimento.

3. Revisão dos processos cognitivos: É importante garantir que as premissas cognitivas e pedagógicas sejam respeitadas nas matrizes. Isso implica considerar a graduação natural dos processos cognitivos em cada componente curricular, de forma a desenvolver itens que avaliem de maneira apropriada o conhecimento dos estudantes.

4. Observação de situações de aprendizado: Além da avaliação por meio de provas, é necessário considerar a observação das interações e situações de aprendizado dos estudantes para complementar a avaliação com informações qualitativas e contextualizadas.

5. Comitê técnico especializado: A formação de um comitê técnico mais robusto, composto por especialistas em matemática, estatística e outras áreas relevantes, pode contribuir para a expansão das matrizes e a identificação de componentes curriculares que precisam ser desenvolvidos pelo aluno.

6. Análise de critérios: É importante fazer uma análise crítica dos critérios utilizados para a criação das provas e garantir que elas sejam socialmente ativas e pertinentes à realidade dos estudantes.

Os especialistas também defendem que o Novo Saeb deve incluir itens de diferentes naturezas, como itens abertos, itens de resposta construída e itens de produção textual. Isso se justifica pela necessidade de avaliar habilidades e competências mais complexas dos estudantes, que vão além da mera reprodução de conhecimentos. Esses tipos de itens permitem que os alunos demonstrem seu raciocínio, capacidade de análise, argumentação e criatividade, o que é fundamental para uma avaliação mais abrangente e alinhada com as expectativas da BNCC.

Para que essa inclusão ocorra, é necessário realizar um processo de elaboração cuidadoso dos novos itens, envolvendo definição clara de objetivos, seleção adequada de conteúdo e revisão por especialistas, garantindo que estejam alinhados com as competências e habilidades da BNCC. Além disso, é importante realizar a pré-testagem dos itens, aplicando-os em um grupo piloto de estudantes para verificar sua qualidade e eficácia. A pré-testagem é um passo importante para identificar possíveis problemas nos itens e fazer ajustes antes da aplicação em larga escala. A pré-testagem dos itens e a revisão contínua são consideradas essenciais para garantir qualidade e validade ao longo do tempo.

Destaca-se a importância de investir em tecnologia, treinamento de profissionais e colaboração de especialistas para a criação de um banco de itens robusto e para a construção de escalas de proficiência que se prestem à compreensão pedagógica dos resultados. Nesse ponto, chama-se a atenção para o risco de elaboração inadequada de itens mais complexos (itens abertos, de resposta construída). Destaca-se que esse processo deve contar com infraestrutura tecnológica e recursos humanos altamente especializados. A inteligência artificial, por exemplo, pode ajudar a automatizar a correção dos itens abertos e de produção textual, tornando o processo mais eficiente e possibilitando o uso desses tipos de itens em avaliações de larga escala.

A maior parte dos especialistas parece não considerar as escalas de proficiência do Saeb atual adequadas, especialmente no que diz respeito à facilidade e clareza da interpretação pedagógica dos resultados. Alguns mencionam a falta de transparência e clareza na divulgação dos itens e na descrição dos critérios de proficiência, o que dificulta o uso pedagógico dos resultados.

As sugestões de mudanças para tornar as escalas de proficiência mais adequadas podem incluir:

1. Maior transparência nos critérios de proficiência: Divulgar os itens e tornar mais claros os critérios de proficiência, de modo que professores, gestores e pais possam compreender melhor os resultados e utilizá-los de forma mais efetiva para aprimorar o ensino e a aprendizagem.

2. Interpretação pedagógica mais acessível: Tornar a interpretação dos resultados mais acessível e compreensível para diferentes públicos, com linguagem clara e direcionada para a prática pedagógica.

3. Avaliação formativa: Promover uma abordagem mais formativa na avaliação, focando não apenas na classificação dos alunos em níveis de proficiência, mas também fornecendo informações detalhadas sobre as habilidades e dificuldades de cada estudante, para que os professores possam planejar intervenções mais específicas e efetivas.

4. Devolutiva individualizada: Oferecer devolutiva individualizada às redes, destacando seus pontos fortes e áreas em que precisam melhorar, para que elas possam se engajar ativamente em seu próprio processo de aprendizagem.

Essas mudanças podem tornar as escalas de proficiência do Saeb mais relevantes e úteis para a comunidade educacional, permitindo que os resultados sejam utilizados de forma mais efetiva para impulsionar melhorias no desempenho dos estudantes.

É importante que o Novo Saeb apresente explicitamente padrões de desempenho por componente curricular e ano/série avaliados, de forma a deixar claro o que é considerado um desempenho satisfatório em cada etapa da escolarização. Esses padrões de desempenho serviriam como referência para os professores, gestores, pais e alunos entenderem o que é esperado em termos de aprendizagem em cada nível de ensino.

Para fazer isso, o Novo Saeb poderia adotar abordagens semelhantes a outras boas avaliações internacionais, como o Pisa, que define claramente os níveis de proficiência em cada área avaliada. Os padrões de desempenho poderiam ser definidos com base nas expectativas de aprendizagem estabelecidas pela BNCC para cada ano/série e componente curricular. Além disso, poderiam ser realizados estudos e pesquisas para identificar quais são os conhecimentos e habilidades considerados fundamentais em cada etapa da escolarização, a fim de estabelecer critérios claros de desempenho.

Essa abordagem ajudaria a proporcionar uma avaliação mais objetiva e transparente, permitindo que os resultados do Saeb sejam mais facilmente interpretados e utilizados para orientar a prática pedagógica, a tomada de decisões em políticas educacionais e o apoio aos estudantes em suas necessidades de aprendizagem específicas.

[O DEBATE RECENTE NA ABAVE 2023]

Sobre as matrizes de referência do Saeb

A atualização das matrizes de referência do Saeb foi objeto de discussão da XII Reunião da Abave. Na mesa “O futuro do Saeb”, a professora Maria Helena Guimarães de Castro, presidente da Abave e ex-presidente do Inep, destacou a necessidade de aprimoramentos do Saeb - que, segundo ela, há tempos carece de inovações - e pontuou a urgência na atualização das matrizes de referência da avaliação. Ela ponderou que as matrizes propostas em 2018/2019 são um primeiro avanço em direção ao alinhamento com a BNCC, porém ainda insuficientes.

O presidente da União dos Dirigentes Municipais de Educação (Undime), Alessio Costa Lima, ponderou que o esforço de atualização das matrizes em 2018/2019 tenha sido tímido, com pouco debate e participação da comunidade educacional. Ele defende que o trabalho de atualização das matrizes deva partir de uma discussão mais ampla, que envolva especialistas e gestores, para que os instrumentos de fato reflitam a BNCC.

Daniel de Bonis, da Fundação Lemann, argumenta que o Brasil está diante de uma grande oportunidade para dar um salto de qualidade na avaliação de habilidades mais complexas a partir do Saeb. Ele destaca que, para não perdermos essa oportunidade, é preciso investir os esforços necessários para que a atualização das matrizes do Saeb e o seu alinhamento com a BNCC sejam bem-feitos (OCDE; Fundação Lemann, 2023).

O diretor da Daeb/Inep, Rubens C. Lacerda Júnior, mencionou que a atualização das matrizes se iniciou em 2018/2019 - com a proposição de novas matrizes de Língua Portuguesa e Matemática para o 2º ano do Ensino Fundamental, e de Ciências Humanas e Ciências da Natureza para o 9º ano do Ensino Fudamental. Ele defendeu que os testes para essas séries e componentes curriculares já contemplariam as competências e habilidades propostas pela BNCC e, portanto, essas matrizes já estariam [plenamente] adequadas aos “normativos vigentes”. Ele mencionou que o Inep está avançando na atualização das matrizes para outros componentes curriculares e séries da avaliação e que planeja aproximar o formato do Saeb de avaliações internacionais de referência.

Instrumentos, devolutivas e produtos

Para a maioria dos entrevistados, os questionários de contextos aplicados no âmbito do Novo Saeb desempenham um papel importante para a pesquisa científica e produção de conhecimento e para conhecer melhor a realidade das escolas e municípios. Acredita-se que eles precisem passar por mudanças significativas.

Por um lado, defendem reduzir o tamanho dos questionários e priorizar itens de caracterização da situação socioeconômica dos alunos, informações são relevantes para entender as condições de aprendizado e abordar as questões de diversidade e equidade na avaliação educacional. Por outro lado, alguns consideram importante a inclusão de questões que abordem temas sociais relevantes, como racismo e discriminação, para melhor compreender a realidade dos alunos e escolas, identificando possíveis interferências no aprendizado. A revisão dos questionários deve contar com um comitê técnico para elaborar e discutir perguntas relevantes. Pontua-se ainda que os questionários de contexto devam sofrer poucas modificações ao longo do tempo.

A maioria dos entrevistados expressou a necessidade de mudanças no formato e no prazo de divulgação dos dados do Saeb. Uma das sugestões é tornar a divulgação mais acessível e compreensível para a comunidade, de forma a permitir melhor interpretação pedagógica dos mesmos e identificação de desigualdades, a partir da comparação de resultados combinado com dados de contexto (condição socioeconômica, raça/cor, gênero etc.).

Quanto ao prazo, uma parcela dos entrevistados argumenta que é importante antecipar a divulgação dos resultados para que as escolas possam utilizar essas informações para tomada de decisões e planejamento pedagógico já no início do ano letivo seguinte. Essa antecipação permitiria uma devolutiva mais efetiva e a implementação de medidas para melhorar o desempenho dos alunos. Outras sugestões de mudança envolvem o formato de divulgação dos resultados, visando torná-lo mais claro e detalhado. Isso inclui fornecer uma análise de erros dos alunos, permitindo uma melhora ponto a ponto no aprendizado, e mostrar o desempenho das escolas em relação a outras instituições de ensino, incentivando a busca por melhores resultados.

Há consenso de que o formato dos dados e as informações necessárias para interpretação devem ser mais bem instruídos e trabalhados por técnicos, professores e gestores, por meio de formação continuada específica para avaliações. Isso permitiria que os dados do Saeb fossem devidamente utilizados para aprimorar a qualidade da educação no país. Os entrevistados apresentaram diferentes opiniões sobre o nível de agregação mais adequado para a divulgação dos dados do Saeb. Há quem defenda que os resultados deveriam ser divulgados apena em grandes níveis de agregação, como as Unidades da Federação e redes, bem como os que acreditam que a divulgação de dados em nível da escola ou da turma seriam muito úteis para a identificação de dificuldades e proposição de ações nas unidades escolares. A escolha do nível de agregação dependeria dos objetivos específicos de análise, das políticas educacionais em vigor e das necessidades de acompanhamento e monitoramento do sistema de ensino. A decisão sobre o nível de agregação adequado deve ser pautada pela relevância e utilidade das informações para a melhoria do ensino e aprendizagem no país.

O Novo Saeb poderia ainda disponibilizar produtos de suporte às redes e escolas em suas ações e avaliações locais. Alguns dos produtos sugeridos são:

1. Banco de Itens: Um banco de itens calibrado e diversificado seria útil para as escolas selecionarem e aplicarem em suas avaliações formativas ou diagnósticas. Esse banco de itens poderia ser compartilhado entre as redes de ensino, facilitando o acesso a recursos de qualidade para a elaboração de provas.

2. Plataforma de Diagnósticos Formativos: Uma plataforma que fornecesse diagnósticos detalhados sobre os erros dos alunos, indicando em quais temas e áreas eles apresentam dificuldades, seria essencial para aprimorar o processo educacional e auxiliar na elaboração de estratégias de ensino mais efetivas.

3. Devolutivas para as Escolas: A disponibilização de devolutivas com informações relevantes sobre o desempenho dos alunos permitiria às escolas entenderem melhor os resultados e identificar possíveis áreas de melhoria.

4. Material de Orientação: O Inep poderia prover boletins, relatórios e materiais de orientação que oferecessem uma interpretação desagregada dos resultados, possibilitando uma comparação significativa entre as médias nacional, estadual e locais. Cursos e vídeos rápidos também poderiam ser disponibilizados para capacitar os gestores a interpretar os dados adequadamente.

5. Plataforma de Comparação: Uma plataforma que permitisse o acesso a informações de anos anteriores facilitaria a visão das escolas em relação às médias de desempenho, possibilitando a identificação de tendências e progressos ao longo do tempo.

Esses produtos de suporte seriam importantes para melhorar a utilização dos dados do Saeb pelas redes e escolas, auxiliando na implementação de ações de melhoria e no acompanhamento do progresso dos estudantes ao longo do tempo. Além disso, a capacitação dos profissionais da educação para a interpretação e uso adequado desses dados também se mostrou como uma recomendação relevante.

Governança

A maioria dos entrevistados defende a criação de um comitê de governança para o Novo Saeb, que seria responsável por fornecer representatividade e voz a diferentes atores envolvidos na avaliação, garantindo que as decisões sejam tomadas de forma mais colaborativa e técnica. O comitê teria como atribuições definir as políticas e diretrizes gerais do sistema de avaliação, monitorar sua implementação e seus resultados e fornecer subsídios e apoio à reforma.

A composição do comitê deveria ser multidisciplinar, com representantes dos diferentes níveis de governo, da sociedade civil, entidades federadas, entidades representativas da educação básica e superior, representantes de conselhos de educação, setor acadêmico e associações científicas. O corpo técnico deveria ser composto por especialistas independentes, das áreas de educação, psicologia, neurociência e ciência do desenvolvimento, atuantes em instituições do Brasil e do exterior.

O papel do comitê seria acompanhar e participar de todo o processo do Novo Saeb, desde sua implementação até a análise e divulgação dos resultados. Ele seria responsável por garantir a qualidade técnica da avaliação, assegurando que ela esteja alinhada com as diretrizes da educação brasileira e que atenda às necessidades e peculiaridades das redes de ensino. O comitê também teria o papel de fomentar a discussão e a elaboração de propostas mais bem fundamentadas e embasadas em evidências científicas.

A interface do comitê com o MEC, Inep, entidades representativas e redes de ensino seria estabelecida por meio de reuniões periódicas, espaços de escuta e discussão, além do compartilhamento de informações e dados relevantes. Seria essencial que o comitê atuasse como um espaço de aprendizado e construção conjunta, buscando soluções que beneficiem toda a comunidade educacional do país.

Prioridades, prazos e recursos

No processo de reforma do Saeb, é apontada como prioridade a definição e validação das matrizes de avaliação, para garantir que o exame esteja alinhado com as diretrizes da BNCC e que avalie efetivamente as competências e habilidades dos estudantes. A transição para o formato digital, que tornaria a aplicação mais eficiente e adequada à avaliação de competências e habilidades complexas, deve ser considerada para o médio prazo. Destaca-se, ainda, a necessidade de elaborar e implementar um plano de ação e metas para o Novo Saeb, que se mantenha independentemente de mudanças políticas e garanta a continuidade e a melhoria do exame ao longo do tempo.

Destaca-se também a necessidade de contratação de equipes multidisciplinares de especialistas para elaborar as matrizes de avaliação, desenvolver e calibrar os itens das provas, analisar os resultados e fornecer devolutivas para as escolas e redes de ensino, bem como de investimentos em recursos tecnológicos para elaboração, aplicação e correção do exame em formato digital.

Apesar dessas considerações gerais, nenhum estudo ou documento avaliado apresenta um cronograma de implementação detalhado, que elenque as etapas envolvidas na reformulação do Novo Saeb e preveja o tempo necessário para a execução satisfatória, ou um levantamento que identifique os recursos disponíveis e as reais necessidades de investimentos para levar a cabo a reforma.

Considerações finais: o que aprendemos sobre o futuro do Saeb?

Nessa pesquisa, foram levantadas informações sobre o debate recente acerca do Novo Saeb. Foram revisados e sistematizados os estudos, relatórios e documentos produzidos nos últimos anos com a finalidade de apontar os caminhos para a reformulação da avaliação nacional. Na perspectiva de compreender de que forma esse debate tem evoluído, foram entrevistados especialistas ligados à academia, entidades representativas e governos e foram sumarizadas apresentações realizadas na XII Reunião da Abave, com foco no futuro do Saeb.

De uma forma geral, nota-se que algumas preocupações presentes no início da discussão sobre a reformulação do Saeb persistem no debate atual - como a necessidade de atualizar e modernizar a avaliação, para que ela passe a avaliar as competências e habilidades da Base Nacional Comum Curricular.

Embora a atualização das matrizes do Saeb seja apontada como prioridade de forma consensual, encontram-se discordâncias importantes sobre a forma de solução do problema, que culminam em diferentes opiniões sobre a qualidade e a suficiência da atualização das matrizes propostas pelo Inep em 2018/2019.

Também se encontram divergências acerca de dimensões básicas da avaliação, como os seus objetivos. Não há uma definição clara e objetiva sobre quais deveriam ser as funções primárias do Saeb e as expectativas de diferentes públicos em torno do que a avaliação nacional deve entregar à sociedade são muito diversas. Esse é um ponto nevrálgico, uma vez que é impossível avançar no aprimoramento do sistema de avaliação ser ter absoluta clareza dos seus propósitos.

Os resultados dessa pesquisa mostram que houve pouco avanço prático nesse debate. Percebe-se que as mesmas ideias e propostas continuam sendo colocadas, sem que haja concessões e convergências na direção de uma proposta que possa ser colocada em prática. Outro resultado preocupante é que, em torno desse debate, não há discussão robusta sobre recursos e prazos para iniciar e viabilizar a reformulação do Saeb. Nos documentos revisados e nas escutas realizadas, não se encontraram levantamentos precisos de quais seriam os recursos humanos, físicos e financeiros que seriam necessários para executar as ações de atualização do Saeb. Também não se encontram menções a um planejamento bem definido, que estabeleça as etapas e atividades envolvidas, bem como os papéis e funções das diferentes instituições responsáveis pela reestruturação da avaliação.

Ainda, embora haja alguma menção ao que se considera prioritário e ao que se deve implementar no médio e no longo prazos, não há proposta de um cronograma de atividades bem definido. A conclusão da pesquisa, portanto, é que o processo de construção do Novo Saeb ainda carece de planejamento e governança.

É preciso avançar para além do debate de ideias: é urgente conciliar as opiniões e propostas dos diferentes atores de forma pragmática. Como já foi ressaltado em outros estudos, é necessário definir a governança dos processos de mudança, estabelecer uma agenda de prioridades e planejar de forma robusta a sua execução, a partir do mapeamento de recursos e da projeção de investimentos.

Referências

• ARAÚJO, C. G. de; ARAÚJO, L. Efeitos não desejados do modelo de financiamento da educação brasileira. Revista Ibero-Americana de Estudos em Educação, v.19, n.00, e024038, 2024.
• FUNDAÇÃO LEMANN. O futuro da educação no Brasil: uma análise das políticas educacionais e suas perspectivas. São Paulo: Fundação Lemann, 2021. Disponível em: <https://fundacaolemann.org.br/storage/materials/vDuLwKGNyktGQRiSnKxemSWs7fm3wZlHljYgO8jV.pdf>. Acesso em: 1 jul. 2024.
  » https://fundacaolemann.org.br/storage/materials/vDuLwKGNyktGQRiSnKxemSWs7fm3wZlHljYgO8jV.pdf
• _______. Guia da ação avaliativa. São Paulo: Fundação Lemann, 2023.
• INSTITUTO DE ESTUDOS SOBRE A EDUCAÇÃO. Avaliação da qualidade da educação infantil. São Paulo: Instituto de Estudos sobre a Educação, 2023a.
• _______. Inovação em avaliação educacional. São Paulo: Instituto de Estudos sobre a Educação, 2023b.
• LEVANTAMENTO INTERNACIONAL. Avaliações educacionais em tempos de pandemia. São Paulo, 2022.
• MINISTÉRIO DA EDUCAÇÃO (Brasil). Parâmetros de atualização do Sistema de Avaliação da Educação Básica - SAEB. Brasília: MEC, 2022.
• _______. Parâmetros para a atualização do ENEM. Brasília: MEC, 2023.
• MOVIMENTO PELA BASE. Visões e princípios do Movimento pela Base para o alinhamento das avaliações à BNCC e ao Novo Ensino Médio. São Paulo, 2020.
• _______. O futuro das avaliações da educação básica. São Paulo, 2023.
• ORGANIZAÇÃO PARA A COOPERAÇÃO E DESENVOLVIMENTO ECONÔMICO. Perspectivas de políticas do SAEB no Brasil: rascunho para comentários. Paris: OCDE, 2023.
• ORGANIZAÇÃO PARA A COOPERAÇÃO E DESENVOLVIMENTO ECONÔMICO; FUNDAÇÃO LEMANN. Perspectivas de políticas educacionais no Brasil: um estudo sobre o SAEB. São Paulo: Fundação Lemann, 2023.
• TAVARES, P. O futuro SAEB: o debate atual. São Paulo: Movimento pela Base, 2022.
• _______. Parâmetros de atualização do SAEB. São Paulo: Ministério da Educação, 2023.
• TODOS PELA EDUCAÇÃO. Reflexões sobre a aplicação do SAEB 2021. São Paulo, 2021. Disponível em: <https://www.todospelaeducacao.org.br>. Acesso em: 1 jul. 2024.
  » https://www.todospelaeducacao.org.br
• VOZES DA EDUCAÇÃO. Avaliação da qualidade da educação infantil. São Paulo: Vozes da Educação, 2023.
• VOZES DA EDUCAÇÃO; INSTITUTO DE ESTUDOS SOBRE A EDUCAÇÃO. Pesquisa sobre avaliações de acesso ao ensino superior. São Paulo: Vozes da Educação, 2023.

Notas

• 1
  Página do Saeb no site do Instituto Nacional de Estudos e Pesquisas Educacionais (Inep). Disponível em: <https://www.gov.br/inep/pt-br/areas-de-atuacao/avaliacao-e-exames-educacionais/saeb>. Acesso em: 23 jun. 2024.
• 2
  Brasil, Ministério da Educação. Base Nacional Comum Curricular, p.7. 2018.
• 3
  Educação Infantil; 2º ano do Ensino Fundamental (alfabetização); Ensino Fundamental I (5º ano), Ensino Fundamental II (9º ano) e Ensino Médio (3º ano).

Datas de Publicação

• Publicação nesta coleção
  06 Out 2025
• Data do Fascículo
  Sep-Dec 2025

Histórico

• Recebido
  07 Ago 2024
• Aceito
  25 Dez 2024