As fragilidades do PISA, um protagonista global em políticas educacionaisRESUMO
O objetivo deste texto, baseado em pesquisa documental e na produção acadêmica, é discutir o PISA e os resultados dos testes cognitivos divulgados pela OCDE. Para tanto, serão apresentadas e discutidas as principais concepções que estruturam os três testes do PISA até 2021, como elas vêm variando ao longo dos anos e algumas das fragilidades na forma de divulgar seus resultados, utilizando, para isso, as escalas de proficiência produzidas, a forma encontrada para explicar as tarefas que os estudantes são capazes de realizar nos testes. Discute-se a enorme influência que este instrumento tem sobre as políticas educacionais ao redor do mundo, na maior parte das vezes, discutindo como alcançar o melhor desempenho entre os países participantes. As análises apontam para algumas inconsistências nas informações geradas pelo PISA, dificultando seu uso para aprofundar o debate educacional e aprimorar as políticas da área.
Palavras-chave:
PISA; Avaliação Educacional; Currículo; Política Educacional
ABSTRACT
Based on documentary research and academic production, this essay discusses PISA and the cognitive tests results published by OECD. For this purpose, we will present and discuss the main structuring concepts of the three PISA tests until 2021, how they have varied over the years, and some of the weaknesses in results disclosure using proficiency scales as instruments used to explain the students’ tests performance tasks. Its influence on educational policies worldwide is briefly discussed, often focusing on achieving the best performance among participating countries. The analysis points to some inconsistencies in the PISA data, hindering its use to extend the educational debate and improve educational policies.
Keywords:
PISA; Educational Assessment; Curriculum; Educational Policy
Situando as avaliações no Brasil: SAEB e estudos internacionais1
O governo federal vem desenvolvendo nos últimos 30 anos um robusto e consistente conjunto de instrumentos de medida para avaliar a educação brasileira. Esses esforços se iniciam no período de redemocratização brasileira no final dos anos 1980 e envolveram governos de diferentes perfis ideológicos. O Sistema de Avaliação da Educação Básica (SAEB) foi criado em 1988 como um projeto piloto e teve o primeiro ciclo de aplicação em 1990. Desde 1993 ele vem sendo aplicado a cada dois anos.
Nos dois primeiros ciclos, seu projeto inicial era utilizar uma série de instrumentos, dentre os quais estavam inseridos os testes cognitivos para gerar três grupos de indicadores que, em conjunto, permitiriam avaliar a qualidade da educação brasileira. A maior parte desses instrumentos já vinham sendo desenvolvidos havia pelo menos dez anos por diferentes grupos ligados ao governo federal e foram agregados a um conjunto lógico e harmônico. O cerne da proposta era considerar que a educação escolar é uma ação pública complexa e, para avaliá-la, seriam necessárias medidas que captassem algumas das dimensões do processo educacional.
Um dos estudos era o “Estudo do Aluno” e envolvia a aplicação de testes cognitivos de múltipla escolha e de resposta construída a alunos de uma amostra de escolas matriculados nos 2º, 4º, 6º e 8º anos da educação básica, considerados fundamentais no processo de aprendizagem dos alunos. Para construir uma referência para a elaboração dos itens, já que não havia um currículo nacional, foram feitas pesquisas junto às escolas e a especialistas para a obtenção de informações sobre o currículo praticado. Depois de aplicados os testes, seus resultados eram analisados utilizando-se a “Teoria Clássica dos Testes” para facilitar a análise dos professores.
A partir de 1995, o modelo original foi deixado de lado e o SAEB centrou-se apenas nos testes cognitivos e nos questionários aplicados a alunos, professores e diretores de escola, também pertencentes a uma amostra. Os anos escolares testados mudaram para os 5º, 9º e 12º anos, correspondentes ao final dos ciclos da educação básica. Também a partir daquele ano, a análise dos resultados passa a ser feita com a utilização da Teoria da Resposta ao Item (TRI) de forma a permitir comparações entre os desempenhos dos alunos nos diferentes ciclos do SAEB. A partir de 2005, o SAEB passa a ser aplicado de forma censitária a todos os alunos daqueles anos escolares matriculados nas redes públicas de ensino (Horta Neto, 2018).
A partir dos dados de desempenho dos alunos nos testes do SAEB e do fluxo escolar coletado pelo Censo Escolar, foi criado o Índice de Desenvolvimento da Educação Básica (IDEB). Para compor o IDEB, os dados do desempenho nos testes do SAEB foram parametrizados com relação à média dos países pertencentes à Organização para a Cooperação e Desenvolvimento Econômico (OCDE) participantes do Programa Internacional de Avaliação dos Estudantes (PISA) em 2003. Portanto, a medida do IDEB traz, em seu bojo, uma comparação internacional de forma a poder colocar em perspectiva os avanços brasileiros diante da realidade internacional (Fernandes, 2017). Com base no IDEB, o Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP) fixou metas para todas as escolas de forma que, em 2022, ano do bicentenário da independência, todas as escolas atingissem o índice seis no IDEB para o 5º ano do Ensino Fundamental, valor equivalente à média de desempenho dos países da OCDE no PISA em 2003.
Além da avaliação nacional, o Brasil participa de estudos internacionais tais como os produzidos pela Organização das Nações Unidas para Educação, Ciência e Cultura (UNESCO) no âmbito do Laboratório Latino-americano de Avaliação da Qualidade da Educação (LLECE) desde 1997 (UNESCO, 2001; 2008; 2016) e, a partir de 2019, assinou acordos de cooperação para participar dos estudos promovidos pela Associação Internacional de Avaliação do Rendimento Escolar (IEA): Estudo Internacional de Tendências em Matemática e Ciências (TIMMS), Estudo Internacional de Progresso em Leitura (PIRLS) e Estudo Internacional de Educação Cívica e Cidadania (ICCS).
O mais importante dos estudos internacionais que o Brasil participa - e o que provoca mais discussões - é o PISA, organizado pela OCDE. Segundo o governo federal, os dois principais objetivos dessa participação são ter uma referência internacional sobre o desempenho dos alunos e apropriar-se de metodologias e tecnologia em avaliação educacional que auxiliem no desenvolvimento das avaliações nacionais (INEP, 2012).
A proficiência média dos estudantes brasileiros, em comparação com os dos países da OCDE, é apresentada no Quadro 1.
Em 2012, depois de vários resultados considerados negativos, o governo da época destaca o fato de o país ter sido aquele que mais avançou na proficiência em Matemática entre os anos 2003 e 2012. Afirma, também, que o país é um “modelo a ser seguido para países com grande atraso escolar e que ainda enfrentam o desafio da inclusão dos estudantes no sistema escolar” (INEP, 2012, p. 14). No ciclo seguinte, em 2015, o desempenho do Brasil foi inferior ao de 2009, seis anos atrás, sem nenhum comentário do governo federal2. Essa é uma das indicações do uso político que se faz dos resultados do PISA.
A seguir, serão apresentados os construtos que estruturam os testes aplicados pelo PISA e a forma como seus resultados são divulgados. O objetivo é analisar as fragilidades das informações geradas e seus efeitos sobre o debate público a partir dos textos produzidos pela OCDE e pelo INEP.
As medidas de desempenho no PISA
O PISA vem se destacando como um instrumento de regulação baseado no conhecimento (Carvalho, 2020), formador de políticas educativas, de agente na transnacionalização dessas políticas, e de mediador do conhecimento (Teodoro, 2020). Dessa forma, tem influenciado o desenvolvimento de políticas educacionais em nível mundial. Uma consequência desse processo é a padronização das políticas educacionais, resultando na homogeneização do discurso sobre quais os caminhos mais adequados para aprimorar a educação e sobre como melhor preparar o cidadão do Século XXI, um futuro desenhado pela OCDE. Também exerce influência sobre os instrumentos nacionais que, através dos testes de desempenho cognitivo, procuram regular a oferta de ensino e os principais resultados do processo educacional. Isso é sentido com bastante intensidade no Brasil, um país na periferia da economia mundial e que foi o primeiro país não membro da OCDE a aderir ao PISA em 1998, ainda em sua fase de formulação.
A cada ciclo de três anos, uma área é o tema central entre os testes aplicados e as outras duas são testadas de forma mais limitada. Assim, se “Leitura” foi o tema central do primeiro ciclo em 2000, ela volta a ser central no ciclo de 2009, já que, em 2003, o tema central foi Matemática e, em 2006, foi Ciências.
Um dos passos essenciais para o desenvolvimento de qualquer instrumento de medida é definir com clareza o que se quer medir (Horta Neto, 2010). No caso do PISA, a leitura dos relatórios produzidos entre os ciclos de 2000 e 2018 indicam quatro conceitos que se entrelaçam: conhecimentos, habilidades, competências e literacia. Baseados nestes conceitos, cada área do conhecimento desenvolve seus construtos, definições sobre o que cada teste está medindo. São formulações bastante abrangentes que, além de serem referência para o PISA, acabam influenciando diversas propostas curriculares ao redor do mundo.
Para divulgar os resultados e fornecer informações pedagógicas ao resultado numérico do teste, são divulgadas interpretações das escalas de proficiência, que são feitas para intervalos dentro da escala do PISA chamados de Níveis. Para cada Nível, são apresentadas descrições das tarefas que os alunos foram capazes de executar durante os testes. Como as proficiências são comparáveis ao longo dos diferentes ciclos do PISA, a cada novo ciclo, novas habilidades são descritas, ampliando o conhecimento que se tem sobre as características das tarefas que os alunos são capazes de desenvolver em cada Nível de proficiência. Assim, as descrições divulgadas no ciclo de 2018 são mais aprofundadas do que as do primeiro ciclo e as dos próximos ciclos tendem a produzir novas informações para pontos diferentes da escala, ampliando o conhecimento que se tem sobre as habilidades desenvolvidas pelos alunos. Para fazer a descrição da escala, um grupo de especialistas se debruça sobre os itens3 que fizeram parte do teste, analisa as tarefas demandadas e a proficiência necessária para resolvê-las. A partir dessa análise, descrevem aquilo que os estudantes foram capazes de responder.
Quanto à descrição dessa escala, o Nível 2 é considerado o básico, sendo aquele que o PISA indica ser o mínimo que se poderia esperar em termos de desempenho no teste e reflete as habilidades que deveriam ter sido desenvolvidas pelos estudantes com 15 anos. Por outro lado, os que se encontram no Nível 1 estão aquém das habilidades esperadas, enquanto, no espectro oposto, os que se posicionam no Nível 6 alcançaram a excelência. Percebe-se, no entanto, que uma pequena porcentagem de estudantes estão classificados nesse nível.
Com relação à medida da proficiência, utiliza-se uma função probabilística conhecida como modelo TRI de Rasch, que permite fazer comparações entre os diferentes ciclos para acompanhar alterações nas medidas. Por outro lado, traz a dificuldade de que nem todos os itens usados em um ciclo possam ser divulgados, pois alguns deles deverão ser reaplicados no seguinte para garantir a comparabilidade entre os ciclos.
A seguir serão descritas as definições dos construtos de cada área do conhecimento, as variações que foram sofrendo ao longo dos diversos ciclos do PISA e discutidos os resultados do ciclo de 2018 a partir do relatório sobre a participação do Brasil no estudo.
Leitura
Para área de Leitura, os relatórios do PISA mostram que, ao longo dos vários ciclos, houve pouca variação na definição de seu construto. No primeiro ciclo do PISA, em 2000, quando Leitura foi o tema principal do estudo, definiu-se que “Reading Literacy is understanding, using, and reflecting on written texts, in order to achieve one’s goals, to develop one’s knowledge and potential, and to participate in society” (OCDE, 1999, p. 20).
Esse construto sofre uma única alteração no ciclo de 2009, quando Leitura volta a ser o tema principal. Naquele ciclo, foi incluída, na definição de Literacia em Leitura, um pequeno trecho para fazer referência à uma medida sobre o engajamento do aluno com a leitura. A nova definição, com a inclusão destacada em negrito, ficou assim: “Reading literacy is understanding, using, reflecting on and engaging with written texts, in order to achieve one’s goals, to develop one’s knowledge and potential, and to participate in society” (OCDE, 2009, p. 23).
A mudança reflete a inclusão do terceiro pilar da definição do conceito de competência, definido como sendo conhecimento, habilidade e atitude. Para o PISA, a atitude transforma-se em engajamento com a Leitura, medido através de alguns itens dos questionários do aluno, do professor e da escola, que, depois, são analisados em conjunto com aqueles do teste cognitivo. O objetivo principal da inserção do engajamento com a Leitura é destacar os fatores contextuais e sua influência sobre as proficiências medidas, buscando complementar a informação coletada. Assim, o engajamento em leitura refere-se a atributos motivacionais e características comportamentais da leitura do estudante (OCDE, 2009, p.70). As características atitudinais ligadas ao estudante referem-se à quantidade e intensidade de suas atividades de leitura, enquanto os atributos motivacionais referem-se ao quanto a leitura é incentivada pelo professor, pelas atividades em sala de aula e pela escola.
No ciclo de 2018, quando Leitura volta a ser o tema principal, o relatório (OCDE, 2019a) destaca sua dependência tanto das características dos leitores, como dos fatores textuais (formatos, complexidade da linguagem usada) e da tarefa a ser executada (leitura por prazer, para um entendimento aprofundado ou aligeirado). Também informa que, na seleção daquilo que será utilizado no teste, deve-se garantir vários tipos de textos com diferentes propósitos, na escola e fora dela, de forma a representar naturalmente uma gama de dificuldades envolvendo tanto os textos como as tarefas a serem executadas.
A primeira dúvida que uma definição como essa traz é com relação às diversas realidades culturais de cada país e dos textos ali produzidos, cada um com suas singularidades. Escolher textos que perpassem as diversas culturas não é tarefa fácil e provoca questionamentos quanto às reais possibilidades de se comparar os resultados por estudantes, vivendo práticas de leitura e padrões culturais tão distintos. Em outras palavras, se não é possível garantir a comparabilidade entre os textos, consegue induzir uma homogeneidade dos currículos em nível global.
Aquilo que os estudantes são capazes de fazer na área de Literacia em Leitura, tomando por base os resultados do teste aplicado, são apresentados em um quadro. Nela são indicados nove Níveis, de 6 a 2 e mais os níveis “1a”, “1b”, “1c” e “abaixo de 1c” (OCDE, 2019b, p. 87-88). Para cada um deles, frases descrevem a interpretação da OCDE para aquilo que os estudantes foram capazes de fazer, com base nos itens que fizeram parte do teste. Por consequência, aquilo que não foi apresentado no teste não é passível de ser medido e descrito.
No espaço deste texto, não seria possível analisar todo o conteúdo daquela tabela. Em razão disso, foram selecionados alguns trechos das descrições que apresentam tarefas comuns descritas em diferentes níveis. Assim como selecionamos aqueles apresentados no Quadro 2, outras poderiam ter sido escolhidas, sem prejudicar a qualidade e a validade da análise que será feita. Para este texto, optou-se por escolher trechos das descrições que faziam referência à habilidade de “fazer inferências”, uma das tarefas demandadas pelo teste de Linguagem. Por sem impossível abarcar aqui todas as possibilidades de análise, conforme já destacado acima, foram selecionados alguns dos Níveis de forma a exemplificar a extensão dessa habilidade, a proficiência mínima para executar cada tarefa e o percentual de alunos da OCDE e do Brasil classificados em cada nível.
Inicialmente, é preciso comentar algumas imprecisões na forma de o PISA apresentar seus resultados. Como comentado anteriormente, o cálculo da proficiência usa o modelo da TRI, que expressa uma probabilidade de que a tarefa descrita tenha sido realizada. Portanto, não se trata da certeza de que todos aqueles classificados em determinado nível a tenham realizado. Pela linguagem usada na descrição da escala, fica-se com a impressão de que os estudantes classificados em determinado Nível conseguiram desenvolver todas as tarefas nele descritas, o que pode não ser real. Além disso, como qualquer medida, a ela está associado um erro, ou seja, o valor da proficiência indicado varia dentro de uma margem de erro. Essas limitações não são informadas na descrição da escala. Destaca-se aqui a impressão criada de que o as características expressas nestas tabelas de descrição das tarefas executadas sejam informações exatas, quando, na realidade, são interpretações aproximadas dos resultados medidos.
Com relação às tarefas que envolveram a habilidade de realizar inferências, destacadas no Quadro 2, ao se comparar os diferentes níveis da escala apresentados, somente em um deles, o Nível 1b, não há menção a uma tarefa relativa a essa habilidade. Sendo assim, o relatório traz implícito que os alunos classificados naquele Nível não foram capazes de fazer inferências. Entretanto, a quais inferências o PISA está se referindo? Sem que tenhamos acesso a todos os itens em que essa tarefa foi demandada, não é possível compreender as tarefas a que os alunos foram submetidos. Apenas a leitura da interpretação da OCDE sobre aquilo que os estudantes foram capazes de realizar não permite que o leitor possa compreender em que contexto e com base em quais textos solicitaram-se que os alunos fizessem inferências.
Além disso, como entre as atividades que os alunos classificados no nível 1b não consta a realização de inferências, depreende-se que 17,7% dos alunos brasileiros demonstraram não ter desenvolvido essa habilidade. Isso pode ser verdade para os textos e as tarefas demandadas pelos itens que fizeram parte do teste aplicado. De forma alguma é possível supor que eles sejam incapazes de fazer inferências em outras situações, mesmo que mais simples. No entanto, da forma como a informação é apresentada à sociedade, incluindo os formuladores de políticas, a mídia e os profissionais da educação, ilumina-se o fracasso do sistema escolar que permite que 17,7% dos brasileiros não tenham capacidade de fazer inferências. Se, por um lado, é fato que existe uma diferença grande de desempenho entre os alunos dos países da OCDE e os do Brasil devido às diferentes realidades em que vivem, por outro, é pedagogicamente pouco crível que uma parcela tão grande dos estudantes não seja capaz de fazer algum tipo de inferência. A questão colocada aqui tem relação com os possíveis usos que se faz dos resultados obtidos. Se não forem esclarecidos os limites das medidas realizadas, inúmeras ilações podem ser feitas e os discursos defendendo pretensos modelos ideais se proliferam indicando-os como balas de prata capazes de superar, inclusive, as desigualdades sociais e garantir melhoras de aprendizagem, mesmo sem definir com clareza quais seriam elas.
Outro dado destacado no Quadro 2, referente ao Nível 4, aponta que os alunos “conseguem comparar perspectivas e extrair inferências com base em múltiplas fontes”. Essa informação é muito limitada, pois não indica qual é a real dimensão da tarefa demandada. Esse é o problema de se analisar os resultados expressos em escalas, sejam elas quais forem. Como o número isoladamente pouco significa, a tentativa de descrever aquilo que os alunos conseguem fazer baseado nas tarefas apresentadas pelos itens é bastante limitada, podendo dar margem a múltiplas interpretações.
Assim, as informações do Quadro 2 indicam que a habilidade de fazer inferências pode ser medido em diferentes tarefas com distintos graus de dificuldades, algo que pode ser verificado pela gradação das tarefas apresentadas aos alunos. Nada mais que isso. Sendo assim, é muito difícil formular políticas educacionais para melhorar a compreensão leitora dos estudantes com base apenas em informações como essas. O que os quadros com as descrições dos níveis de proficiência informam bem são as diferenças entre as nações e economias, tanto em termos da colocação geral no ranking como no percentual de alunos classificados em cada Nível. O que já é suficiente para estimular a competição entre os países.
Matemática
A definição utilizada pelo PISA para essa área do conhecimento em 2000 foi:
Mathematical Literacy is an individual’s capacity to identify and understand the role that mathematics plays in the world, to make well-founded mathematical judgments and to engage in mathematics, in ways that meet the needs of that individual’s current and future life as a constructive, concerned and reflective citizen (OCDE, 1999, p. 41).
O texto informa que os conhecimentos e as habilidades tradicionais, definidos na escola, não são o foco do PISA e que a ênfase é no conhecimento matemático colocado em uso em diferentes contextos que exijam reflexão e discernimento. Nessa definição não está explícito o fato de que o PISA testa os estudantes de 15 anos, independentemente do ano escolar que frequentam, o que é um problema para países em que seus sistemas escolares apresentem altas taxas de reprovação, como é o caso do Brasil. Além disso, define as competências que serão medidas pelo teste: pensamento, argumentação e modelagem matemáticos, resolução de problemas e comunicação. Para elaborar os testes, essas competências são utilizadas em três dimensões: processos, com foco na capacidade do aluno de analisar, raciocinar e comunicar ideias de maneira eficaz, apresentando, formulando e resolvendo problemas matemáticos; conteúdo, utilizando os conhecimento relativos a mudança e crescimento, espaço e forma, chance, raciocínio quantitativo e relações de incerteza e dependência; contexto, enfatizando o fazer e o usar a matemática em situações como vida pessoal e escolar, trabalho e esportes, comunidade local e sociedade (OCDE, 1999).
Em 2012, na segunda vez que a área de Matemática é o tema principal do PISA (a primeira foi em 2003), o documento que descreve as Matrizes do teste para esse ciclo aponta que “an understanding of mathematics is central to a young person’s preparedness for life in modern society” (OCDE, 2013 p.24), trazendo para a área uma visão utilitarista para a educação, sem definir com clareza a qual vida se refere e que sociedade moderna seria essa. O documento também apresenta mudanças no conceito de literacia, procurando esclarecer melhor a relação entre competências e aquilo que seria demandado pelos itens, algo que não estava claro na formulação original. Assim:
Mathematical Literacy is an individual’s capacity to formulate, employ, and interpret mathematics in a variety of contexts. It includes reasoning mathematically and using mathematical concepts, procedures, facts and tools to describe, explain and predict phenomena. It assists individuals to recognize the role that mathematics plays in the world and to make the well-founded judgments and decisions needed by constructive, engaged and reflective citizens (OCDE, 2013 p. 25).
Quanto ao engajamento do estudante, diferentemente da área de Leitura em que se utilizam os questionários para medir atitudes e motivações, o engajamento em Matemática é medido dentro do próprio item, utilizando-se, para isso, os processos matemáticos. Estes processos, como destacado na definição de Literacia Matemática, verificam a capacidade de os alunos formularem situações matematicamente, empregarem procedimentos e conceitos matemáticos, interpretarem e avaliarem resultados matemáticos. O documento destaca a importância dada a esse engajamento dos estudantes ao afirmar que “It is important for both policy makers and those engaged more closely in the day-to-day education of students to know how effectively students are able to engage in each of these processes” (OCDE, 2013 p.28).
No ciclo de 2021, quando novamente a Matemática é a principal área do teste, o conceito de Literacia permanece o mesmo, mas a forma de expressar seu modelo ficou mais sofisticado, pois deixa explícitos os conteúdos matemáticos explorados pelo teste, algo que, apesar de ser discutido nos textos anteriores, não ganhava destaque (OCDE, 2018). Além disso, o modelo proposto também dá destaque às habilidades do século 21, dentro daquilo chamado como os “desafios em contexto de um mundo real”. Essas habilidades são definidas por um grupo de especialistas como sendo aquelas às quais a “literacia matemática se apoia e desenvolve” (OCDE, 2018, p.2). Esta conceituação formulada dentro do contexto do PISA, usado para nortear a elaboração dos itens e medir o desempenho dos estudantes em Matemática, dada a sua abrangência, acabam se transformando em indicações de como os sistemas escolares devem orientar o ensino da Matemática. Assim, ao divulgar com vários anos de antecedência as formulações utilizadas para realizar medidas no teste PISA, são produzidas orientações para induzir mudanças curriculares ao redor do mundo, com impactos não somente na área de Matemática, mas em todas as outras áreas do currículo. Essas orientações passam a servir de paradigma a ser seguido para formar o cidadão global. O que se coloca aqui não é uma crítica direta a qualquer uma das chamadas “Habilidades do Século 21” que poderiam, caso fossem democraticamente debatidas, ser uma das bases para discussões sobre aprimoramentos curriculares, mas uma forma sutil de induzir globalmente mudanças nos currículos e nas concepções educacionais a partir de um modelo para medir o desempenho dos alunos no PISA. Não seguir essas orientações pode ter um preço alto e ter como consequência resultados piores em Matemática nos próximos ciclos. São os peritos (Carvalho, 2009) definindo como o ensino deve ser desenvolvido ao redor do mundo sem que sejam necessários grandes e longos debates, vitais em qualquer processo democrático para se definir os rumos a serem seguidas em cada sociedade.
Os resultados de Matemática são apresentados divididos em sete Níveis, de 6 a 1 e “abaixo de 1”. Assim como em Leitura, no teste de Matemática também são produzidas tabelas com as interpretações da escala de proficiência. Também aqui, para simplificar a análise, escolheram-se alguns trechos daquela produzida em 2018 e os mesmos Níveis do Quadro 2 para compor o Quadro 3.
A primeira observação a ser feita quando se analisa o Quadro 3 é a informação de que 41% dos alunos brasileiros tiveram desempenho abaixo do Nível 1. Para este mesmo Nível, observa-se a informação de que não foram identificadas habilidades para serem descritas. Para um especialista em psicometria, esta informação destaca que os itens presentes no teste não foram adequados para medir habilidades daquela faixa de proficiência e que outros com esta finalidade deveriam fazer parte do teste. Portanto, um problema técnico a ser resolvido. No entanto, para o público em geral, e, em particular, a mídia, a informação que se destaca é a de que 41% dos alunos brasileiros não possuem habilidades em Matemática ou, em outras palavras, não aprenderam Matemática e não estão preparados para tornarem-se cidadãos do século XXI. Somados os percentuais do Nível 1 com o do Nível abaixo de 1, chega-se a um total de 68,1% de estudantes brasileiros classificados abaixo do Nível 2, considerado como o básico. Essa informação se reflete na notícia publicada por um grande site de notícias do Brasil: “PISA 2018: dois terços dos brasileiros de 15 anos sabem menos que o básico de Matemática” (Moreno, 2019).
Quanto às características das tarefas descritas nos Níveis 4 e 6 do Quadro 3, os trechos destacados referem-se às habilidades de interpretar e argumentar. Comparando-se os dois trechos do Quadro 3 “[com base em interpretações e argumentações que elaboram, são] capazes de explicar por que razão estas são adequadas à situação original” e “[com base em interpretações e argumentações que elaboram, são] capazes de construir e de comunicar explicações” qual seria a diferença entre os dois níveis? Os dois trechos referem-se à tarefa de explicar algo e, à primeira vista, parecem se referir a habilidades semelhantes. No entanto, esses dois níveis estão 124 pontos distantes entre si dentro da escala. Da mesma forma, para os Níveis 1 e 2 do Quadro 3, se tomarmos as expressões “Conseguem extrair informações relevantes de uma única fonte e utilizar um único modo de representação” e “Conseguem identificar informações e executar procedimentos rotineiros, de acordo com instruções diretas, em situações explicitas” a gradação entre elas não fica clara e parecem identificar tarefas muito próximas, apesar de os Níveis estarem distantes entre si em 62 pontos da escala.
Assim, o objetivo de o PISA ser “um instrumento orientado politicamente no sentido de guiar decisões para as políticas educacionais”4 deixa, em parte, de ser cumprido. Além disso, as informações são pedagogicamente ineficazes, já que não conseguiriam apontar caminhos para aprimoramento das práticas pedagógicas. Por outro lado, informam sub-repticiamente que, caso os currículos sejam desenvolvidos com base no modelo proposto, os desempenhos podem ser melhorados. Esse é o âmago da informação que se quer dar. Não é uma informação direta, mas que usa de subterfúgios para impor modelos. Também impõe práticas a serem seguidas em sala de aula através da utilização dos itens do PISA que, aliás, são muito bem elaborados e bastante criativos. Contudo, são itens produzidos por especialistas com vários anos de prática, que gastaram muito tempo na elaboração de cada um deles e que receberam diversos feedbacks de outros especialistas que os ajudaram no seu aprimoramento. Portanto, distantes da realidade da grande maioria dos professores em qualquer lugar do mundo.
Ciências
Para o teste de Ciências, a Literacia Científica foi definida no ciclo de 2000 como sendo “the capacity to use scientific knowledge, to identify questions and to draw evidence-based conclusions in order to understand and help make decisions about the natural world and the changes made to it through human activity” (OCDE, 1999, p. 60).
O documento destaca que o teste para medir a Literacia Científica deve levar em consideração as bases dos processos científicos, adequando-as às tarefas demandadas pelo teste aos conhecimentos que devem ser mobilizados e o contexto em que as tarefas são apresentadas. Cada um desses três aspectos é detalhado no texto da OCDE indicado anteriormente.
No ciclo de 2006, a área de Ciências foi a central e uma nova definição da Literacia Científica foi apresentada. Foram incluídos aspectos atitudinais medidos a partir das respostas dos alunos em relação a quatro aspectos do indivíduo:
-
Scientific knowledge and use of that knowledge to identify questions, acquire new knowledge, explain scientific phenomena and draw evidence-based conclusions about science-related issues.
-
Understanding of the characteristic features of science as a form of human knowledge and inquiry.
-
Awareness of how science and technology shape our material, intellectual, and cultural environments.
-
Willingness to engage in science-related issues and with the ideas of science, as a reflective citizen (OCDE, 2006, p.23).
Com o novo arcabouço teórico, em 2006, o teste foi formado por várias unidades de itens, cada uma delas relacionada a determinado contexto. Em cada unidade, além dos itens cognitivos, havia um, ao final, para medir o engajamento do estudante com a Ciência. Este último levava em consideração os quatro aspectos citados acima. Em OCDE (2006), no Anexo A, encontram-se exemplos dessas unidades de itens. Além das perguntas incluídas no teste cognitivo, outras foram incluídas nos questionários também para medir o engajamento do aluno com a Ciência. Portanto, para medir a Literacia em Ciências, a área escolheu modelo diverso aos de Leitura e Matemática. Mas não existe nenhuma discussão para indicar a razão de se utilizar um modelo distinto.
Em 2015, quando Ciências volta a ser novamente o tema principal do PISA, a proposta de Literacia Científica do ciclo anterior é aprimorada:
Scientific literacy is the ability to engage with science-related issues, and with the ideas of science, as a reflective citizen.
A scientifically literate person is willing to engage in reasoned discourse about science and technology, which requires the competencies to:
-
Explain phenomena scientifically - recognize, offer and evaluate explanations for a range of natural and technological phenomena.
-
Evaluate and design scientific inquiry - describe and appraise scientific investigations and propose ways of addressing questions scientifically.
-
Interpret data and evidence scientifically - analyze and evaluate data, claims and arguments in a variety of representations and draw appropriate scientific conclusions (OCDE, 2017, p. 22).
Sem que haja espaço para uma análise mais aprofundada neste texto, a nova formulação aproxima-se daquela usada na área de Matemática, principalmente quanto à explicitação da forma de raciocinar cientificamente aqui e matematicamente lá. Outra alteração foi o descarte das perguntas para medir o engajamento com a Ciência, apresentadas ao final das unidades de itens, que, agora, passam a fazer parte dos questionários. Segundo o texto da OCDE, verificaram-se dois problemas com relação à formulação anterior: o espaço destinado aos itens cognitivos foi diminuído nas perguntas e um descompasso entre as respostas dadas no teste em relação àquelas dos questionários. Outro ponto importante na definição do framework de Ciências é associar a Literacia Científica a uma “Key Competency” (OCDE, 2017, p.20).
Já existe uma proposta para o ciclo de 2024 sendo discutida no âmbito do PISA para incluir na formulação de Literacia Científica novas alterações. Sugerem-se três novas áreas de conhecimento, como informática, a inclusão das competências de usar conhecimento científico para a ação e tomada de decisão e uso do pensamento probabilístico. Também seria acrescentada outra dimensão, chamada de identidade científica (OCDE, 2020). Contando com essa nova alteração proposta, a área de Ciências é a que mais sofreu aprimoramentos ao longo dos diferentes ciclos.
Os resultados de Ciências são apresentados em oito Níveis distintos, de 6 a 2 e mais os níveis “1a”, “1b” e “abaixo de 1b”. Para discutir os resultados de 2018, apresenta-se o Quadro 4 com fragmentos do texto para descrever as características das tarefas que os estudantes conseguiram desenvolver de acordo com os níveis de proficiência. Os fragmentos selecionados referem-se à habilidade de interpretar dados.
Da mesma forma que foi feito com relação às outras duas áreas, o objetivo da análise a seguir é apontar as fragilidades das informações fornecidas que, a princípio, deveriam servir para guiar os formuladores de políticas. Também como comentado antes, as informações são limitadas e dificultam compreender com clareza as características das tarefas que os estudantes são capazes de resolver.
No Nível 6, afirma-se que os estudantes podem recorrer a conhecimento externo ao currículo escolar. No entanto, como o PISA não se referencia nos currículos escolares dos países e economias participantes e como também não foi feito nenhum estudo comparando os diferentes currículos, não é possível identificar quais seriam esses conhecimentos. Mesmo que a tarefa tenha sido executada por apenas 0,8% dos estudantes da OCDE, e nenhum do Brasil, pergunta-se qual o sentido prático dessa informação?
Quanto aos três próximos Níveis apresentados no Quadro 4, apesar de se observar uma gradação nos trechos destacados com relação às tarefas que os estudantes provavelmente são capazes de fazer (dados provenientes de um conjunto moderadamente complexo, no Nível 4; conhecimento procedimental básico, no Nível 2; baixo nível de demanda cognitiva, no Nível 1a), não é possível saber a que tipo de tarefa as descrições se referem. São inúmeras as possibilidades, ainda mais quando fazem referência a um conhecimento científico usado para explicar fenômenos. Outro exemplo é a descrição que aparece no Nível “1a”, indicando que os estudantes “Com apoio, conseguem realizar investigações científicas estruturadas com no máximo duas variáveis”. Mesmo fornecendo informações pouco precisas, classifica mais de 31% dos estudantes brasileiros entre aqueles que executam atividades que exigem baixo nível de demanda cognitiva. E é esta informação, pouco consistente e ambígua, que está disponível para o debate público sobre o ensino de Ciências.
Considerações finais
Os testes cognitivos e os questionários do PISA são instrumentos bem elaborados, vêm contando com contribuições de importantes especialistas mundiais para seu constante aprimoramento e têm servido de modelo para vários estudos nacionais e internacionais. Suas alterações são anunciadas com antecedência de vários anos, talvez com o objetivo de preparar os países e economias para os novos formatos utilizados, indicando uma possível preocupação com os países participantes em se prepararem para as mudanças nos instrumentos, em especial, os testes cognitivos. Dessa forma, constitui-se como instrumento de regulação e indução de políticas, influenciando diversos países e economias, principalmente no estímulo à competição e a indução do quase-mercado educacional. Isso o coloca como um poderoso instrumento.
As descrições sobre os construtos para cada uma das áreas, muito mais do que indicar o que vai ser medido, apresentam discussões sobre o que importa ser ensinado, como cada área do conhecimento deve ser estruturada e o modo como os currículos devem ser construídos. Assim, os textos que referenciam os testes cognitivos vão além de informações sobre o que o PISA está medindo. São, de forma mais complexa, caminhos que devem ser trilhados para que a melhoria de resultados nos próximos ciclos signifique o sucesso das políticas adotadas. Essa é sua essência, aquilo que mobiliza os políticos, a mídia e influencia as sociedades.
Neste debate, ser melhor que o outro significa estar no caminho certo para formar o pretenso cidadão do Século XXI, como se houvesse consenso sobre que cidadão seria esse e se existisse um único modelo para formá-lo. Toda essa lógica ganha ares de sólida base científica ao apresentar diversos estudos estatísticos conduzidos a partir de cruzamentos de diferentes fontes, principalmente os questionários.
No entanto, quando se examina isoladamente os resultados do teste cognitivo, as informações produzidas, que poderiam, por exemplo, orientar a formação inicial e continuada de professores, são frágeis. As descrições das escalas informam muito pouco e, muitas vezes, de forma equivocada sobre o que os alunos foram capazes de fazer no teste. E isso é surpreendente já que a utilização dos testes cognitivos como instrumento para acompanhar os resultados dos sistemas educacionais foi apresentado como o grande avanço dos estudos educacionais comparados, por permitir informar o que e o quanto os jovens estariam aprendendo na escola. Essa é a principal fragilidade do PISA.
A crítica levantada não tem relação com possíveis problemas metodológicos dos instrumentos utilizados, mas sim quanto à lógica usada para divulgar seus resultados. Se o uso da TRI traz como vantagem a possibilidade de fazer comparações fidedignas ao longo do tempo, o faz a partir de um conceito incompreensível para o mundo educacional: o da proficiência, refletida em números expressos em uma escala totalmente diferente da que é usada pela escola. Além do mais, mesmo que se tenha acesso ao conjunto de itens aplicados nos testes, eles informam sobre aquelas tarefas que são apresentadas aos alunos a cada três anos, não sobre todas as que os professores e o sistemas escolares têm que se debruçar para garantir uma aprendizagem significativa. Por usar uma lógica incompreensível para os profissionais da educação, e dado o poder que exerce sobre as políticas, acaba estimulando a preparação para os testes.
Observa-se que a OCDE vem ampliando cada vez mais seu poder de influência. Por exemplo, o PISA pode ser um instrumento importante para monitorar o Objetivo de Desenvolvimento Sustentável 4 (ODS 4): Educação de qualidade, que pretende “assegurar a educação inclusiva, equitativa e de qualidade, e promover oportunidades de aprendizagem ao longo da vida para todas e todos” (ONU, 2015). Enquanto isso, coloca à disposição dos países mais pobres seu produto “PISA for Development”, para as escolas, o “PISA for Schools” e desenvolve o estudo International Early Learning and Child Well-being Study, conhecido como PISA-baby. Com isso, a OCDE contribui para homogeneizar as práticas educacionais, a formação de profissionais da educação e os conteúdos dos livros didáticos.
Como não podia deixar de ser, também influencia as políticas no Brasil. Exemplo disso é o processo de discussão e implementação da BNCC no Brasil e a forma utilizada para delinear o currículo nacional que utiliza como modelo algumas das formulações indicadas no PISA (Horta Neto, 2022). O resultado é um documento que deixa de lado a precisão sobre os conceitos que devem guiar a educação brasileira em prol da definição de objetivos de aprendizagem que mais parecem receitas de como e do que ensinar. Como consequência, a pressão por mais testes e por desempenhos maiores vai se acirrar ainda mais no Brasil.
Referências
-
CARVALHO, Luís Miguel. Governando a educação pelo espelho do perito: uma análise do PISA como instrumento de regulação. Educação & Sociedade, v. 30, n. 109, p. 1009-1036, 2009. https://doi.org/10.1590/S0101-73302009000400005
» https://doi.org/10.1590/S0101-73302009000400005 - CARVALHO, Luís Miguel. Revisiting the Fabrications of PISA. In: FAN, Guori, POPKEWITZ, Thomas. Handbook of Education Policy Studies. Berlin: Springer, 2020. p. 259-273.
-
FERNANDES, Reynaldo. A universalização da avaliação e a criação do IDEB: pressupostos e perspectivas. Em Aberto, v. 29, n. 96, p 177-193, 2017. Sistema de Avaliação da Educação Básica (SAEB): 25 anos. https://rbep.inep.gov.br/ojs3/index.php/emaberto/article/view/3154
» https://rbep.inep.gov.br/ojs3/index.php/emaberto/article/view/3154 -
HORTA NETO, João Luiz. Avaliação externa de escolas e sistemas: questões presentes no debate sobre o tema. Revista Brasileira de Estudos Pedagógicos, v. 91, n. 227, p. 84-104, 2010. https://doi.org/10.24109/2176-6681.rbep.91i227.604
» https://doi.org/10.24109/2176-6681.rbep.91i227.604 -
HORTA NETO, João Luiz. Avaliação educacional no Brasil para além dos testes cognitivos. Revista de Educação PUC-Campinas, v. 23 n. 1, p. 37-53, 2018. https://doi.org/10.24220/2318-0870v23n1a3990
» https://doi.org/10.24220/2318-0870v23n1a3990 - HORTA NETO, João Luiz. PISA and curricular reforms in Brazil: the influence of a powerful regulatory instrument. In: TEODORO, António. Critical perspectives on PISA as a means of global governance: risks, limitations, and humanistics alternatives. London: Routledge, 2022. p. 70-103.
- INEP - Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Relatório Nacional PISA 2012: resultados brasileiros. INEP, 2012.
-
INEP - Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Relatório Brasil no PISA 2018: versão preliminar. Brasília: INEP, 2019. https://download.inep.gov.br/acoes_internacionais/pisa/documentos/2019/relatorio_PISA_2018_preliminar.pdf
» https://download.inep.gov.br/acoes_internacionais/pisa/documentos/2019/relatorio_PISA_2018_preliminar.pdf -
MORENO, Ana Carolina. PISA 2018: dois terços dos brasileiros de 15 anos sabem menos que o básico de Matemática. G1 - Educação, 13 dec. 2019. https://g1.globo.com/educacao/noticia/2019/12/03/pisa-2018-dois-tercos-dos-brasileiros-de-15-anos-sabem-menos-que-o-basico-de-matematica.ghtml
» https://g1.globo.com/educacao/noticia/2019/12/03/pisa-2018-dois-tercos-dos-brasileiros-de-15-anos-sabem-menos-que-o-basico-de-matematica.ghtml - OCDE - Organização para a Cooperação e Desenvolvimento Econômico. Measuring student knowledge and skills: a new framework for assessment. Paris: OCDE, 1999.
- OCDE - Organização para a Cooperação e Desenvolvimento Econômico. Assessing Scientific, Reading and Mathematical Literacy: a framework for PISA 2006. Paris: OCDE, 2006.
- OCDE - Organização para a Cooperação e Desenvolvimento Econômico. PISA 2009 Assessment Framework: Key competencies in reading, mathematics and science. Paris: OCDE, 2009.
- OCDE - Organização para a Cooperação e Desenvolvimento Econômico. PISA 2012 Assessment and Analytical Framework: Mathematics, Reading, Science, Problem Solving and Financial Literacy. Paris: OCDE, 2013.
-
OCDE - Organização para a Cooperação e Desenvolvimento Econômico. PISA 2015 Results (Volume I): Excellence and Equity in Education, 2016. http://dx.doi.org/10.1787/888933432623
» http://dx.doi.org/10.1787/888933432623 - OCDE - Organização para a Cooperação e Desenvolvimento Econômico. PISA 2015 Assessment and Analytical Framework: Science, Reading, Mathematic, Financial Literacy and Collaborative Problem Solving. Paris: OCDE, 2017.
-
OCDE - Organização para a Cooperação e Desenvolvimento Econômico. PISA 2022 Mathematics framework (draft). November 2018. Paris: OCDE, 2018. https://pisa2022-maths.oecd.org/files/PISA%202022%20Mathematics%20Framework%20Draft.pdf
» https://pisa2022-maths.oecd.org/files/PISA%202022%20Mathematics%20Framework%20Draft.pdf - OCDE - Organização para a Cooperação e Desenvolvimento Econômico. PISA 2018 Assessment and Analytical Framework. Paris: OCDE, 2019a.
- OCDE - Organização para a Cooperação e Desenvolvimento Econômico. PISA 2018 Results (Volume I): What Students Know and Can Do. Paris: OCDE, 2019b.
-
OCDE - Organização para a Cooperação e Desenvolvimento Econômico. PISA 2024 Strategic Vision and Direction for Science. Paris: OCDE, 2020. https://www.oecd.org/pisa/publications/PISA-2024-Science-Strategic-Vision-Proposal.pdf
» https://www.oecd.org/pisa/publications/PISA-2024-Science-Strategic-Vision-Proposal.pdf -
OCDE - Organização para a Cooperação e Desenvolvimento Econômico. Beyond PISA 2015: A longer-term strategy of PISA. [s.d.] http://www.oecd.org/pisa/pisaproducts/Longer-term-strategy-of-PISA.pdf
» http://www.oecd.org/pisa/pisaproducts/Longer-term-strategy-of-PISA.pdf -
OCDE - Organização para a Cooperação e Desenvolvimento Econômico. Programme for International Student Assessment (PISA). Paris: OCDE, 2023. https://www.oecd.org/Pisa/38709396.pdf
» https://www.oecd.org/Pisa/38709396.pdf - ONU - Organização das Nações Unidas. Agenda 2030. Objetivo de Desenvolvimento Sustentável 4, ODS 4: Educação de qualidade, 2015.
- TEODORO, António. A OCDE e o sonho de uma governação mundial da educação: pressupostos e análise crítica. In: GONZÁLEZ-DELGADO, Mariano; FERRAZ, Manuel; MACHADO-TRUJILLO, Cristian. Transferencia, transnacionalización y transformación de las políticas educativas (1945-2018). Salamanca: FahrenHouse, 2020. p. 283-292.
- UNESCO - Organização das Nações Unidas para a Educação, a Ciência e a Cultura. Primer estudio internacional comparativo sobre lenguaje, matemática y factores asociados, para alumnos del tercer y cuarto grado de la educación básica: informe tecnico. UNESCO, 2001
- UNESCO - Organização das Nações Unidas para a Educação, a Ciência e a Cultura. Los Aprendizajes de los estudiantes de América Latina y el Caribe: primer reporte de los resultados del Segundo Estudio Regional Comparativo y Explicativo (SERCE). UNESCO, 2008.
- UNESCO - Organização das Nações Unidas para a Educação, a Ciência e a Cultura. Informe de resultados TERCE: logros de aprendizaje. UNESCO, 2016.
-
APOIO/FINANCIAMENTO
Não houve financiamento.
-
DISPONIBILIDADE DE DADOS DE PESQUISA
Todos os dados foram gerados/analisados no presente artigo.
-
COMO CITAR ESTE ARTIGO
HORTA NETO, João Luiz. As fragilidades do PISA, um protagonista global em políticas educacionais. Educar em Revista, Curitiba, v. 40, e93646, 2024. https://doi.org/10.1590/1984-0411.93646
-
1
Partes deste texto compõem o capítulo Pisa and curricular reforms in Brazil: the influence of a powerful regulatory instrument (Horta Neto, 2022).
-
2
O relatório da OCDE discute esse fato (OCDE, 2016).
-
3
Exemplos de itens liberados para divulgação pela OCDE podem ser obtidos em OECD (2023).
-
4
Essa é uma das estratégias de longo prazo que o Conselho de Administração do PISA (PISA Governing Board), órgão em que participam os países membros da OCDE e que decide as estratégicas sobre o teste, definiu em 2015 (OCDE, s.d.).
Todos os dados foram gerados/analisados no presente artigo.
