AS DUALIDADES ENTRE O USO DA INTELIGÊNCIA ARTIFICIAL NA EDUCAÇÃO E OS RISCOS DE VIESES ALGORÍTMICOS

Heggler, João Marcos; Szmoski, Romeu Miqueias; Miquelin, Awdry Feisser

doi:10.1590/ES.289323

person João Marcos Heggler

Conceptualização · Metodologia · Escrita – rascunho original JOÃO MARCOS HEGGLER é doutorando no Programa de Pós-Graduação em Ensino de Ciência e Tecnologia da Universidade Tecnológica Federal do Paraná – PPGECT/UTFPR (2023-2027); pós-graduação em Ensino de Ciência e Tecnologia – PPGECT, mestrado profissional pela UTFPR (2019-2021); pós-graduação em MBA: Gestão Estratégica de Pessoas pela Faculdades Sagrada Família – FASF (2015-2016); bacharelado em Direito pela Universidade Estadual de Ponta Grossa – UEPG (2014, c/ OAB); graduação em licenciatura em Geografia pela UEPG (2005), com Láurea Acadêmica. Pesquisas nos seguintes temas: educação, sustentabilidade socioambiental, ciência e tecnologia, e inteligência artificial.

schoolUniversidade Tecnológica Federal do Paraná – Departamento Acadêmico de Física – Ponta Grossa (PR), Brasil. E-mails: joaoheggler@utfpr.edu.br; rmszmoski@utfpr.edu.br; awdry@utfpr.edu.br

0000-0002-7044-6644

person Romeu Miqueias Szmoski

Conceptualização · Metodologia · Supervisão · Escrita – análise e edição · Aprovação da versão final ROMEU MIQUEIAS SZMOSKI possui doutorado (2013) em Ciências - Física pela UEPG. Atualmente é professor associado da UTFPR e editor da Revista Brasileira de Física Tecnológica Aplicada. Também atua como professor permanente do PPGECT/UTFPR. Tem experiência na área de Física, com ênfase em sistemas dinâmicos e fenômenos complexos, atuando principalmente nos seguintes temas: sincronização de caos, redes complexas, teoria de informação. Trabalha ainda com pesquisas voltadas a energias renováveis e desenvolvimento sustentável e à implementação de tecnologias de informação e comunicação para interação com fenômenos naturais e experimentos físicos.

schoolUniversidade Tecnológica Federal do Paraná – Departamento Acadêmico de Física – Ponta Grossa (PR), Brasil. E-mails: joaoheggler@utfpr.edu.br; rmszmoski@utfpr.edu.br; awdry@utfpr.edu.br

0000-0002-0968-7158

person Awdry Feisser Miquelin

Supervisão · Escrita – análise e edição · Aprovação da versão final AWDRY FEISSER MIQUELIN possui graduação em licenciatura em Física pela UEPG (2000), mestrado em Educação pela Universidade Federal de Santa Maria – UFSM (2003) e doutorado em Educação Científica e Tecnológica pela Universidade Federal de Santa Catarina – UFSC (2009). Foi professor QPM do estado do Paraná de 2003 a 2009. Atualmente é professor associado IV no DAENS da UTFPR – Campus Ponta Grossa, professor do PPGECT – Mestrado e Doutorado. Foi coordenador institucional do projeto PIBID da UTFPR e atualmente é coordenador do doutorado do PPGECT. Trabalha em projetos interdisciplinares voltados às relações entre ensino; à abordagem sistêmica; ciência e tecnologia e sociedade; ciência e arte e tecnologia; análise de sistemas educacionais tecnológicos comunicativos com ênfase no ensino de ciências; mediação de tecnologias de informação e comunicação na prática pedagógica para o Ensino Superior e a Escola Básica envolvendo didática, ensino e aprendizagem. Coordena o Grupo de Pesquisas Em Arte, Ciência e Tecnologia: GPACT. Bolsista PQ 2 do CNPq.

schoolUniversidade Tecnológica Federal do Paraná – Departamento Acadêmico de Física – Ponta Grossa (PR), Brasil. E-mails: joaoheggler@utfpr.edu.br; rmszmoski@utfpr.edu.br; awdry@utfpr.edu.br

0000-0002-7459-3780

Editor de Seção:

Antônio Zuin https://orcid.org/0000-0002-6850-2897

n.º	Etapas	Procedimentos
1	Estabelecimento da intenção de pesquisa	Nessa etapa foram identificados os descritores de busca e as combinações mais adequadas para responder à pergunta: É possível identificar, com base na literatura atual, as dualidades entre o uso da IA na educação e os riscos de inserção e incorporação de vieses algorítmicos nos processos educativos?
2	Pesquisa exploratória	A pesquisa exploratória seguiu as combinações dos descritores de busca: “Algorithmic bias” OR “Algorithm bias” AND Education. Foi considerado na busca o período entre janeiro de 2020 e maio de 2024.
3	Definição das bases de dados	Bases escolhidas: Scopus, Web of Science e ScienceDirect
4	Pesquisa nas bases	A localização dos trabalhos foi feita no Portal de Periódicos da CAPES, no sítio de periódicos, com o acesso ao “CAFé”.
5	Procedimentos de instalação e configuração dos softwares	Foram instalados, em sequência, os softwares R e RStudio, para configuração do ambiente e construção do portfólio. Após a aplicação dos métodos de preparação, configurou-se o pacote Bibliometrix.
6	Procedimentos de junção e filtragem	A pesquisa resultou em um total de 98 artigos, sendo: Scopus – 17; Web of Science – 56; ScienceDirect – 25; e posterior eliminação de 9 artigos duplicados.
7	Organização dos artigos (Bibliometria)	Foram utilizados os softwares RStudio, Bibliometrix e o Biblioshiny para sistematização e gerenciamento das referências.
8	Localização dos artigos completos e leitura prévia	Foram pré-selecionados 89 artigos completos para a leitura prévia, ocorrendo o descarte daqueles que não apresentaram elementos para responder à pergunta desta investigação. Ao final, foram selecionados os 16 trabalhos para a leitura, interpretação e análise sistemática (etapa 9).
9	Leitura e análise sistemática dos artigos	Nessa etapa, realizou-se uma análise mais aprofundada, sistemática e interpretativa desses 16 artigos, na busca de respostas para a problemática desta pesquisa.

Ord.	1º Autor	Total Citações	TC/ ano	Revistas/Fontes	Ano
1	Gomede	126	31.50	Comput Educ	2021
2	Baker Rs	85	28.33	Int J Art Int Ed	2022
3	Davis Jl	48	12.00	Big Data Soc	2021
4	Sun W	36	7.20	Plos One	2020
5	Johnson Gm	29	7.25	Synthese	2020
6	Zajko M,	15	3.75	Ai Soc	2021
7	Gaskins N	4	2	Techtrends	2023
8	Yoder-Himes Dr	4	1.33	Front Educ	2022
9	Archambault Sg	2	1	Commun Inf Lit	2023
10	Williams Tr	0	0	Front Educ	2024
11	Tang L	0	0	Unir La Univ	2024
12	Solyst J	0	0	Proc Acm Hum	2023
13	Bird Ka	0	0	J Policy A Manage	2024
14	Ito-Jaeger S	0	0	Int J Qual Meth	2023
15	Sanusi It	0	0	Comp Ed Art Int	2023
16	Dakakni D	0	0	Comp Ed Art Int	2023

Autores	Objetivos
Gomede, Barros e Mendes (2021)	[...] contribuir com um sistema adaptativo de recomendação de e-learning, com o qual são investigadas quatro abordagens para o desenvolvimento de modelos de recomendação.
Baker e Hawn (2022)	[...] revisar o preconceito algorítmico na educação, discutindo as causas desse preconceito e revisando a literatura empírica sobre as maneiras específicas pelas quais o preconceito algorítmico se manifestou na educação.
Davis, Williams e Yang (2021)	Propõe a reparação algorítmica como base para construir, avaliar, ajustar e, quando necessário, omitir e erradicar sistemas de aprendizado de máquina.
Sun, Nasraoui e Shafto (2020)	[...] estudar duas fontes de preconceito que interagem: o processo pelo qual as pessoas selecionam informações para rotular (ação humana); e o processo pelo qual um algoritmo seleciona o subconjunto de informações para apresentar às pessoas (modo de viés algorítmico repetido).
Johnson (2020)	[...] explorar mais a fundo as conexões entre o algoritmo e os humanos, e argumentar que na etiologia, operação, avaliação e mitigação os preconceitos humanos e os preconceitos algorítmicos compartilham semelhanças importantes.
Zajko (2021)	[...] apresenta a visão de um sociólogo sobre o problema do preconceito algorítmico e da reprodução do preconceito social.
Gaskins (2023)	[...] analisa o preconceito algorítmico ou da inteligência artificial (IA) na tecnologia educacional, especialmente através das lentes da ficção especulativa, do design especulativo e libertador. Ele discute as causas do preconceito e revisa a literatura sobre as várias maneiras pelas quais o preconceito algorítmico/IA se manifesta na educação e em comunidades que estão sub-representadas no desenvolvimento de software EdTech.
Yoder-Himes et al. (2022)	Este estudo é novo, pois é o primeiro a examinar quantitativamente os preconceitos no software de detecção facial na interseção entre raça e sexo e tem (sic) impactos potenciais em muitas áreas da educação, justiça social, equidade e diversidade educacional e psicologia.
Archambault (2023)	[...] propõe acréscimos à atual Estrutura da ACRL para Alfabetização Informacional para o Ensino Superior que está relacionado à alfabetização algorítmica.
Williams (2024)	[...] apresenta brevemente as implicações éticas do uso de plataformas como o ChatGPT na educação. O autor enfoca a privacidade dos dados, o viés algorítmico, a autonomia na aprendizagem e a questão do plágio.
Tang e Su (2024)	[...] busca oferecer uma visão geral da pesquisa sobre as implicações éticas, os princípios éticos e as futuras direções e práticas de pesquisa do uso de modelos de IA em sala de aula por meio de uma revisão sistemática da literatura.
Solyst et al. (2023)	[...] como os jovens podem participar na identificação de preconceitos algorítmicos e na concepção de sistemas futuros para abordar comportamentos tecnológicos problemáticos.
Bird, Castleman e Song (2024)	Para contextualizar nossa análise do viés algorítmico no ensino superior e para motivar os modelos específicos que investigamos, fornecemos uma breve visão geral de como a análise preditiva é usada pelas faculdades e universidades – tanto como elas desenvolvem os modelos de previsão quanto como as faculdades e universidades normalmente aproveitam as previsões resultantes na divulgação e no apoio aos alunos.
Ito-Jaeger et al. (2023)	[...] apresenta uma nova abordagem metodológica, TrustScapes, uma ferramenta de acesso aberto projetada para identificar e visualizar as preocupações e recomendações políticas das partes interessadas sobre proteção de dados, preconceito algorítmico e segurança online para um mundo online mais justo e confiável.
Sanusi et al. (2023)	[...] discernir como os alunos se envolveram com atividades de Machine Learning (ML). Além disso, exploramos se a participação em nosso programa de intervenção provoca mudanças na compreensão e nas percepções de ML dos alunos.
Dakakni e Safa (2023)	[...] investigar as atitudes de alunos e professores em relação às ferramentas de IA na sala de aula [...].

Autores	Vieses e Preconceitos	Ocorrências de vieses e preconceitos nos textos
Baker e Hawn (2022, p. 1.065).	Viés do algoritmo – classificação (racismo)	[...] se os estudantes negros são mais propensos a serem rotulados com o envolvimento em violência escolar do que os estudantes brancos, mesmo pelo mesmo comportamento - então é difícil determinar se um algoritmo funciona igualmente bem para ambos os grupos, ou mesmo encontrar alguma maneira de ter certeza de que o funcionamento do algoritmo não é tendencioso.
Davis, Williams e Yang (2021, p. 5).	Viés do algoritmo – paridade de classificação (gênero)	[...] os trabalhadores da [...], como uma força de trabalho mais ampla em tecnologia, era composta desproporcionalmente por homens. Consequentemente, usando os dados existentes o sistema de contratação aprendeu que os homens eram candidatos preferidos.
Davis, Williams e Yang (2021, p. 6).	Viés do algoritmo –calibração (gênero)	Os negros são mal avaliados com pontuações de risco excessivamente fortes e os brancos são mal avaliados com pontuações de risco excessivamente brandas. Concretamente, isto significa que mais negros acabam na prisão e mais brancos permanecem livres.
Sun, Nasraoui e Shafto (2020, p. 18).	Viés do algoritmo – classificação (novos usuários)	O desequilíbrio de classes também pode surgir do algoritmo que pede intencionalmente aos usuários que avaliem apenas os itens mais populares, uma estratégia comum usada para coletar classificações iniciais para novos usuários.
Johnson (2020, p. 9.952).	Viés do algoritmo – problema de proxy (programação)	[...] seria moralmente problemático permitir que um programa categorizasse os candidatos como elegíveis ou inelegíveis para um empréstimo hipotecário com base na raça desses candidatos. Como resultado, os programadores tentam evitar qualquer dependência explícita da raça, incluindo filtros que impedem o programa de classificação dos indivíduos com base na raça.
Zajko (2021, p. 13).	Preconceito algorítmico (preconceito racial)	Mas, independentemente do problema para o qual a IA está a ser usada, sempre que o preconceito racial (por exemplo) for um problema, o mínimo que um desenvolvedor pode fazer é compreender o que é raça e como a desigualdade racial está estruturada na sociedade.
Gaskins (2023, p. 420).	Algoritmo tendencioso (discriminação)	Esses algoritmos são tendenciosos porque foram escritos para pesar ou descartar deliberadamente certos fatores. Por exemplo, o software pode rotineiramente colocar determinados alunos em cursos que não se alinham com as suas necessidades de aprendizagem, o que pode prejudicar o seu crescimento.
Gaskins (2023, p. 420).	Algoritmo opressivo (preconceito racial)	A utilização de algoritmos, o reconhecimento facial e a vigilância têm o potencial de ter impactos muito negativos sobre os estudantes étnicos sub-representados. A tecnologia de IA pode exacerbar o preconceito racial, o que afeta ainda mais os estudantes e as comunidades que são, na maioria das vezes, mal atendidas e subestimadas nas escolas.
Gaskins (2023, p. 421).	Viés do algoritmo (preconceito)	O robô classificou fotos que foram rotuladas ou marcadas com informações sobre características faciais específicas, assim a IA foi codificada com preconceitos sobre o que é ou o que define a beleza. Na educação, isto tem implicações potencialmente prejudiciais para os testes padronizados e o reconhecimento facial.
Yoder-Himes et al. (2022, p. 2).	Vieses algorítmicos (preconceitos sistêmicos)	É da maior importância que as universidades identifiquem e não utilizem tecnologias que prejudicam as mulheres ou os estudantes negros, especialmente no que diz respeito às tecnologias relacionadas com a avaliação ou o desempenho acadêmico, como o software de supervisão de testes.
Archambault (2023, p. 538).	Algoritmo tendencioso (distorção de dados)	A ferramenta também fornece exemplos em que os próprios algoritmos amplificam o preconceito quando fazem previsões mais distorcidas do que os dados de treinamento, [...].
Williams (2024, p. 4).	Viés do algoritmo (treinamento de dados)	Se, historicamente, as alunas fossem menos propensas a se inscrever em cursos de Ciência da Computação, o chatbot [...] pode recomendar cursos de humanidades em vez de cursos de ciência da computação para estudantes do sexo feminino com base nas tendências anteriores.
Tang e Su (2024, p. 31).	Viés do algoritmo (transparência)	[...] as decisões educacionais tomadas por modelos preditivos de IA baseados em algoritmos levam a preconceitos e discriminação, mas não estão claros quais recursos e atributos algorítmicos são necessários para reduzir esse preconceito de dados.
Solyst et al. (2023, p. 16).	Viés do algoritmo (mitigação de danos)	Os participantes também acreditavam que, na maioria dos casos, os criadores da tecnologia (por exemplo, as empresas) eram responsáveis por corrigi-la, especialmente em cenários de maior dano. Para cenários mais sutis, eles acreditavam que os usuários também tinham a capacidade de contornar o comportamento problemático da IA.
Bird, Castleman e Song (2024, p. 21).	Viés do algoritmo (análise preditiva –desigualdade)	A análise preditiva tem o potencial de melhorar a capacidade das instituições de direcionar estes recursos para os estudantes que mais necessitam de assistência, mas, como mostram as nossas análises, o viés algorítmico pode fazer com que estudantes negros em risco recebam menos apoio do que estudantes brancos semelhantes.
Ito-Jaeger et al. (2023, p. 2).	Preconceito algorítmico (coparticipação dos interessados)	As questões relacionadas com a proteção de dados, segurança online e preconceitos algorítmicos são questões muito complexas e, portanto, as partes interessadas devem estar ativamente envolvidas nas discussões.
Sanusi et al. (2023, p. 7).	Preconceito algorítmico (treinamento de dados)	A resposta dos alunos sugere a sua compreensão do preconceito do algoritmo, na medida em que reconhecem que o preconceito pode surgir de decisões relacionadas com a forma como os dados são recolhidos e selecionados para treinar o algoritmo.
Dakakni e Safa (2023, p. 3).	Viés do algoritmo (ética e manipulação da informação)	[...] isto levanta uma questão ética relativa à manipulação e disseminação de algoritmos por poderosos senhores da tecnologia [...] e podem decidir quais algoritmos lançar, para quem, quando e onde apenas com um clique de um botão.

[1] Fonte: Autoria própria.

AS DUALIDADES ENTRE O USO DA INTELIGÊNCIA ARTIFICIAL NA EDUCAÇÃO E OS RISCOS DE VIESES ALGORÍTMICOS

THE DUALITIES BETWEEN THE USE OF ARTIFICIAL INTELLIGENCE IN EDUCATION AND THE RISKS OF ALGORITHMIC BIASES

LAS DUALIDADES ENTRE EL USO DE LA INTELIGENCIA ARTIFICIAL EN EDUCACIÓN Y LOS RIESGOS DE SESGOS ALGORÍTMICOS