Aprendizagem baseada em problemas: feedbacks correlatos a níveis de conhecimento

RESUMO

Introdução:   Aprendizagem baseada em problemas (ABP) é uma abordagem educacional que promove a aprendizagem ativa e reflexiva ao envolver os estudantes na resolução significativa de problemas. O aprimoramento da performance dos estudantes depende do fornecimento de feedback objetivo e eficaz, apoiado por descritores de desempenho bem definidos.

Objetivo:  Este estudo teve como objetivo validar um instrumento que fosse capaz de qualificar a performance e concomitantemente prover um feedback correlato a essa avaliação.

Método:   Para validação do instrumento de avaliação, utilizou-se o método Q-sort. O processo de validação foi realizado em quatro fases: 1. avaliação por dez juízes da correlação entre domínios de avaliação e feedbacks correlatos; 2. identificação de outlier na classificação dada pelos juízes; 3. análise do índice de concordância dos juízes na relação entre domínios e feedbacks, e necessidade de adaptações por meio do índice kappa; 4. submissão dos domínios e feedbacks para nova avaliação dos juízes.

Resultado:   Os domínios propostos e seus feedbacks correlatos foram validados pelo método Q-sort com coeficiente kappa de Fleiss igual a 1,0 indicando uma concordância perfeita entre os juízes.

Conclusão:   O instrumento validado fornece um meio confiável a ser utilizado nas avaliações de desempenho do estudante de Medicina, além de proporcionar feedbacks correlatos que podem auxiliar o tutor na entrega de feedbacks mais efetivos, aprimorando assim o processo educacional em ambientes de ABP.

Palavras-chave:
Feedback Formativo; Aprendizagem Baseada em Problemas; Avaliação Educacional; Desempenho Acadêmico

ABSTRACT

Introduction:   Problem-Based Learning (PBL) is an educational approach that fosters active and reflective learning by engaging students in meaningful problem-solving. Enhancing student performance relies on providing objective and effective feedback, supported by well-defined performance descriptors. This study aimed to validate an instrument capable of qualifying student performance while simultaneously providing feedback correlated with this assessment.

Methods:   The Q-sort method was used to validate the assessment instrument in four phases: (1) evaluation by ten judges of the correlation between assessment domains and their corresponding feedback; (2) identification of outliers in the classifications given by the judges; (3) analysis of the judges’ agreement index regarding the relationship between domains and feedback, and the need for adaptations using the Kappa Index; (4) submission of the domains and feedback for a new evaluation by the judges.

Results:  The proposed domains and their correlated feedback were validated using the Q-sort method, with a Fleiss’ Kappa coefficient of 1.0, indicating perfect agreement among the judges.

Conclusion:  The validated instrument provides a reliable tool for assessing medical students’ performance while offering correlated feedback that can assist tutors in delivering more effective feedback, thereby enhancing the educational process in PBL environments.

Keywords:
Formative Feedback; Problem-Based Learning; Educational assessment; Academic Performances

INTRODUÇÃO

A aprendizagem baseada em problemas (ABP) tem sido reconhecida como uma abordagem educacional eficaz que promove a aprendizagem ativa e reflexiva¹, e incentiva os estudantes a se envolver na resolução de problemas, de modo a estimularr o pensamento crítico, a colaboração e a autoaprendizagem². Nessa metodologia, os estudantes têm a oportunidade de explorar conceitos complexos de forma significativa e contextualizada³.

A eficácia do método, contudo, não depende apenas da resolução dos problemas, mas também da objetividade e da eficácia dos feedbacks fornecidos aos estudantes, que auxiliam na elaboração de estratégias de aprendizagem⁴. A condição subjacente para que um feedback seja realmente efetivo é a sua correlação com a necessidade do estudante. Para a adequada identificação dos pontos fortes e dos pontos a serem melhorados, é necessário que os descritores capazes de aferir o desempenho dos estudantes sejam bem fundamentados⁵. Instrumentos qualitativos de avaliação podem fundamentar percepções abrangentes sobre as habilidades, as atitudes, a compreensão conceitual e a capacidade de resolução de problemas⁶.

Embora a literatura traga descrições em relação às habilidades e atitudes, há uma escassez de instrumentos eficazes voltados para a mensuração objetiva do conhecimento demonstrado pelos estudantes, restringindo a elaboração de feedbacks efetivos em relação a esse aspecto. Nesse contexto, propõe-se a criação de um instrumento que mensure de forma objetiva o conhecimento apresentado, correlacionando feedbacks que possam efetivamente melhorar a performance dos estudantes.

Para a criação dos descritores dos níveis de conhecimento, optou-se pela utilização da Taxonomia de Bloom. Originalmente desenvolvida por Benjamin S. Bloom e seus colaboradores na década de 1950 e modificada por Krathwohl et al.⁷, a Taxonomia de Bloom é um sistema organizacional amplamente utilizado para categorizar o aprendizado em atividades de ensino e avaliação. Para a criação dos feedbacks, pesquisaram-se, nos bancos de dados PubMed e Medline, estratégias que comprovadamente melhoram o desempenho dos estudantes universitários.

Constatamos que os instrumentos de avaliação propostos devem passar por validação científica para assegurar sua confiabilidade⁸ e a busca por resultados consistentes⁹. Este estudo teve como objetivo validar o instrumento proposto, buscando auxiliar tutores de ABP a fornecer feedbacks individualizados e efetivos.

MÉTODO

O estudo foi conduzido no curso de Medicina de uma universidade privada localizada no interior do Estado de São Paulo. A referida instituição de ensino superior (IES) tem 14 anos de experiência em metodologias ativas, sendo a ABP utilizada desde o início do curso como principal metodologia para condução das sessões tutoriais. Para a coleta de dados presencial, utilizou-se a sala de reuniões, localizada dentro da sala dos professores. Três pesquisadores foram responsáveis pelo fornecimento do instrumento de coleta de dados aos participantes, com um tempo estimado de 30 minutos para a conclusão.

Adotou-se o método Q-sort que se baseia na percepção de juízes que possuem conhecimento dos domínios explorados no trabalho, de forma a oferecer um feedback sistematizado sobre as escalas de medição selecionadas. A concordância entre os juízes atesta a validade substantiva^10),(11, ou seja, essa concordância é a evidência de que os feedbacks são correlatos aos domínios avaliados no processo de ABP, foco deste projeto.

O processo de avaliação do conteúdo contempla quatro fases. Primeiramente, dez juízes são orientados a indicar o feedback que melhor corresponde a cada domínio do modelo de avaliação de aprendizagem. A segunda etapa consiste em avaliar o resultado da classificação dada pelos juízes. A terceira etapa destina-se a analisar as discordâncias apontadas pelos juízes, promovendo, se necessário, o refinamento dos feedbacks ambíguos. Na quarta etapa, submetem-se os feedbacks a uma nova avaliação dos juízes para verificar se houve clareza nas adaptações realizadas¹². A utilização de múltiplos juízes e múltiplas análises é uma recomendação para aumentar a confiabilidade do processo de desenvolvimento de escalas¹³.

Quanto maior for a concordância dos juízes em relação ao domínio e ao seu correspondente feedback, maior será a validade convergente do modelo de avaliação de aprendizagem¹².

Com base no método Q-sort, elaborou-se um questionário para a validação do instrumento de avaliação. Dez juízes foram orientados a ler cuidadosamente os feedbacks que temos adotado para avaliação de ABP e, em seguida, ler os domínios (linhas) que seguem no questionário. A próxima etapa consistiu em indicar o feedback correlato que aparece como opção de resposta (colunas) aos domínios apresentados. Os domínios foram apresentados no questionário de forma aleatória, desconsiderando a ordem de complexidade.

• Desconhecimento do conteúdo: -

  • Feedback: Identificar as causas do desconhecimento: avaliar falta de motivação¹⁴, número de faltas¹⁵, bem como vulnerabilidades socioeconômicas¹⁶, vocacionais¹⁷ ou emocionais¹⁸ e dificuldade de relacionamento com os pares¹⁹. Incentivar a obtenção de assistência adicional: recorrer a aulas extras, bibliografias adicionais e auxílio de pares com altos índices de proficiência²⁰; buscar suporte psicopedagógico²¹.

• Conhecimento muito limitado, incapacidade de identificar os conceitos pertinentes ao conteúdo: -

  • Feedback: Identificar as causas da escassez de conhecimento: avaliar as ineficiências dos hábitos de estudo, como falta de dedicação¹⁴, de comprometimento, de estratégias de aprendizagem e do gerenciamento do tempo. Incentivar formas de corrigir ineficiências: refletir sobre atividades que prejudiquem a aprendizagem, como excesso de compromissos desconectados da formação curricular e o uso excessivo de redes sociais²². Considerar a obtenção de assistência adicional.

• Conhecimento limitado, apresenta erros conceituais relevantes: -

  • Feedback: Revisar as literaturas que fundamentam as bases conceituais, o que deve ser seguido de um novo estudo dos conceitos. Complementar o estudo com outras bibliografias básicas recomendadas²⁰. Considerar a obtenção de assistência adicional.

• Conhecimento limitado, apresenta erros conceituais ocasionais: -

  • Feedback: Estudar novamente os conceitos, corrigindo as imprecisões. Avaliar se os erros conceituais ocasionais resultam de falhas no estudo do conteúdo atual ou de conteúdos anteriores que fundamentam o conhecimento presente. Complementar o estudo com outras bibliografias básicas recomendadas²⁰.

• Conhecimento básico, porém com lacunas ou imprecisões: -

  • Feedback: Revisar o conteúdo, identificando a origens das lacunas e imprecisões. Complementar o estudo com outras bibliografias básicas recomendadas²⁰. Responder às questões de múltipla escolha de nível básico. Considerar a participação em grupos de estudo para discutir o conteúdo²³.

• Conhecimento básico do conteúdo, porém sem estabelecer correlações: -

  • Feedback: Aprender a estabelecer correlações entre os conceitos por meio da criação de mapas mentais, mapas conceituais ou esquemas ilustrativos²⁴. Responder às questões de múltiplas escolhas de nível intermediário. Participar de grupos de estudo para aprofundar as correlações do conteúdo.

• Domínio do conteúdo suficiente para estabelecer correlações pontuais com limitada capacidade de aplicação: -

  • Feedback: Integrar novos conhecimentos de forma crítica e correlacionada ao conhecimento prévio: explorar bibliografias complementares sugeridas²⁰, responder às questões de múltiplas escolhas de nível avançado. Elaborar novos mapas/esquemas integrando os novos conhecimentos pode auxiliar a visualizar correlações inicialmente menos perceptíveis²⁴.

• Domínio do conteúdo suficiente para estabelecer correlações complexas, com capacidade de aplicação em contextos específicos: -

  • Feedback: Tornar-se um facilitador para o processo de ensino-aprendizagem dos pares, ato que comprovadamente melhora a performance de ambos²⁰. Criar questões para os pares pode levar a novas perspectivas para aperfeiçoar o conhecimento²⁵. Explorar bibliografias complementares sugeridas²⁰.

• Domínio praticamente completo do conteúdo, com habilidade de estabelecer correlações complexas e capacidade de aplicação em contextos diversos: -

  • Feedback: Estimular o estudante a identificar e compartilhar as estratégias de aprendizagem que o levaram a um notável desempenho. Considerar a possibilidade de replicá-las para outras oportunidades de aprendizagem, realizar a leitura de artigos e estimular a iniciação científica.

• Domínio completo do conteúdo, com habilidade de estabelecer correlações complexas e capacidade de aplicação em contextos diversos: -

  • Feedback: Estimular o estudante a identificar as motivações, os pontos fortes e as estratégias de aprendizagem que o levaram à excelência no desempenho. Considerar a possibilidade de replicá-las para outras oportunidades de aprendizagem, compartilhá-las com os pares, realizar a leitura de artigos e estimular a iniciação científica.

O presente estudo foi aprovado pelo Comitê de Ética em Pesquisa da Universidade onde o estudo foi realizado, em atendimento à Resolução nº 466/2012 do Conselho Nacional de Saúde: CAAE nº 79446624.0.0000.5495.

Para a validação do instrumento de mensuração objetiva do conhecimento e dos feedbacks correlatos, foram solicitadas as assinaturas dos Termos de Consentimento Livre e Esclarecido (TCLE) pelos juízes que participaram dessa etapa do estudo.

Análise dos dados

Inicialmente, aferiu-se a convergência das respostas dos juízes, visando identificar algum possível outlier que pudesse ser excluído do processo. Como referência para a confrontação juiz versus juiz, adotaram-se valores superiores a 65%¹², entretanto a literatura também considera aceitáveis índices acima de 55%²⁶.

A segunda análise correspondeu ao índice de concordância dos avaliadores na relação entre domínio e feedback. Objetivou-se com isso obter o índice de convergência do modelo de aprendizagem, que, embora menos rigoroso que o kappa de Cohen²⁷, representa um elemento indicativo de possíveis problemas com os feedbacks elaborados.

A terceira análise correspondeu à obtenção do índice de confiabilidade da classificação dos juízes, mensurado por meio do índice kappa²⁷, sendo a medida de confiabilidade mais utilizada pela literatura científica para a validação de conteúdo dos itens do modelo de avaliação¹³. O índice kappa afere o grau de concordância entre juízes, em que um valor de kappa igual a 1 indica concordância perfeita entre juízes em todos os casos, e um valor de 0 indica nenhum acordo além do esperado pelo acaso^13),(28.

A fórmula correspondente ao coeficiente kappa é apresentada na Figura 1.

Figura 1
Fórmula do coeficiente de kappa.

A Tabela 1 apresenta os índices recomendáveis para o kappa, conforme indicado na literatura de Landis et al.²⁶.

Tabela 1
Nível aceitável de concordância entre os avaliadores no índice de kappa.

Valor de kappa	Interpretação
< 0	Não concordável
0,0-0,20	Pouco concordável
0,21-0,40	Mediano
0,41-0,60	Moderado
0,61-0,80	Substancialmente concordável
0,81-1,00	Perfeitamente concordável

• Fonte: Landis et al.²⁶.

Para a validação de instrumentos de avaliação, aceitam-se, de forma prioritária, coeficientes perfeitamente concordáveis.

Os avaliadores (juízes) deveriam ser profissionais graduados na área da saúde, atuando como tutores em curso de Medicina (credenciado pelo Ministério da Educação), que utilizasse a metodologia ABP nas sessões tutoriais. Foram excluídos avaliadores com menos de quatro anos de experiência como tutor.

RESULTADOS

Dos dez juízes, nove conseguiram relacionar pelo menos 100% dos domínios com seus respectivos feedbacks. A literatura sugere que o nível de acerto deve ser superior a 65%.

Dessa forma, o juiz 03 foi excluído da amostra por não atingir o nível de acerto mínimo e por possuir baixa correlação média com os demais juízes.

Tabela 2
Percentual de acerto dos juízes na combinação domínio/feedback.

	D01	D02	D03	Acerto
Juiz01	1	1	1	100%
Juiz02	1	1	1	100%
Juiz03	1	0	0	33%
Juiz04	1	1	1	100%
Juiz05	1	1	1	100%
Juiz06	1	1	1	100%
Juiz07	1	1	1	100%
Juiz08	1	1	1	100%
Juiz09	1	1	1	100%
Juiz10	1	1	1	100%
Acerto	100%	90%	90%

• Fonte: Elaborada pelos autores.

Em seguida apresenta-se o percentual de acerto considerando a exclusão do juiz 03.

Tabela 3
Percentual de acerto da combinação domínio/feedback após a exclusão do juiz 03.

	D01	D02	D03	Acerto
Juiz01	3	2	1	100%
Juiz02	3	2	1	100%
Juiz04	3	2	1	100%
Juiz05	3	2	1	100%
Juiz06	3	2	1	100%
Juiz07	3	2	1	100%
Juiz08	3	2	1	100%
Juiz09	3	2	1	100%
Juiz10	3	2	1	100%
Acerto	100%	100%	100%

• Fonte: Elaborada pelos autores.

Em relação aos domínios e feedbacks, todos os domínios foram associados corretamente com os respectivos feedbacks.

Coeficiente kappa de Fleiss

O coeficiente kappa de Fleiss, calculado pela média dos kappas entre os pares de juízes, é igual a 1,00. Isso significa que o instrumento possui concordância muito boa. A literatura sugere que esse coeficiente seja superior a 0,80 (concordância muito boa ou perfeitamente concordável).

DISCUSSÃO

A ABP, adequada para o ensino superior, destaca a promoção de habilidades sociais, a resolução de problemas e a aprendizagem². Contudo, as discussões dinâmicas com múltiplas perspectivas concomitantes apresentam grande desafio no momento do feedback, composto pela qualificação do conhecimento, das habilidades e das competências dos estudantes, bem como na elaboração de estratégias para o aprimoramento acadêmico¹.

Com relação aos tutores, constatam-se dificuldades de padronização, estruturação e entrega de feedbacks efetivos. Verifica-se ainda que eles têm dificuldade de encontrar formas que despertem o interesse dos estudantes²⁹. Na percepção dos estudantes, um baixo percentual considera ser avaliado de forma justa pelos seus tutores, e apenas a metade avalia o feedback como proveitoso e benéfico para melhoria de seu desempenho³⁰.

Embora sejam encontradas na literatura descrições sobre o desempenho de estudantes nos itens habilidades e atitudes, constatamos a escassez de instrumentos de avaliação eficazes que envolvam a mensuração objetiva do conhecimento apresentado pelo discente. Consequentemente, constatamos também a falta de correlação das estratégias de feedback com o grau de conhecimento apresentado.

Um feedback correlato a uma mensuração objetiva de desempenho permite que se elenquem metas e objetivos que envolvam desafios desejáveis. Desafios desejáveis ​​são assim designados porque responder a eles (com sucesso) envolve processos que apoiam a aprendizagem, a compreensão e a lembrança. Contudo, se o estudante não estiver preparado para responder aos desafios com êxito, eles se tornarão indesejáveis³¹.

Nesse contexto, a utilização da Taxonomia de Bloom modificada traz objetividade na aferição dos domínios do conhecimento apresentado pelos estudantes e permite correlacionar de forma adequada os feedbacks que subsidiem a melhora de performance.

Processos formativos que promovam reflexões contínuas permitem aos estudantes se apropriar das ferramentas de monitoramento e desenvolvimento educacional. O objetivo esperado é que os estudantes sejam coautores e busquem o protagonismo de seu processo educacional⁴.

CONCLUSÃO

No presente estudo, evidenciou-se que os domínios do item conhecimento apresentados, bem como seus feedbacks correlatos, foram validados pelo método Q-sort com coeficiente kappa de Fleiss igual a 1,0 (perfeitamente concordável), o que o torna um instrumento confiável para ser utilizado nas avaliações das sessões tutoriais.

REFERÊNCIAS

• ¹ Baden MS, Major CH. Foundations of problem based learning. New York: Open University Press; 2024. 216 p.
• ² Trullàs JC, Blay C, Sarri E, Pujol R. Effectiveness of problem-based learning methodology in undergraduate medical education: a scoping review. BMC Med Educ. 2022;22(104):2-12. doi: https://doi.org/10.1186/s12909-022-03154-8.
  » https://doi.org/https://doi.org/10.1186/s12909-022-03154-8
• ³ Hmelo-Silver CE. Problem-based learning: what and how do students learn? Educ Psychol Rev. 2004;16:235-66.
• ⁴ Nicol DJ, Macfarlane-Dick D. Formative assessment and self-regulated learning: a model and seven principles of good feedback practice. Stud High Educ. 2006;31(2):199-218. doi: https://doi.org/10.1080/03075070600572090.
  » https://doi.org/https://doi.org/10.1080/03075070600572090
• ⁵ Hattie J, Timperley H. The power of feedback. Rev Educ Res. 2007;77(1):81-112. doi: https://doi.org/10.3102/003465430298487.
  » https://doi.org/https://doi.org/10.3102/003465430298487
• ⁶ Torrance H, Pryor J. Investigating formative assessment. In: Torrance H, Pryor J. Teaching, learning and assessment in the classroom. Philadelphia: Open University Press; 1998. p. 8.
• ⁷ Krathwohl DR, Anderson LW. A taxonomy for learning, teaching, and assessing: a revision of Bloom’s taxonomy of educational objectives. New York: Longman; 2001. 352 p.
• ⁸ Brookhart SM. Educational assessment knowledge and skills for teachers. Educ Meas Issues Pract. 2011;30(1):3-12. doi: https://doi.org/10.1111/j.1745-3992.2010.00195.x.
  » https://doi.org/https://doi.org/10.1111/j.1745-3992.2010.00195.x
• ⁹ Pelligrino J, Chudowsky N, Glaser R. Knowing what students know: the science and design of educational assessment. Washington, DC: National Academy Press; 2001. 366 p.
• ¹⁰ Anderson JC, Gerbing DW. Predicting the performance of measures in a confirmatory factor analysis with a pretest assessment of their substantive validities. J Appl Psychol. 1991;76(5):732-40. doi: https://doi.org/10.1037/0021-9010.76.5.732.
  » https://doi.org/https://doi.org/10.1037/0021-9010.76.5.732
• ¹¹ Ahmed MU, Kristal MM, Pagell M, Gattiker TF. Towards a classification of supply chain relationships: a routine-based perspective. Supply Chain Manag An Int J. 2017;22(4):341-74. doi: https://doi.org/10.1108/SCM-04-2017-0142.
  » https://doi.org/https://doi.org/10.1108/SCM-04-2017-0142
• ¹² Moore GC, Benbasat I. Development of an instrument to measure the perceptions of adopting an information technology innovation. Inf Syst Res. 1991;2(3):173-91. doi: https://doi.org/10.1287/isre.2.3.192.
  » https://doi.org/https://doi.org/10.1287/isre.2.3.192
• ¹³ Perreault WD, Leigh LE. Reliability of nominal data based on qualitative judgments. J Mark Res. 1989;26(2):135-48. doi: https://doi.org/10.1177/002224378902600201.
  » https://doi.org/https://doi.org/10.1177/002224378902600201
• ¹⁴ Bonsaksen T, Brown T, Lim HB, Fong K. Approaches to studying predict academic performance in undergraduate occupational therapy students: a cross-cultural study. BMC Med Educ . 2017;17:1-9. doi: https://doi.org/10.1186/s12909-017-0914-3.
  » https://doi.org/https://doi.org/10.1186/s12909-017-0914-3
• ¹⁵ Kauffman CA, Derazin M, Asmar A, Kibble JD. Relationship between classroom attendance and examination performance in a second-year medical pathophysiology class. Adv Physiol Educ. 2018;42(4):593-8. doi: https://doi.org/10.1152/advan.00123.2018.
  » https://doi.org/https://doi.org/10.1152/advan.00123.2018
• ¹⁶ Salvage-Jones J, Hamill J, Todorovic M, Barton MJ, Johnston AN. Developing and evaluating effective bioscience learning activities for nursing students. Nurse Educ Pract. 2016;19:63-9. doi: https://doi.org/10.1016/j.nepr.2016.05.005.
  » https://doi.org/https://doi.org/10.1016/j.nepr.2016.05.005
• ¹⁷ Trimble M. Vocation in medicine. Ulster Med J. 2022;91(2):65-6.
• ¹⁸ Frazier P, Gabriel A, Merians A, Lust K. Understanding stress as an impediment to academic performance. J Am Coll Health. 2019;67(6):562-70. doi: https://doi.org/10.1080/07448481.2018.1499649.
  » https://doi.org/https://doi.org/10.1080/07448481.2018.1499649
• ¹⁹ Zeng Y, Zhang J, Wei J, Li S. The impact of undergraduates’ social isolation on smartphone addiction: the roles of academic anxiety and social media use. Int J Environ Res Public Health. 2022;19(23):15903. doi: https://doi.org/10.3390/ijerph192315903.
  » https://doi.org/https://doi.org/10.3390/ijerph192315903
• ²⁰ Benè KL, Bergus G. When learners become teachers: a review of peer teaching in medical student education. Fam Med. 2014;46(10):783-7.
• ²¹ Church HR, Rumbold JL, Sandars J. Applying sport psychology to improve clinical performance. Med Teach. 2017;39(12):1205-13. doi: https://doi.org/10.1080/0142159X.2017.1359523.
  » https://doi.org/https://doi.org/10.1080/0142159X.2017.1359523
• ²² Bickerdike A, O’Deasmhunaigh C, O’Flynn S, O’Tuathaigh C. Learning strategies, study habits and social networking activity of undergraduate medical students. Int J Med Educ. 2016;17(7):230-6. doi: https://doi.org/10.5116/ijme.576f.d074.
  » https://doi.org/https://doi.org/10.5116/ijme.576f.d074
• ²³ Keren D, Lockyer J, Ellaway RH. Social studying and learning among medical students: a scoping review. Perspect Med Educ. 2017;6(5):311-8. doi: https://doi.org/10.1007/s40037-017-0358-9.
  » https://doi.org/https://doi.org/10.1007/s40037-017-0358-9
• ²⁴ Choudhari SG, Gaidhane AM, Desai P, Srivastava T, Mishra V, Zahiruddin SQ. Applying visual mapping techniques to promote learning in community-based medical education activities. BMC Med Educ . 2021;21:210. doi: https://doi.org/10.1186/s12909-021-02646-3.
  » https://doi.org/https://doi.org/10.1186/s12909-021-02646-3
• ²⁵ Touissi Y, Hjiej G, Hajjioui A, Ibrahimi A, Fourtassi M. Does developing multiple-choice questions improve medical students’ learning? A systematic review. Med Educ Online. 2022;27(1):2005505. doi: https://doi.org/10.1080/10872981.2021.2005505.
  » https://doi.org/https://doi.org/10.1080/10872981.2021.2005505
• ²⁶ Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics. 1977;33(1):159-74.
• ²⁷ Cohen J. A coefficient of agreement for nominal scales. Educ Psychol Meas. 1960;20(1):37-46. doi: https://doi.org/10.1177/001316446002000104.
  » https://doi.org/https://doi.org/10.1177/001316446002000104
• ²⁸ Fleiss JL, Levin B, Paik MC. Statistical methods for rates and proportions. 3rd ed. New Jersey: John Wiley & Sons; 2013. 800 p.
• ²⁹ Fine P, Leung A, Tonni I, Louca C. Dental teacher feedback and student learning: a qualitative study. Dent J (Basel). 2023;11(7):164. doi: https://doi.org/10.3390/dj11070164.
  » https://doi.org/https://doi.org/10.3390/dj11070164
• ³⁰ Al-Drees AA, Khalil MS, Irshad M, Abdulghani HM. Students’ perception towards the problem based learning tutorial session in a system-based hybrid curriculum. Saudi Med J. 2015;36(3):341-8. doi: https://doi.org/10.15537/smj.2015.3.10216.
  » https://doi.org/https://doi.org/10.15537/smj.2015.3.10216
• ³¹ Bjork RA, Bjork EL. Forgetting as the friend of learning: implications for teaching and self-regulated learning. Adv Physiol Educ . 2019;43(2):164-7. doi: https://doi.org/10.1152/advan.00001.2019.
  » https://doi.org/https://doi.org/10.1152/advan.00001.2019

• 3
  Avaliado pelo processo de double blind review.
• FINANCIAMENTO
  Declaramos não haver financiamento.

Editado por

• Editora-chefe:
  Rosiane Viana Zuza Diniz.

• Editor associado:
  Mario Luis Cesaretti.

Datas de Publicação

• Publicação nesta coleção
  07 Jul 2025
• Data do Fascículo
  2025

Histórico

• Recebido
  24 Fev 2025
• Aceito
  20 Maio 2025