Competência em medicina baseada em evidências de uma universidade pública: influência do período de graduaçãoRESUMO
Introdução: A medicina baseada em evidências (MBE) surgiu na década de 1990 para sistematizar a tomada de decisão clínica com base na pesquisa científica. Em meio à exuberância de informações, a MBE passou a fundamentar as decisões médicas em evidências sólidas. Embora tenha transformado a prática clínica ao adotar um enfoque objetivo e sistemático, ela foi criticada por desconsiderar aspectos subjetivos da experiência do paciente. A introdução da decisão compartilhada, formalizada em 2001, integra as preferências e os valores do paciente ao processo decisório sem perder a objetividade, promovendo uma abordagem mais holística e colaborativa. A incorporação da MBE nos currículos médicos permanece um desafio, muitas vezes abordada de maneira fragmentada. Dessa forma, mensurar a competência em MBE é fundamental para identificar lacunas no ensino e aperfeiçoar as intervenções curriculares.
Objetivo: Este estudo tem como objetivos avaliar a competência em MBE entre os estudantes da Faculdade de Medicina da Universidade Federal de Juiz de Fora (UFJF) e identificar os fatores associados ao desempenho.
Método: Foi conduzido um estudo transversal com 767 alunos da UFJF, do primeiro ao nono período. Os alunos foram avaliados com o teste de Fresno, que mede habilidades em MBE. Analisaram-se as seguintes variáveis: período da graduação, experiência em pesquisa, cursos extracurriculares sobre MBE e perfil socioeconômico. Realizaram-se a análise descritiva dos dados e a comparação pelos testes de Mann-Whitney e Kruskal-Wallis.
Resultado: Participaram 519 alunos, com a pontuação no teste de Fresno variando de 0 a 151, com medianas diferentes entre ciclos (ciclo básico: Md = 25, ciclo clínico: Md = 59, internato: Md = 48). O desempenho melhorou ao longo do curso, mas caiu ligeiramente no internato. Cursos extracurriculares e experiência prévia em pesquisa foram associados a melhor desempenho.
Conclusão: O estudo mostra evolução na competência em MBE ao longo da graduação, com uma leve queda nos últimos anos. Intervenções externas, como cursos de MBE, melhoram significativamente o desempenho dos alunos. São necessários mais estudos para explorar novas ferramentas de avaliação e expandir a pesquisa.
Palavras-chave:
Medicina Baseada em Evidências; Competência Profissional; Faculdades de Medicina; Educação Médica; Desempenho Acadêmico
ABSTRACT
Introduction: Evidence-Based Medicine (EBM) emerged in the 1990s to address the need for systematic clinical decision-making based on scientific research. In an era marked by an overload of information, EBM aimed to ensure that medical decisions are grounded in high-quality evidence. Although EBM has transformed clinical practice by introducing an objective and systematic approach, it has faced criticism for its tendency to undervalue the subjective aspects of the patient’s experience with illness. The integration of shared decision-making, formalized in 2001, seeks to incorporate patient preferences and values into the decision-making process without compromising the objective nature of EBM. This concept has gained prominence, promoting a more holistic and collaborative approach in medical practice. The incorporation of EBM into medical curricula remains a continuous challenge, often uncoordinated and addressed in a fragmented manner. Measuring competence in EBM is therefore crucial to identifying educational gaps and improving curricular interventions.
Objective: This study aims to assess competence in Evidence-Based Medicine among students at the Federal University of Juiz de Fora (UFJF) and identify factors associated with performance.
Method: A cross-sectional study was conducted with 767 UFJF students from the 1st to 9th semesters. Students were evaluated using the Fresno Test, which measures EBM skills. Variables such as academic semester, research experience, extracurricular EBM courses, and socioeconomic profile were analyzed. A descriptive data analysis was performed, along with comparisons using the Mann-Whitney and Kruskal-Wallis tests.
Results: 519 students participated, with Fresno Test scores ranging from 0 to 151, showing different medians across cycles (basic cycle: Md = 25, clinical cycle: Md = 59, clerkship: Md = 48). Performance improved throughout the course but slightly declined at the clerkship stage. Extracurricular courses and previous research experience were associated with better performance.
Conclusion: The study indicates improved competence in EBM over the course, with a slight decline in the final years. External interventions, such as EBM courses, significantly enhance student performance. Further research is needed to explore new assessment tools and expand the study.
Keywords:
Evidence-Based Medicine; Professional Competence; Medical School; Medical Education; Academic Performance
INTRODUÇÃO
A medicina baseada em evidências (MBE) surge na década de 1990, em um contexto de racionalização e sistematização da tomada de decisão clínica, adotando como referência a pesquisa científica em um tempo em que havia grande volume de informação gerada e apenas uma parcela poderia, de fato, ser considerada de qualidade. Por isso, a MBE constitui-se de uma série de habilidades e ferramentas que o profissional deve utilizar em sua prática para garantir que o paciente tenha acesso às melhores opções terapêuticas indicadas segundo as evidências atuais1.
O advento da MBE tornou a decisão clínica algo objetivo e assertivo, porém alvo de críticas às suas limitações. O principal problema apontado é a subvalorização de aspectos subjetivos da relação do paciente com o adoecimento, igualmente importantes para a tomada de decisão clínica2. Apesar dessas críticas, o movimento da MBE tem cada vez mais agregado à sua prática a ideia da decisão compartilhada, conceito introduzido formalmente em 2001 e que é hoje amplamente disseminado, em especial no que se refere a direitos do paciente3. Como uma forma de incluir o paciente nas escolhas sobre sua própria saúde, a decisão compartilhada visa otimizar os tratamentos de forma que as partes entrem em acordo sobre que opção terapêutica será mais conveniente, adequada e eficaz4. A decisão compartilhada, portanto, não limita nem exclui o valor da MBE, mas evidencia novas perspectivas sobre a decisão clínica, não a atribuindo apenas à objetividade do profissional, mas à vontade do próprio paciente.
Com sua ampliação e o gradual ganho de influência, a MBE atualmente supera a tomada de decisão no âmbito individual, na medida em que a sistematização possibilita seu uso em guidelines, em políticas públicas e na garantia de um melhor padrão de cuidado5. A presença da MBE em múltiplos contextos, desde o consultório até as políticas de saúde, torna seu conhecimento indispensável na graduação em Medicina, quando o estudante intensifica seu consumo de textos científicos e é introduzido à prática médica.
A inserção da MBE na grade curricular das universidades ainda é discutida por frequentemente não ser coordenada, com a introdução de assuntos relacionados à MBE em diferentes períodos da graduação de forma diluída. Dadas as particularidades de cada universidade e a falta de informações na literatura acerca de intervenções possíveis, ainda não se pode estabelecer para os gestores dos cursos um padrão de implementação da MBE no currículo, sendo necessário em cada lugar reconhecer as próprias lacunas no ensino. Portanto, a mensuração desse conhecimento mostra-se fundamental para determinar intervenções curriculares que tornem mais eficiente a sedimentação desses conhecimentos ao longo da formação médica6.
O presente estudo tem como objetivo avaliar a competência em MBE entre os estudantes da Faculdade de Medicina da Universidade Federal de Juiz de Fora (UFJF) e os fatores associados a esse desempenho.
MÉTODO
Desenho
O presente estudo é transversal, analítico e por censo. Os alunos foram submetidos ao teste de Fresno, e avaliou-se, separadamente e de forma presencial, cada período do curso após as aulas que reúnem o maior contingente de discentes matriculados. Corrigiram-se os testes, e analisaram-se as notas em conjunto com as variáveis coletadas.
População
A população-alvo do estudo foram todos os 767 alunos de graduação regularmente matriculados no curso de Medicina da UFJF, de abril a julho de 2023, do primeiro ao nono período. Excluíram-se os alunos matriculados nos demais períodos do internato por causa da dificuldade de reuni-los presencialmente.
Variáveis
Coletaram-se as seguintes variáveis independentes: período da graduação em curso o qual foi relacionado ao ciclo de formação (do primeiro ao quarto ciclo básico, do quinto ao oitavo ciclo clínico e do nono ciclo ao internato), experiência prévia em produção científica, realização de cursos extracurriculares sobre MBE (ambas no formato dicotômico, sim ou não), interesse e percepção sobre a importância da produção científica e sua aplicação prática (no formato de escala ordinal), e perfil socioeconômico (segundo a Associação Brasileira de Empresas de Pesquisa - Abep, 2022). A variável dependente foi a nota alcançada no teste de Fresno7),(8.
Instrumentos
Na pesquisa, adotaram-se os seguintes instrumentos:
-
Questionário de elaboração própria para coleta das variáveis independentes.
-
Questionário socioeconômico Critério de Classificação Econômica Brasil 2022 (CCEB) elaborado pela Abep. Esse instrumento conta com 15 questões relacionadas a bens, grau de instrução e acesso a serviços públicos no domicílio.
-
Teste de Fresno, originalmente elaborado e validado em 2003 na Universidade da Califórnia7 e validado no Brasil8. O teste avalia os três primeiros passos da MBE, ou seja, perguntar, pesquisar e avaliar criticamente, por meio de 12 perguntas abertas de resposta curta que envolvem cenários clínicos, pesquisa em base de dados, cálculos matemáticos e avaliação crítica e estatística de artigos científicos. As perguntas são pontuadas de acordo com o guia de correção7, e o resultado do teste é dado pela soma das pontuações com o máximo de 212.
Piloto
Realizou-se um teste-piloto prévio no início da coleta de dados. O grupo-piloto era composto de cinco alunos de Medicina da UFJF, do 12º período, no ano de 2022. Após a aplicação do teste-piloto, definiram-se o tempo médio para resolução do teste de 35 minutos e as dificuldades de interpretação relacionadas aos instrumentos de pesquisa.
Protocolo de aplicação
Selecionaram-se as disciplinas com o maior número de alunos matriculados por período para a aplicação dos questionários. Antes da aplicação, foi feita a análise dos respondentes a fim de evitar duplicidade de questionários respondidos. Os alunos foram convidados a participar e instruídos sobre o tempo de resposta dos questionários (aproximadamente 40 minutos), o caráter voluntário e anônimo da pesquisa, e a assinatura do TCLE. Além disso, foram sanadas as dúvidas dos participantes. Após a aplicação, os testes foram distribuídos igualmente entre os pesquisadores envolvidos e corrigidos com base no guia de correção de forma a diminuir o efeito da subjetividade sobre as notas.
Análise estatística
Armazenaram-se os dados em planilha do Excel, e a análise foi feita utilizando o programa SPSS 26.0. Realizada a análise exploratória do perfil socioeconômico e acadêmico dos estudantes, sua apresentação foi feita por meio de frequência absoluta (n) e percentual (%).
A pontuação do teste de Fresno foi submetida à análise de normalidade pelo teste de Kolmogorov-Smirnov. Admitida a distribuição não paramétrica dessa pontuação, as medianas foram comparadas pelos testes de Mann-Whitney e Kruskal-Wallis, segundo as variáveis independentes. Definiram-se o nível de significância (α) de 5% e o poder do teste de 80%.
RESULTADOS
Participaram da pesquisa 519 alunos do curso de Medicina da UFJF, valor que responde a cerca de 48% de todos os discentes da faculdade. Os respondentes cursavam, no momento da aplicação dos questionários, do primeiro ao nono período. O período com maior número de participantes foi o primeiro (15,6%), e o com o menor número, o nono (6,6%).
Em relação aos indicadores socioeconômicos, a maioria dos alunos que responderam à pesquisa se encontra na classe A (42,8%) e a menor parte está na classe C2 (3,8%). Nenhum respondente pertence às classes D e E. Dessa forma, apresentamos essa variável na análise bivariada em dois grupos: A ou B e C.
Quando perguntados a respeito da participação prévia em grupos e/ou projetos de pesquisa científica, 347 (66,9%) afirmaram nunca ter participado. A respeito da percepção da importância da MBE para a prática médica, 96% dos alunos atribuíram importância significativa
Apenas 9,1% dos alunos disseram já ter feito algum curso sobre MBE externo à faculdade.
A pontuação obtida no teste de Fresno variou de 0 a 151, uma mediana (Md) de 40. O intervalo interquartil (IIQ) encontrado foi de 41.
Os estudantes do ciclo básico, do primeiro ao quarto período, obtiveram Md de 25, com IIQ de 28. No ciclo clínico, do quinto ao oitavo período, os alunos obtiveram Md = 59 (IIQ = 41). No internato, representado no estudo apenas pelo nono período, houve o seguinte resultado: Md = 48 (IIQ = 25).
Conforme resultados apresentados por ciclo, o ciclo em que o aluno se encontra tem influência em sua pontuação no teste de Fresno quando se compararam os ciclos clínico e básico (p < 0,001) e o internato e o ciclo básico (p < 0,001), bem como ter realizado curso extracurricular de MBE (p = 0,012) ou ter experiência prévia com pesquisa científica (p < 0,001).
DISCUSSÃO
Observou-se um melhor desempenho no teste de Fresno relacionado ao fato de o discente
estar no ciclo clínico ou internato, à realização de curso de MBE e à experiência prévia em pesquisa científica. Além disso, nota-se uma baixa adesão daqueles no final da graduação, bem como certa homogeneidade socioeconômica.
A população de estudo foi composta em sua maioria de alunos do curso de Medicina da UFJF que integravam os grupos A ou B na classificação socioeconômica da Abep, sendo a maioria sem experiência prévia em pesquisa.
Na amostra, observam-se também disparidades em relação à maior adesão dos estudantes de períodos iniciais quando comparada à participação de alunos dos últimos anos do curso de Medicina da UFJF. Tal padrão também é visto em um estudo similar9 e pode estar relacionado à progressão na graduação e aos seus impactos na disponibilidade e disposição dos estudantes em participar de pesquisas após o primeiro ano na graduação, como já foi documentado10.
As principais variáveis analisadas no estudo foram os períodos dos estudantes de Medicina, do primeiro ao nono, agrupados em ciclos, básico, clínico e internato, e a influência disso na competência dos discentes em MBE. As medianas encontradas para os ciclos clínico e básico aproximam-se daquelas encontradas na validação brasileira do teste para estudantes que tiveram contato com MBE por meio da epidemiologia (Md = 55) e daqueles que não tiveram (Md = 18)8. Houve melhora estatisticamente significativa no desempenho dos alunos. Tal resultado é esperado porque, nessa fase da graduação, os alunos têm contato tanto com temas clínicos que são importantes para compreensão e contextualização das questões quanto com disciplinas sobre estatística e epidemiologia que fornecem a base teórica para grande parte das questões. No internato, representado neste estudo pelo nono período, a mediana foi de 48, corroborando os achados de outro estudo9 que também observou um discreto declínio, ainda que não estatisticamente significativo, na competência em MBE dos alunos nos últimos anos da graduação quando comparados com aqueles que se encontram na metade do curso. Esses resultados podem ser atribuídos à grade curricular com disciplinas relacionadas à MBE, como epidemiologia, métodos epidemiológicos e estatística, que são ministradas principalmente nos ciclos clínico e básico da instituição analisada.
Ainda que essas disciplinas contribuam para a formação dos alunos sobre o tema, o estudo também identificou, como fator de melhora do desempenho dos alunos no teste, a realização de cursos extracurriculares focados na temática de MBE. Tal resultado é consonante com outro estudo que comparou o desempenho no teste de Fresno antes e depois de intervenções educacionais sobre MBE11. Destaca-se a importância dessas intervenções, assim como atividades curriculares mais direcionadas, de forma a diminuir essas disparidades e garantir o ensino desses conhecimentos fundamentais universalmente dentro do âmbito regular da graduação.
A experiência prévia com projetos de cunho científico também foi um fator associado a um melhor desempenho no teste, apontando a importância do pilar de pesquisa na educação superior como forma de sedimentação de aplicação de conhecimentos em MBE. Esse resultado se soma a outros benefícios da realização de tais projetos na educação médica e na formação de médicos cientistas, como maior interesse na carreira acadêmica, melhor desempenho acadêmico, além de a MBE servir como porta de entrada na pesquisa para os estudantes12),(13.
O teste de Fresno foi escolhido para o presente estudo porque, à época da idealização do projeto, era o único disponível e validado no Brasil. O teste foi respondido de maneira presencial para garantir melhor controle acerca das circunstâncias de aplicação. Atualmente, já há outras ferramentas de avaliação do conhecimento em MBE com questões objetivas e menor tempo de resposta, como a Assessing Competencies in Evidence-Based Medicine (ACE)14. Por essas razões, tais ferramentas podem contribuir de forma importante na maior adesão dos alunos e no processo de aplicação em estudos futuros.
Originalmente, o teste de Fresno foi aplicado em grupos representantes dos extremos de proficiência no assunto, o que gerou uma limitação na representação de grupos de proficiência intermediária para análise e validação da ferramenta7. No caso de um estudo cuja população é constituída de estudantes de Medicina, pode tornar a ferramenta pouco adequada.
Além dessas, outras limitações foram levantadas durante nosso estudo como hipóteses para a baixa taxa de resposta em algumas das questões propostas. Entre essas limitações, apontamos a extensão do questionário, cuja aplicação completa durou até 45 minutos e incluiu respostas discursivas e que envolviam cálculos matemáticos, o que pode ter contribuído para a elevada quantidade de questões não respondidas. Durante as aplicações, também foram relatadas muitas dúvidas acerca dos enunciados, que por vezes se demonstraram ambíguos ou pouco claros, gerando dificuldades de interpretação das questões e podendo, assim, ter contribuído para a baixa performance média dos participantes.
CONCLUSÃO
Com base na análise dos dados expostos, pode-se concluir que existe evolução da competência em MBE dos alunos ao longo da graduação em Medicina. Além disso, pode existir uma queda dessa habilidade nos últimos anos do curso, entretanto estudos maiores são necessários para definir essa possibilidade. Ainda que exista melhora da competência em MBE ao longo do curso, verifica-se que a realização de uma formação externa gera uma melhora significativa no desempenho dos alunos, deixando claro que intervenções direcionadas podem impactar de forma positiva o ensino de MBE no curso de Medicina. Por fim, destaca-se que a realização de novos estudos pode ser muito benéfica para o entendimento do assunto, uma vez que novas ferramentas mais simples para avaliação da competência em MBE estão disponíveis, o que pode facilitar a ampliação da amostra e a realização do estudo em diferentes contextos.
REFERÊNCIAS
-
1 Guyatt G. Evidence-based medicine. JAMA. 1992 Nov 4;268(17):2420-2425 doi: https://doi.org/10.1001/jama.1992.03490170092032
» https://doi.org/https://doi.org/10.1001/jama.1992.03490170092032 -
2 Freddi G, Romàn-Pumar JL. Evidence-based medicine: what it can and cannot do. Ann Ist Super Sanita. 2011;47(1):22-5. doi: https://doi.org/10.4415/ANN_11_01_06.
» https://doi.org/https://doi.org/10.4415/ANN_11_01_06 -
3 Djulbegovic B, Guyatt GH. Progress in evidence-based medicine: a quarter century on. Lancet. 2017 July 22;390(10092):415-23. doi: https://doi.org/10.1016/S0140-6736(16)31592-6.
» https://doi.org/https://doi.org/10.1016/S0140-6736(16)31592-6 - 4 Vidaeff AC, Turrentine MA, Belfort MA. Evidence based medicine - decades later. J Matern Fetal Neonatal Med. 2020 Feb;35(3):472-5.
- 5 Vere J, Gibson B. Evidence‐based medicine as science. J Eval Clin Pract. 2019 Dec;25(6):997-1002.
- 6 Maggio LA. Educating physicians in evidence based medicine: current practices and curricular strategies. Perspect Med Educ. 2016 Oct;5(6):358-61.
-
7 Ramos KD, Schafer S, Tracz SM. Validation of the Fresno test of competence in evidence based medicine. BMJ. 2003 Feb 8;326(7384):319-21. doi: https://doi.org/10.1136/bmj.326.7384.319.
» https://doi.org/https://doi.org/10.1136/bmj.326.7384.319 -
8 Salerno MR, Herrmann F, Debon LM, Soldatelli MD, Forte GC, Bastos MD, et al. Brazilian version of the Fresno test of competence in evidence-based medicine: a validation study. Scie Med. 2019 Feb;29(1): e32295. doi: https://revistaseletronicas.pucrs.br/scientiamedica/article/view/32295/17812
» https://revistaseletronicas.pucrs.br/scientiamedica/article/view/32295/17812 -
9 Smith AB, Semler LI, Rehman EA, Haddad ZG, Ahmadzadeh KL, Crellin SJ, et al. A cross-sectional study of medical student knowledge of evidence-based medicine as measured by the Fresno test of evidence-based medicine. J Emerg Med. 2016 May;50(5):759-64. doi: https://doi.org/10.1016/j.jemermed.2016.02.006.
» https://doi.org/https://doi.org/10.1016/j.jemermed.2016.02.006 -
10 Pereira M, Correia G, Severo M, Veríssimo AC, Ribeiro L. Portuguese medical students’ interest for science and research declines after freshman year. Healthcare. 2021 Oct;9(10): e1357. doi: https://doi.org/10.3390/healthcare9101357.
» https://doi.org/https://doi.org/10.3390/healthcare9101357 - 11 Lai NM, Teng CL. Competence in evidence-based medicine of senior medical students following a clinically integrated training programme. Hong Kong Med J. 2009 Oct;15(5):332-8.
-
12 Boyle SE, Cotton SC, Myint PK, Hold GL. The influence of early research experience in medical school on the decision to intercalate and future career in clinical academia: a questionnaire study. BMC Med Educ. 2017 Dec 11;17(1): e245. doi: https://doi.org/10.1186/s12909-017-1066-1.
» https://doi.org/https://doi.org/10.1186/s12909-017-1066-1 -
13 Solomon SS, Tom SC, Pichert J, Wasserman D, Powers AC. Impact of medical student research in the development of physician-scientists. J Investig Med. 2003 May;51(3):149-56. doi: https://doi.org/10.1136/jim-51-03-17.
» https://doi.org/https://doi.org/10.1136/jim-51-03-17 -
14 Maia FGS da S, Souza AKC de, Simas BCC de, Lopes IS, Bezerra MPRD, Diniz RVZ. Versão brasileira da ferramenta Assessing Competencies in Evidence-Based Medicine (ACE): um estudo de validação. Rev Bras Educ Med. 2022;46(3): e093. doi: https://doi.org/10.1590/1981-5271v46.3-20220081.
» https://doi.org/https://doi.org/10.1590/1981-5271v46.3-20220081
Os dados de pesquisa estão disponíveis no corpo do documento. Research data is available in the body of the document.
