Prova híbrida individual e colaborativa de graduandos em Medicina: relato de experiênciaRESUMO
Introdução: A avaliação é necessária para o aprendizado do aluno. O aprendizado deve ser proativo e contínuo, e abranger técnicas comunicacionais e de trabalho em equipe, porém é fundamental que reflita também tudo o que o aluno aprendeu. Apresentamos a experiência de uma avaliação híbrida que foi aplicada, de forma individual e em grupo, em turmas do primeiro ano de Medicina. Pretendia-se avaliar a exequibilidade dessa técnica, o impacto no aprendizado e a aceitação dos alunos.
Relato de experiência: Durante os anos de 2018, 2019, 2022, 540 alunos do primeiro ano da disciplina Discussão Integrada de Casos I da Faculdade de Medicina da Universidade de São Paulo (FMUSP), campus São Paulo, foram submetidos à aprendizagem proativa e a uma avaliação híbrida - de forma individual e em grupo - em cinco módulos/ano. Realizada presencialmente na faculdade, a avaliação, com base em casos clínicos, continha 25 perguntas fechadas de múltipla escolha. Para tanto, utilizaram-se os computadores institucionais com acesso apenas à prova. Primeiramente realizou-se a avaliação de cada aluno (2,2 minutos por questão) e, após, em grupo (sete alunos/grupo, um minuto por questão). Na prova em grupo, os poderiam conservar entre si, mas sem consulta a qualquer outro material. Em seguida, fez-se a devolutiva da prova. As notas e um instrumento de devolutiva dos alunos sobre o módulo e as provas foram analisados pelo software SPSS23. Constatamos adesão à prova em grupo pelos alunos, com trabalho colaborativo e capacidade de deliberação em grupo no tempo estipulado para a prova. Houve aumento das notas em grupo quando comparadas às individuais nos três anos analisados. As notas de grupos evidenciaram maior homogeneidade. Os alunos se mostraram satisfeitos com as provas individuais e em grupo.
Discussão: O método aplicado mostrou ser exequível, com altos níveis de satisfação e vantagens quanto ao aprendizado dos alunos com desenvolvimento de habilidades de gestão e deliberação sobre problemas em equipe. Dessa forma, mostrou-se uma alternativa plausível e eficaz para mediar o aprendizado colaborativo e um treinamento para adquirir habilidades de trabalho em equipe e liderança, respeito ao colega, empatia e resolutividade de problemas em curto espaço de tempo.
Conclusão: Trata-se, portanto, de um método que contempla o currículo de graduação que desenvolve o potencial do indivíduo para a sociedade e satisfaz as Diretrizes Curriculares Nacionais.
Palavras-chave:
Avaliação; Educação Médica; Aprendizado Proativo; TBL
ABSTRACT
Introduction: Learning assessment is necessary to student learning. Learning should be proactive, continuous, and encompass communication and teamwork skills, while also reflecting the individual learning of each student. We present the experience of hybrid proactive individual and group-based assesment, applied to the first year of medical school, regarding its feasibility, impact on learning, and student acceptance.
Case report: During 2018, 2019 and 2022, 540 first-year medical students from the Discussão Integrada de Casos I- FMUSP- SP campus, who underwent proactive learning and hybrid assessment individually and in groups. The assessment was based on clinical cases, 25 multiple-choice questions, online, in person at the university, on institutional computers with access only to the tests. The test was first completed individually (2,2 minutes/question) and then in groups (1 minute per question, 7 students/group). Consultation was only allowed among group members during the group test. Immediately after the test, feedback was provided. Scores and a feedback instrument were presented to the students after evaluation tests regarding the learning and evaluation methodologies. Data were analyzed in SPSS23 software. The teamwork test showed engagement among students, with collaborative work and group decision-making skills within the time of the test. Teamwork tests scores were greater and presented more homogeneity than individual tests across all three analyzed years. Regarding satisfaction, students expressed high levels of satisfaction with both individual and group-based tests.
Discussion: The hybrid individual and collaborative group tests methods were feasible, with high levels of satisfaction and advantages in terms of student learning and the development of communications and decision-making skills of clinical true medical cases. Thus, it is a plausible and effective alternative to aid in solidifying the learning process and training to acquire teamwork and leadership skills, respect for peers, empathy, and problem-solving abilities in a short period.
Conclusion: It is, therefore, a method that integrates the undergraduate curriculum, enhancing the individual’s potential for society while meeting the National Curriculum Guidelines.
Keywords:
assessment; medical education; proactive learning; TBL
INTRODUÇÃO
O conhecimento é dinâmico, mutável e contínuo, em particular em áreas como a medicina, em que é baseado em probabilidades e com importantes variações, a depender do indivíduo e de seu meio sociocultural, o que exige aprendizado contínuo e perene. Tais processos e habilidades podem ser treinados com boas técnicas educacionais, principalmente as que envolvem o trabalho proativo, crítico, baseado em evidências e ético, tanto individual quanto em equipe1. Além disso, é necessário construir competências de forma sólida, a fim de facilitar a atuação profissional futura em situações de pressão ou que tenham necessidade de tomadas de decisões que, apesar de conjuntas, devem ser sistemáticas e rápidas. Esses objetivos se resumem nas competências gerais das Diretrizes Curriculares Nacionais (DCN) do curso de graduação em Medicina2: atenção à saúde, tomada de decisões, comunicação, liderança, administração e gerenciamento, e educação permanente.
Dessa forma, são necessários modelos de avaliação capazes de não apenas medir os conhecimentos teóricos, mas também avaliar as competências de comunicação, as deliberações de procedimentos e a interação social. Os modelos de provas individuais permitem avaliar o conhecimento do indivíduo e se ele está apto para ser aprovado perante os objetivos do curso. Os modelos colaborativos em grupo permitem auxiliar no desenvolvimento formal de habilidades comunicacionais, treinamento e deliberações de trabalho em equipe, aspectos necessários no mercado de trabalho, além do exercício da liderança, da convivência positiva entre alunos e da construção de outras competências importantes no processo de formação do aluno3. Porém, os modelos de avaliação em grupo não permitem avaliar o conhecimento de cada discente, pois um aluno considerado não apto pode ser aprovado na disciplina devido à maior dedicação de seus pares. Esse aspecto constitui um fator importante para a aplicação de uma avaliação, pois deve compreender também os conhecimentos adquiridos pelo indivíduo.
Em medicina, há relatos de experiências de provas individuais e avaliações em grupo, ambas em diversos formatos. Nesse contexto, as avaliações devem verificar não somente se o estudante é apto a reter informações, mas também é fundamental que contenham questões referentes a raciocínios clínicos, tomadas de decisões e resoluções de situações-problema. Essas competências devem ser treinadas sistematicamente para que sejam executadas com segurança mesmo em situações de urgência e emergência, sob pressão e com tempo limitado. Porém, há grande heterogeneidade nas técnicas de avaliação e escassez de informações sobre provas híbridas individuais e em grupo. Ter maior conhecimento sobre avaliação híbrida proativa compartilhada entre docentes e alunos pode impactar a corresponsabilidade de todos no aprendizado de conteúdo e habilidades, e afetar o futuro desempenho e desenvolvimento profissional do aluno no mercado de trabalho4. Assim, a busca por métodos abrangentes de avaliação em desempenho do aluno e de construção de habilidades por meio do próprio processo de avaliação deve ser documentada, sistematizada, treinada e aprimorada constantemente.
Este relato de experiência apresenta uma ferramenta didática proativa de avaliação híbrida, individual e em grupo, com metodologia simples e acessível, já testada em alunos do curso de Medicina. A proposta é abordar o impacto dessa metodologia na aprendizagem dos alunos do primeiro ano de graduação em Medicina nas provas de formatação híbrida individuais e em grupo, além da aceitação, da exequibilidade, da sustentabilidade, dos limites, das vantagens e das desvantagens. Assim, é possível refletir sobre a abordagem que, além de avaliar conhecimentos, colabora para a construção de algumas das competências gerais das DCN2, principalmente comunicação, liderança e gerenciamento entre os membros da equipe, e atenção à saúde, de modo integrado à base teórica adquirida com as discussões e o estudo individual.
RELATO DE EXPERIÊNCIA
Trata-se de um estudo observacional, retrospectivo e transversal com dados coletados da plataforma de aprendizado MedUSP Digital referentes aos anos de 2018, 2019 e 2022. Por causa da pandemia, não se computaram os anos de 2020 e 2021, quando as provas foram executadas com os alunos em seus domicílios e não presencialmente na faculdade.
Ética
O projeto aprovado pela Comissão de Ética para Análise de Projetos de Pesquisa da Faculdade de Medicina da Universidade de São Paulo (FMUSP): CAAE nº 73025423.0.0000.0068. Aceitou-se a dispensa de TCLE por tratar-se de um relato de caso retrospectivo, sem identificação dos participantes.
Local do estudo
Utilizou-se a plataforma de aprendizado MedUSP Digital da disciplina Discussão Integrada de Casos I da FMUSP, instituição de caráter público, estadual, ministrada aos alunos do primeiro ano de graduação do curso médico.
População
Participaram do estudo todos os 180 discentes do primeiro ano da FMUSP, de 2018, 2019 e 2022, matriculados na disciplina Discussão Integrada de Casos I, totalizando 540 alunos. Incluíram-se todos os alunos matriculados e que fizeram as provas no período analisado. Excluíram-se os discentes matriculados que não fizeram as provas no período analisado.
Disciplina
A disciplina Discussão Integrada de Casos 1 é supradepartamental e integrativa, e contextualiza e integra os conceitos do curso básico e clínico de maneira proativa e crítica, com base em casos reais. Para tanto, emprega os métodos team based learning (TBL) e sala invertida5.Compreende discussão de casos clínicos reais baseados em insuficiências clínicas: respiratória, cardíaca, renal, hepática e metabólica. Contém também um módulo sobre ética digital e outro sobre humanização com foco na medicina centrada no paciente. Todo o material didático é trabalhado presencialmente ou via plataforma de aprendizado MedUSP Digital, criada especialmente para essa disciplina pela equipe da telemedicina da FMUSP.
Formatação da prova aplicada
A prova é organizada por uma equipe multidisciplinar composta de docentes e funcionários da informática e pela plataforma de aprendizado. A prova é baseada em um caso clínico similar ao estudado em cada módulo. É aplicada a 90 alunos por vez, divididos em turmas A e B, sendo duas provas com casos e perguntas diferentes, porém com o mesmo grau de dificuldade e abrangendo a mesma matéria do módulo. Cada prova é composta de aproximadamente 25 questões fechadas de múltipla escolha, com cinco alternativas e apenas uma alternativa correta. A prova é feita online pela plataforma de aprendizado e presencialmente em computadores institucionais da faculdade, com acesso somente às provas (com a internet bloqueada). É aplicada inicialmente de forma individual, sem consultas (duração em torno de 2,2 minutos/questão), e, logo após, a mesma prova é aplicada em grupo (duração em torno de um minuto/questão, com grupos de sete a nove alunos) com consulta somente entre eles, sem acesso a material de internet, celular, livro, anotações ou qualquer material de estudo prévio (Figura 1). Visando ao aprendizado do grupo, a prova pode ser submetida várias vezes ao sistema até obter 100% da nota, porém é considerada como nota dos alunos somente a primeira submissão da prova em grupo. A prova em grupo é obrigatória e feita com senha de grupo, e a presença de cada indivíduo do grupo é checada por meio de lista de chamada. A média das provas para a composição de notas dos alunos na disciplina é ponderada com peso 70% para a individual e 30% para a em grupo.
Modelo de realização das provas individuais e em grupo: fluxo de etapas direcionadas à avaliação do aluno.
Após a prova em grupo, é feita a devolutiva dela presencialmente pelos docentes aos alunos interessados, com discussão de dúvidas de cada questão, sendo possível, se necessária, a correção do gabarito (dubiedade de enunciado ou alternativas). Após a devolutiva da prova, ocorre um minifórum do módulo para a avaliação da disciplina na plataforma de aprendizado. O minifórum é uma ferramenta para avaliar a qualidade da disciplina em cada atividade aplicada, inclusive a prova. As respostas são na escala ótimo, bom, regular ou ruim. Além disso, há um campo para os alunos colocarem, de forma cursiva, elogios, dúvidas, críticas construtivas ou sugestões sobre todas as atividades do curso. O instrumento questiona o aprendizado e a fixação do conteúdo, a habilidade de trabalho em grupo e a sua formatação.
Estrutura institucional e recursos humanos para a aplicação da prova
Tecnicamente a prova deve ser entregue pelos docentes à equipe de TI pelo menos três dias antes para que ela possa ser inserida e testada na plataforma. A aplicação da prova exige estrutura institucional e recursos humanos multidisciplinares de medicina, secretariado, informática e alunos para poder ser executada. Cada equipe da organização tem um checklist de tarefas para que tudo ocorra dentro do esperado, além de alternativas já testadas para os eventuais imprevistos maiores que possam acontecer, como queda de energia ou internet, ou menores, como um computador deixar de funcionar. A instituição necessita de boa internet, salas de informática para aplicação das provas e softwares de provas com equipamentos anticola (por exemplo, tempo determinado de início e fim de prova, reconhecimento do IP em que a prova foi feita - se institucional ou não - etc.). A plataforma tem que estar programada para liberar o resultado das provas logo após seu término, na forma de números individuais e de grupo, gráficos das distribuições das notas, questões com mais acertos e questões com mais erros, para que a prova seja avaliada e aprimorada pelos docentes. A presença do aluno é computada duas vezes: uma individualmente pela prova individual e outra por meio da lista de presença em cada grupo na prova em grupo, pois esta última é feita mediante senha de grupo.
Coleta de dados
Coletaram-se da plataforma de aprendizado os seguintes os dados: notas das provas individuais e em grupo de todos os módulos, e dados do minifórum sobre a avaliação do curso (dados em escala). Submeteram-se os dados coletados às análises descritivas. Os dados contínuos foram submetidos a testes comparativos e expressos em mediana e interquartil, e os categóricos, aos testes associativos. Utilizou-se o programa estatístico SPSS, versão 23, e a significância adotada foi de 5%.
RESULTADOS
As provas foram exequíveis e aplicadas dentro do tempo determinado, e os alunos se comportaram de forma dedicada e resolutiva, em especial nas provas em grupo. As provas em grupo estimularam discussões entre os alunos, em especial no momento de votação da alternativa a ser escolhida como resposta do grupo. As devolutivas das provas foram voluntárias aos alunos e obtiveram uma presença em torno de 50%. Em média, das 25 questões de cada prova, houve alteração do gabarito de um a duas questões por prova pós-devolutiva, por dubiedade de enunciado ou de alternativas. Os imprevistos mais graves (queda de energia e de internet) ocorreram em média uma vez por ano.
A maioria dos dados contínuos se mostrou não paramétrica.
Não houve diferença entre as médias e dispersões entre turmas A e B nos três anos analisados conjuntamente (2028 + 2019 + 2022: prova individual: p = 0,12; prova em grupo: p = 0,45, teste U de Mann-Whitney). Quando se analisou separadamente cada ano, também não houve diferença entre turmas, a não ser em 2018, quando a prova em grupo obteve nota mais baixa na turma A do que na turma B (provas individuais: 2018: p = 0,85; 2019 p = 0,144; 2022 p = 0,09; prova em grupo: 2018: p = 0,01; 2019 p = 0,25; 2022 p = 0,11 , teste de Kruskal-Wallis e pós-teste T3 de Dunnett).
As notas das provas de grupo foram maiores que as das provas individuais, tanto em relação a cada ano quanto no que concerne à análise conjunta dos três anos (p < 0,001, teste U de Kruskal-Wallis e pós-teste de T3 de Dunnett). Houve também menor dispersão da média nas notas de grupo quando comparadas às notas individuais (Tabela 1, Figura 2).
Notas das provas individuais e em Grupo: dados correspondentes aos da Tabela 1 e às notas do conjunto das cinco provas aplicadas em cada ano.
As porcentagens de ganho de nota entre as provas de grupo e as individuais são listadas na Tabela 1. Isso evidenciou melhora da nota com a discussão e o compartilhamento de conhecimento entre os integrantes, que obtiveram aproveitamento maior e tiveram que aplicar, além dos conhecimentos básico, as habilidades de comunicação, liderança e gerenciamento do tempo.
Avaliou-se a satisfação dos alunos com o minifórum. A resposta dos formulários variou conforme o módulo, com a adesão dos alunos sendo maior nos primeiros módulos em relação aos últimos. Em 2018, 174 alunos preencheram o minifórum referente ao módulo 1, enquanto apenas 81 preencheram o referente ao módulo 5. Para os outros anos analisados, em 2019 o número caiu de 139 para 58 aderentes, enquanto em 2022 foi de 164 para 49 alunos.
Quando analisamos as respostas dos primeiros módulos, a maior parte dos alunos se mostrou favorável à aplicação das provas em todos os anos, sendo observada maior satisfação quando questionados sobre as provas em grupo. Para os anos de 2018, 2019 e 2022, obtiveram-se no módulo 1, respectivamente, 74,6%, 91,4% e 87,9% de respostas entre bom e ótimo para a prova individual, e 86,2%, 92,8% e 94,5% respostas entre bom e ótimo para a prova em grupo. Ao longo dos anos analisados, houve também aumento dos alunos que julgaram como ótimo. Apesar da amostra menor no último módulo, os alunos continuaram satisfeitos, com 92,6%, 81% e 90,2% para provas individuais e 96,3%, 81% e 96% para as provas em grupo.
DISCUSSÃO
O método de prova híbrida individual e em grupo aplicado na disciplina de Discussão Integrada de Casos I se mostrou eficiente para os objetivos avaliativos e formativos no ambiente de ensino em que foi implementado.
A aquisição de conhecimento significativo foi observada pelo impacto da performance dos alunos na prova. Esse achado é corroborado em outros estudos na literatura de avaliação em grupo relativamente à aquisição de conhecimento em curto e longo prazos, mostrando-se como resultado positivo do método6. As provas individuais e em grupo mostraram níveis semelhantes de dificuldade ao longo dos anos entre si e entre as turmas, com exceção da prova de grupo de 2018 que foi mais difícil para a turma A. A maioria das provas manteve o nível, espelhando a aquisição de conhecimentos e habilidades semelhantes e comparáveis no período estudado.
Além desse ganho de conhecimento verificado, destaca-se, como vantagem do método da prova híbrida individual e em grupo, o fato de permitir aos alunos o desenvolvimento de habilidades comunicacionais e deliberativas proativas com crítica e embasamento técnico, de modo individual e em grupo, sob pressão e com tempo limitado. Esses resultados contemplam as DCN, atingindo níveis elevados da pirâmide do aprendizado de William, principalmente discutir, praticar e ensinar aos colegas4),(7.
A execução do método é plausível e viável em instituição pública de ensino superior - e possivelmente em instituição privada também -, com aceitação dos alunos submetidos ao método. A fácil replicabilidade em outros contextos e instituições se sustenta particularmente no fato de que o desenho educacional dos módulos se constitui de elementos das abordagens de problem based learning (PBL), TBL e classe invertida, que são frequentes em várias escolas médicas do país e são “cobrados” de forma semelhante nos casos apresentados nas provas5),(7),(8. Esses elementos estão presentes nas situações-problema discutidas durante as atividades da disciplina e abordados nas provas. De forma semelhante ao que ocorre na prática clínica, essas situações precisam ser resolvidas tanto individualmente como em grupo, inclusive em situações de estresse, para o que é necessário treinamento prévio.
Essa abordagem individual e em grupo permitiu ao aluno o desenvolvimento do seu potencial comunicacional e deliberativo em grupo com embasamentos técnico e crítico que contemplam as DCN, com um aprendizado significativo. Esse fato foi também observado em outros contextos na literatura de avaliação em grupo, em que se avaliou a aquisição desse conhecimento em curto e longo prazos e que se mostrou positiva6.
Quando comparadas entre si, as provas individuais, em grupo e entre turmas mostraram níveis semelhantes de dificuldade através dos anos, com exceção da prova em grupo de 2018 que foi mais difícil para a turma A. Esses dados sugerem que, em sua maioria, as provas mantiveram o nível, espelhando a aquisição de conhecimento e habilidades semelhantes e comparáveis através dos anos.
O método é exequível em sua estrutura conceitual formal, e é importante assinalar que ele exige estrutura institucional tecnológica e de pessoas treinadas. O preparo da equipe que aplica a prova e a disciplina do aluno para a boa execução do método podem provocar ansiedade na equipe e nos alunos. Nesse sentido, a literatura cita a sensação de ansiedade dos alunos como um desconforto em algumas situações de prova1, enquanto, em outros relatos, aponta a redução da ansiedade quando da realização de prova7. Percebemos que a ansiedade, tanto da equipe como dos alunos, diminuiu ao longo do tempo à medida que foram adquirindo experiência e maior capacidade de lidar com os imprevistos. Detectamos que a principal dificuldade para a execução da prova foi a necessidade de uma equipe multidisciplinar de organização e aplicação da prova treinada para garantir o bom funcionamento do sistema, e da estrutura da instituição provendo recursos materiais para a sua execução. Por esse motivo, a disponibilidade de computadores com acesso a um portal de provas pode representar um obstáculo para as instituições com menos recursos.
Segundo dados do minifórum de avaliação da disciplina, os alunos se mostraram satisfeitos com o modelo de prova, reportando ganhos de conhecimentos, proatividade e crítica, além de habilidades comunicacionais e resolutividades. Esses dados vêm ao encontro do descrito como os passos do treinamento de aprendizagem de Kirkpatrick já testados em outros modelos de aprendizagem em saúde e em outras áreas de conhecimento, abrangendo a reação do alunado à proposta (satisfação e noção da relevância do métodos dos alunos), o entendimento (compreensão das situações-problemas na prova com argumentação em grupo), o comportamento (habilidades comunicacionais e deliberativas) e o resultado (contemplado nas notas de provas), e, nesse caso, objetivando em longo prazo o bom desempenho profissional no futuro9.
O método também respeita os sete princípios de ensino-aprendizagem de Chickering et al.3, reforçando o compromisso da disciplina em oferecer aprendizado de curto e longo prazos ao aluno. Esse compromisso é reforçado em relação ao segundo princípio, que considera o desenvolvimento de cooperação entre os estudantes um aspecto fundamental para a prática médica futura.
CONCLUSÃO
Apesar dos desafios, a prova híbrida, individual e colaborativa é um bom método de avaliação e de aprendizado com resultados positivos na aprendizagem global do aluno. Por fim, esse método pode ser testado em outros contextos de ensino em saúde, como também em áreas de ciências profissionalizantes exatas e outras áreas humanas, com vistas ao desenvolvimento do potencial intelectivo e humano do aluno como profissional proativo e crítico, além de tecnicamente competente para o exercício seguro de sua profissão na sociedade.
REFERÊNCIAS
-
1 Biesma R, Kennedy MC, Pawlikowska T, Brugha R, Conroy R, Doyle F. Peer assessment to improve medical student’s contributions to team-based projects: randomized controlled trial and qualitative follow-up. BMC Med Educ. 2019;19(1):371. doi: https://doi.org/10.1186/s12909-019-1783-8
» https://doi.org/https://doi.org/10.1186/s12909-019-1783-8 - 2 Brasil. Diretrizes Curriculares Nacionais do Curso de Graduação em Medicina. Brasília: Ministério da Educação; 2014.
- 3 Chickering AW, Gamson ZF. Seven principles for good practice in undergraduate education. AAHE Bull. 1987;3-7.
-
4 Miller GE. The assessment of clinical skills/competence/performance. Acad Med. 1990;65(9 Suppl):S63-7. doi: https://doi.org/10.1097/00001888-199009000-00045.
» https://doi.org/https://doi.org/10.1097/00001888-199009000-00045 - 5 Barros EM, Carvalho G, Costa MS, Silva MM. Metodologias ativas no ensino superior. In: Anais do XV Simpósio de Excelência em Gestão e Tecnologia (SEGeT); 2018 out; Resende, RJ, Brasil.
-
6 Vázquez-García M. Collaborative-group testing improves learning and knowledge retention of human physiology topics in second-year medical students. Adv Physiol Educ. 2018;42(2):232-9. doi: https://doi.org/10.1152/advan.00113.2017
» https://doi.org/https://doi.org/10.1152/advan.00113.2017 -
7 Rezende-Filho FM, Nunes-Souza V, Donato FF, Gouvêa GM. Utilização da aprendizagem baseada em equipes como método de avaliação no curso de Medicina. Rev Bras Educ Med. 2019;43(2):85-92. doi: https://doi.org/10.1590/1981-52712015v43n2RB20180063.
» https://doi.org/https://doi.org/10.1590/1981-52712015v43n2RB20180063 -
8 Kapitanoff SH. Collaborative testing: cognitive and interpersonal processes related to enhanced test performance. Active Learn High Educ. 2009;10(1):56-70. doi: https://doi.org/10.1177/1469787408100195
» https://doi.org/https://doi.org/10.1177/1469787408100195 -
9 Dorri S, Akbari M, Dorri Sebeh M. Kirkpatrick evaluation model for in-service training on cardiopulmonary resuscitation. Iran J Nurs Midwifery Res. 2016;21(5):493-7. doi: https://doi.org/10.4103/1735-9066.193396.
» https://doi.org/https://doi.org/10.4103/1735-9066.193396
Os dados de pesquisa só estão disponíveis mediante solicitação.
Fonte: Elaborada pelos autores.
