FonoTCS: validação de uma ferramenta para avaliação do raciocínio clínico em FonoaudiologiaRESUMO
Objetivo Validar a estrutura interna do Teste de Concordância de Scripts em Fonoaudiologia (FonoTCS) que será desenvolvido em formato virtual com acesso livre, para ser utilizado na avaliação do raciocínio clínico de jovens profissionais e estudantes de fonoaudiologia com formação generalista, falantes do português brasileiro.
Método Trata-se de estudo de validação de estrutura interna de instrumento. Participaram 25 fonoaudiólogos especialistas, com mais de 10 anos de experiência clínica generalista e 35 estudantes convocados para o Enade. Ambos os grupos avaliaram os 30 casos clínicos com 120 itens do FonoTCS. Para a seleção final dos especialistas que compuseram a amostra, foram retirados os juízes cujas avaliações apresentavam resultados de Z2 >2 e Z<-2 distantes da resposta modal. Para a seleção dos itens presentes no formato final do teste, permaneceram aqueles que, na correlação de Pearson entre as notas transformadas dos estudantes para um determinado Item, com a soma das notas transformadas para todos os Itens, obtiveram valor superior a 0,05. O teste Alfa de Cronbach foi aplicado para medir a consistência interna do FonoTCS e a pontuação de cada item foi definida a partir do método de escore agregado.
Resultados As respostas de 13 fonoaudiólogos foram consideradas para definição da pontuação final do teste. O instrumento final apresentou 88 itens distribuídos em 28 casos clínicos. A consistência interna foi igual a 0,903 com intervalo de confiança de 95% expresso por 0,86|---|0,95. Estes valores indicam uma alta consistência interna entre os itens do FonoTCS.
Conclusão O FonoTCS é válido e confiável para ser utilizado na avaliação do raciocínio clínico de jovens profissionais e estudantes de fonoaudiologia com formação generalista, falantes do português brasileiro.
Descritores:
Fonoaudiologia; Raciocínio Clínico; Diagnóstico Clínico; Tomada de Decisão Clínica; Estudantes; Aprendizagem
ABSTRACT
Purpose To validate the internal structure of the Speech-Language Pathology Script Concordance Test (FonoTCS), which will be developed in a virtual, open-access format, to be used in the assessment of clinical reasoning among young professionals and students of speech-language pathology with a generalist background, speakers of Brazilian Portuguese.
Methods This is a study to validate the internal structure of the instrument. Twenty-five specialist speech-language pathologists, with more than 10 years of generalist clinical experience, and 35 students summoned for Enade participated. Both groups evaluated the 30 clinical cases with 120 items from FonoTCS. For the final selection of specialists who made up the sample, judges whose evaluations showed Z2 results >2 and Z<-2 distant from the modal response were removed. For the selection of items present in the final format of the test, those that remained had a Pearson correlation between the transformed scores of students for a given item and the sum of the transformed scores for all items, with a value greater than 0.05. The Cronbach's Alpha test was applied to measure the internal consistency of FonoTCS, and the score of each item was defined based on the aggregated score method.
Results The responses of 13 specialists were considered for the definition of the final test score. The final instrument had 88 items distributed across 28 clinical cases. The internal consistency was 0.903 with a 95% confidence interval expressed by 0.86|---|0.95. These values indicate a high internal consistency among the items of FonoTCS.
Conclusion FonoTCS is valid and reliable for use in evaluating the clinical reasoning of young professionals and speech-language pathology students with generalist training, who are Brazilian Portuguese speakers.
Keywords:
Speech-Language Pathology; Clinical Reasoning; Clinical Diagnosis; Clinical Decision-Making; Students; Learning
INTRODUÇÃO
O raciocínio clínico é conceituado como o processo cognitivo no qual um profissional de saúde utiliza as informações contidas em seu conhecimento e experiência para guiar sua prática clínica(1). É um tema central na conduta diagnóstica e terapêutica dos profissionais de saúde, e seu conceito possui uma natureza complexa e multidimensional(2).
O uso de ferramentas de avaliação qualificada nos currículos dos cursos de graduação na área da saúde é fundamental para assegurar que os futuros profissionais desenvolvam competências abrangentes e bem fundamentadas. Estas ferramentas podem assumir diversos formatos, como perguntas de múltipla escolha (PME), exames orais (EO) e perguntas de correspondência (PC), que avaliam principalmente o domínio cognitivo dos alunos(3). Já o Exame Clínico Objetivo Estruturado (OSCE) representa uma abordagem que integra a avaliação, tanto do processo cognitivo quanto das habilidades motoras dos estudantes, em contextos clínicos simulados(3).
Estas estratégias avaliativas, embora valiosas, ainda apresentam limitações em sua capacidade de refletir a complexidade e a dinâmica da prática clínica real. O Teste de concordância de script (TCS) foi desenvolvido no final da década de 90, com o objetivo de avaliar o raciocínio clínico de estudantes de medicina no Canadá(4). É um teste de simulação escrita em que vários cenários clínicos são apresentados em um contexto de incerteza, em circunstâncias clínicas rotineiras(4).
O TCS é uma ferramenta de avaliação baseada na teoria de scripts derivada da psicologia cognitiva e baseia-se no princípio de que, para atribuir significado a uma nova situação, as informações recebidas ativam uma rede de conhecimentos e de experiências previamente adquiridos - um script - que direciona a seleção, interpretação e memorização dessas novas informações(5).
No contexto clínico, ao avaliar um paciente, um profissional de saúde analisa sintomas, sinais e detalhes do ambiente do paciente(4). Esses elementos ativam redes de conhecimento que contêm informações sobre essas características e suas relações com diversas doenças ou condições clínicas (scripts) que direcionam para a tomada de decisão, seja no processo diagnóstico ou terapêutico(5).
O conceito de script é uma derivação de um conceito mais amplo, o de esquemas. Esquemas mentais são estruturas de conhecimento adaptadas para realizar tarefas de maneira eficiente(5). Scripts são esquemas associados a sequências de eventos que ocorrem frequentemente em uma ordem específica, e o conhecimento sobre diferentes condições clínicas inclui informações sobre a sequência espaço-temporal de eventos no desenvolvimento do quadro clínico(4,5). Ao integrar esse conceito, o TCS avalia como os profissionais acessam esses modelos mentais ou scripts para interpretar e responder a cenários clínicos complexos.
A questão de como avaliar o raciocínio clínico de estudantes da área da saúde durante a formação acadêmica surge continuamente nos currículos. Pesquisa(3) que comparou a performance de estudantes de medicina com diferentes ferramentas avaliativas, concluiu que os estudantes tiveram um desempenho melhor em ferramentas de avaliação mais familiar como PME, mas a maioria dos estudantes consideraram o teste de PC melhor para avaliar o conteúdo aprendido, e o TCS testou melhor a habilidade clínica de tomada de decisão(3).
Estudos sobre o desenvolvimento do TCS em diversas áreas da medicina(6), enfermagem(7), odontologia(8), e fisioterapia(9), têm sido amplamente divulgados e as propriedades psicométricas de validade e confiabilidade dos testes têm mostrado um bom desempenho.
Em 2023 foi desenvolvido um TCS para estudantes de fonoaudiologia falantes do espanhol chileno(10). Os autores concluíram que o teste desenvolvido apresentou uma baixa confiabilidade geral. A análise estratificada por área de atuação fonoaudiológica (linguagem infanto-juvenil; voz; motricidade orofacial; linguagem em adultos e idosos; audiologia; e avaliação vestibular), e tipo de cenário (diagnóstico, estudo ou intervenção) ofereceu um resultado heterogêneo, com variabilidade nos valores de consistência interna(10).
A relevância desta pesquisa reside na necessidade de desenvolver ferramentas específicas para avaliar o raciocínio clínico na Fonoaudiologia, onde ainda há uma lacuna de instrumentos validados que sejam capazes de refletir as particularidades dessa prática profissional.
O Joint Committee on Standards for Educational and Psychological Testing (11) propõe cinco fontes de evidência de validade: (1) conteúdo; (2) estrutura interna; (3) relação com medidas externas; (4) padrão de resposta aos itens; e (5) consequencial.
O FonoTCS é um TCS para a avaliação do raciocínio clínico em fonoaudiologia, que mostrou ser um instrumento válido do ponto de vista do conteúdo (clareza, pertinência e ética)(12).
Esta pesquisa objetiva validar a estrutura interna do FonoTCS, para ser utilizado na avaliação do raciocínio clínico de jovens profissionais e estudantes de fonoaudiologia com formação generalista, falantes do português brasileiro.
Após a validação de sua estrutura interna, o FonoTCS será disponibilizado em formato virtual de acesso livre e avançará para a fase de validação externa, incluindo a aplicação prática da ferramenta em contexto educacional, visando avaliar sua aplicabilidade na formação de estudantes de fonoaudiologia com formação generalista, falantes do português brasileiro.
MÉTODO
Trata-se de estudo de validação de estrutura interna de instrumento que segue as normas do Joint Committee on Standards for Educational and Psychological Testing (11) e de elaboração do TCS(13-16). A pesquisa foi aprovada pelo Comitê de Ética em Pesquisa (COEP) da Universidade Federal de Minas Gerais sob parecer número 5.824.852 e já passou pela validação de conteúdo(12).
Participantes
Foram convidados a participar do estudo dois grupos distintos para cada etapa da validação. O primeiro grupo foi composto por especialistas, constituído por 27 fonoaudiólogos com pós-graduação (lato sensu ou stricto sensu) e mais de 10 anos de atuação clínica generalista. O segundo grupo, foi constituído por 52 estudantes do curso de graduação em Fonoaudiologia de uma universidade, convocados para o Exame Nacional de Desempenho de Estudantes (Enade).
Ambos os grupos foram esclarecidos com relação aos objetivos da pesquisa e assinaram o Termo de Consentimento Livre e Esclarecido (TCLE). Posteriormente, foram solicitados a responderem o FonoTCS.
As perguntas do TCS evitam respostas únicas “corretas” ou de “consenso”. A pontuação é baseada em um método agregado que considera a variabilidade das respostas de especialistas a situações clínicas específicas(13). A resposta mais comum entre os especialistas (resposta modal) será considerada o “padrão ouro”, enquanto outras respostas refletem interpretações diferentes que podem ser clinicamente valiosas e estas recebem pontuações parciais(16).
Diferente das ferramentas de avaliação convencionais, o TCS reconhece que clínicos experientes podem interpretar dados e responder a situações clínicas incertas de maneiras variadas (dentro de um intervalo aceitável de prática clínica)(15). Desta forma, para identificar especialistas e itens de alta discordância no FonoTCS, realizou-se uma análise a posteriori dos juízes e dos itens. Essa abordagem objetivou definir o formato final do FonoTCS, e garantir a qualidade das respostas dos especialistas e dos itens, e é considerada um método prático e justificável para manter o rigor psicométrico de um teste(15).
O tempo médio estimado para o preenchimento do FonoTCS foi de 60 minutos e todas as respostas foram processadas anonimamente. Todos os participantes (especialistas e estudantes) foram orientados a responder o FonoTCS em uma única sessão, de forma independente.
O formato inicial do FonoTCS, com conteúdo validado, foi composto por 120 itens distribuídos em 30 casos clínicos distintos de seis áreas de conhecimento da Fonoaudiologia (audiologia, linguagem, motricidade orofacial, disfagia, voz e saúde coletiva) com quatro itens cada(12). Cada um desses casos clínicos reflete situações distintas e complexas, exigindo que o fonoaudiólogo tome decisões específicas e diferenciadas, de acordo com as particularidades de cada caso.
Os participantes receberam a orientação de que cada questão do FonoTCS compreende um cenário (descrição do caso clínico) com quatro perguntas (itens) apresentadas em três partes distintas(14):
-
A primeira parte (“se você está pensando em”) aborda uma decisão clínica de relevância;
-
A segunda parte (“e você encontra”) introduz um achado clínico, como um sinal, sintoma, condição pré-existente, imagem diagnóstica ou resultado de exame/teste;
-
A terceira parte (“a hipótese se torna”) consiste em uma escala Likert de cinco pontos que captura as decisões dos participantes, no qual 1 indica situação “praticamente descartada/ totalmente contraindicada” e 5 uma situação “praticamente certa/absolutamente necessária”.
A tarefa dos participantes foi determinar o impacto da nova descoberta (segunda parte) na decisão clínica (primeira parte), em termos de direção (positiva, negativa ou neutra) e intensidade (terceira parte)(16).
Procedimentos
Avaliação dos especialistas
Nesta etapa, dos 27 fonoaudiólogos convidados, 25 (92,6%) avaliaram os 120 itens do instrumento. Todos receberam contato individual, com as explicações para responder o FonoTCS enviado pelo GoogleForms. Os especialistas tiveram um prazo de 30 dias para envio da resposta.
Avaliação dos estudantes
Dos 52 estudantes convocados para o Enade, 35 (67,3%) responderam o FonoTCS. Os participantes responderam o teste em uma sala da Universidade, em computadores individuais. O tempo de realização do teste para cada estudante foi mensurado.
Formato final do FonoTCS
Para definição do formato final do teste, primeiramente se realizou uma análise para identificar os juízes que seriam retirados da amostra, a partir do cálculo do z-score(17). Posteriormente foram avaliados os 120 itens do FonoTCS, e aqueles com correlação item/item total menor que 0,05 pelo teste de correlação de Pearson, foram eliminados(17).
Para a análise dos dados se utilizou um software disponível no site da Universidade de Montreal para a elaboração de TCS(18).
Escolha dos juízes especialistas
O critério utilizado para a seleção dos fonoaudiólogos juízes e definição da resposta “padrão ouro” do teste foi os valores padronizados Z2 e Z(19).
A Tabela 1 ilustra o processo inicial de avaliação dos 25 especialistas. A resposta mais adequada para cada item foi a moda de todos os especialistas. Foram excluídos do estudo aqueles fonoaudiólogos com percentual baixo de respostas iguais a moda do item e/ou se a soma das distâncias das respostas em relação à moda do item foi grande, ou seja, foram retirados os especialistas cujas avaliações apresentavam resultados de Z2 >2 e Z<-2 distantes da resposta modal.
A Tabela 2 apresenta a soma das distâncias absolutas das respostas em relação a moda de cada item (SD) e seu respectivo valor padronizado (Z2), ou seja, o valor de SD subtraído da média da coluna de SD dividido pelo desvio padrão da coluna de SD. Observa-se ainda, o percentual de respostas iguais a moda do item (PAM) e seu respectivo valor padronizado (Z).
Soma das distâncias (SD) e percentual de acerto em relação a moda (PAM) das respostas dos especialistas para os itens do FonoTCS
Assim, medidas de Z2 >2 e Z<-2 indicam avaliações de especialistas distantes da moda(17). Desta forma, na primeira rodada de interação, quatro especialistas (2, 6, 11 e 22) foram retirados do estudo. Toda a análise foi refeita sem estes especialistas e, quando necessário, novos especialistas foram retirados. Este processo foi finalizado quando não se detectou mais medidas com valores Z2 >2 e Z<-2. No total, foram realizadas oito rodadas de interação que resultaram na eliminação de 12 especialistas do estudo.
Seleção dos itens
O item foi considerado válido se a correlação de Pearson entre as notas transformadas dos estudantes para um determinado item, com a soma das notas transformadas para todos os itens, foi superior a 0,05(20). A nota transformada dos estudantes foi igual a frequência da nota do estudante na escala Likert no grupo de especialistas, dividido pela frequência da moda do grupo de especialistas.
A Tabela 3 ilustra parte das notas dos estudantes utilizando a Escala Likert, bem como a moda dos especialistas e respectiva frequência da moda.
Respostas dos estudantes de acordo com a escala Likert para cada item do FonoTCS e valor da moda e frequência da moda dos especialistas
Na Tabela 4 observa-se as notas transformadas (T) e a respectiva soma das notas transformadas (SNT). Por exemplo, a nota 0,167 para o Estudante 1 para o item 1 é obtida dividindo a frequência da nota 3 (oriunda da Tabela 3) no grupo de especialistas pela frequência da moda no grupo de especialistas, isto é, 1/6. Já a nota transformada 0,222 do estudante 6 para o quesito 2 é obtida pela fração 2/9.
Notas transformadas dos estudantes (NT) e soma das notas transformadas (SNT) para cada item do FonoTCS
Após transformar as notas dos estudantes, foram calculadas todas as 120 correlações entre as notas transformadas registradas nas colunas da Tabela 4 (por exemplo, NTq1) com a coluna SNT. Correlações de Pearson maiores que 0,05 indicam que o item deve permanecer no estudo(20).
Nesta etapa, dos 120 itens, 27 itens foram retirados do estudo por apresentarem correlações menores do que 0,05. Todo o processo foi repetido reiteradamente até que todas as correlações fossem maiores do que 0,05. Outros cinco itens foram retirados devido a recomendação de que cada cenário (caso clínico) precisa ter pelo menos dois itens que o caracteriza(14), portanto, após quatro rodadas de interações, 88 itens compuseram o instrumento final.
Análise dos dados
Após a retirada de especialistas e itens e definição do formato final do FonoTCS, o teste Alfa de Cronbach foi aplicado para medir a consistência interna do teste.
As respostas do FonoTCS foram definidas usando o método de escore agregado(15). A pontuação foi baseada na distribuição das respostas entre os especialistas para cada item. Créditos totais foram dados à resposta modal (mais escolhida pelos especialistas) e créditos parciais foram atribuídos a outras respostas, conforme a proporção de escolha dos fonoaudiólogos especialistas. Respostas não escolhidas pelos juízes receberam pontuação zero.
Posteriormente, os resultados das respostas dos estudantes e dos especialistas foram comparados para avaliar as respostas de ambos os grupos, a partir de análise descritiva dos dados.
Ao finalizar o FonoTCS, o respondente receberá uma nota final. A pontuação total final para o teste é a soma dos pontos obtidos em cada item. Este valor é dividido pelo número de itens do teste e no fim multiplicado por 100 para se obter um escore percentual(5).
RESULTADOS
Participaram do estudo, após a definição do formato final do FonoTCS, 13 especialistas (52%) dos 25 fonoaudiólogos que responderam o FonoTCS, sendo 12 mulheres (92,0%) e um homem (8,0%) com média de idade de 41,7 anos (DP=6,43). Em relação ao nível de escolaridade a amostra contou com um especialista (08%), oito mestres (61%) e quatro doutores (31%), com tempo médio de atuação clínica generalista de 17,9 anos (DP=6,3).
Dos 35 estudantes do curso de fonoaudiologia, discentes dos 9º e 10º períodos convocados para o Enade, a maioria era do sexo feminino (n=32; 91,4%) com idade média de 25,5 anos (DP=7,76). O tempo médio para a realização do FonoTCS pelos estudantes foi de 58,9 minutos (DP = 8,93).
O instrumento final apresentou 88 itens distribuídos em 28 casos clínicos sendo seis casos para as áreas de conhecimento da fonoaudiologia de audiologia, linguagem, motricidade orofacial/disfagia, e cinco casos para as áreas de voz e saúde coletiva.
As Figuras 1 e 2 ilustram os gráficos de probabilidade normal para os valores Z2 e Z dos 13 especialistas, respectivamente. Observa-se que não existe evidência para rejeitar que os dados sejam normais ao nível de significância 5% (p-valor 0,05 para o teste Anderson Darling) e nenhum especialista apresentou valor de Z2 >2 e/ou Z< -2.
Gráfico de QQ Plot para dados padronizados de Z2 dos especialistas que ficaram na versão final (n=13)
Gráfico de QQ Plot para dados padronizados de Z dos especialistas que ficaram na versão final (n=13)
Utilizando os dados transformados descritos na Tabela 4 com os 88 Itens que permaneceram no estudo, obteve-se um Alfa de Cronbach igual a 0,903 com intervalo de confiança de 95% expresso por 0,86|---|0,95. Estes valores indicam uma alta consistência interna entre os itens do FonoTCS(21).
Podemos observar na Figura 3 que os 13 especialistas apresentaram, como esperado, um desempenho médio maior quando comparado aos estudantes (n=35) além de uma variabilidade menor. Em relação aos estudantes, observou-se uma grande variabilidade e um desempenho médio inferior aos dos especialistas.
Podemos observar que determinados estudantes (19, 20, 31, 32 e 34) apresentaram um desempenho muito bom e comparável ao dos especialistas, podendo ser chamados de “estudantes especialistas” considerando a avaliação dos 88 itens e corroborando um adequado processo de aprendizagem. Por outro lado, alguns estudantes (2, 4, 12, 13, 16, 22, 29 e 33), apresentaram desempenho médio, em termos descritivos, inferior ao dos especialistas.
O formato final do FonoTCS está disponível para acesso gratuito na página da Faculdade de Medicina da Universidade Federal de Minas Gerais, pelo link https://fonotcs.medicina.ufmg.br/.
DISCUSSÃO
Os resultados desta pesquisa indicaram que é possível avaliar o raciocínio clínico de estudantes e jovens fonoaudiólogos com formação generalista. O FonoTCS foi considerado apropriado para avaliar a capacidade dos examinandos em gerar hipóteses e decidir sobre tomadas de decisão no processo diagnóstico e terapêutico, em contextos de incerteza no campo fonoaudiológico.
O formato inicial do FonoTCS, com conteúdo validado(12), foi composto por 120 itens distribuídos em 30 casos clínicos de seis áreas de conhecimento da Fonoaudiologia (audiologia, linguagem, motricidade orofacial, disfagia, voz e saúde coletiva) com quatro itens cada. Já seu formato final foi composto por 28 casos clínicos com 88 itens, sendo seis casos para as áreas de conhecimento de audiologia, linguagem, motricidade orofacial/disfagia e cinco casos para as áreas de voz e saúde coletiva.
A configuração final do FonoTCS foi definida em duas etapas de análise: 1) seleção dos especialistas a partir dos valores padronizados Z2 e Z; e 2) retirada dos itens com correlação item/item total menor que 0,05. Uma característica única dos Testes de Concordância de Scripts (TCSs) é a formação de um painel de especialistas de referência, que tem a função de determinar a pontuação final do teste(15,17).
Os guias para a elaboração dos TCSs indicam que, para se obter testes confiáveis, são necessários de 10 a 15 juízes para alcançar estimativas adequadas de confiabilidade, com um benefício marginal ao se ter mais de 20 especialistas(13-17,22). Dos 25 fonoaudiólogos que responderam ao FonoTCS, 13 especialistas foram mantidos na análise final para a definição das respostas de referência do teste, conforme sugerido pela literatura(22).
Após a análise da correlação item/item total, foram retirados 27 itens (22,5%), e depois cinco por ficarem com cenários (casos clínicos) contendo apenas dois itens, totalizando 32 (26,7%) itens retirados. Segundo a literatura(14), estima-se a retirada de aproximadamente 25% dos itens na elaboração dos TCSs. O uso de três a quatro itens por caso no TCS é justificado por questões teóricas e psicométricas do teste(23). Guias de elaboração de TCSs recomendam de 20 a 25 casos com, no mínimo, 75 itens(13-16), para se alcançar uma aceitável confiabilidade(14). O FonoTCS respeitou todas as recomendações(13-16) para elaboração dos TCSs, apresentando um formato composto por 28 casos clínicos com 88 itens, com três a quatro itens por caso.
O tempo de resposta do teste é de aproximadamente 60 minutos. Pesquisa(22) afirma que TCSs com tempos de teste entre 60 e 90 minutos demonstraram produzir uma confiabilidade de pontuação adequada(22).
O Alfa de Cronbach obtido foi de 0,903, com um intervalo de confiança de 95% variando entre 0,86 e 0,95. Esses valores indicam uma alta consistência interna entre os itens do FonoTCS(21). Considerando que os 88 itens do FonoTCS estão distribuídos em 28 casos clínicos, cada um representando situações distintas e complexas em diferentes áreas da Fonoaudiologia, essa diversidade garante que a alta consistência interna não é resultado de itens homogêneos, minimizando o risco de uma inflação artificial do alfa de Cronbach, e reforçando a validade do instrumento para avaliar o raciocínio clínico do fonoaudiólogo com formação generalista. Outro aspecto a se destacar é que o FonoTCS foi submetido à validação de conteúdo e demonstrou ser um instrumento válido em termos de clareza, pertinência e aspectos éticos(12).
Diferentes TCSs validados para avaliar o raciocínio clínico em medicina, abrangendo situações clínicas de reumatologia(24), otorrinolaringologia(25) e anestesiologia(26), apresentaram valores de Alfa de Cronbach de 0,82(24,25) e 0,79(26), todos dentro da faixa de 0,75 a 0,80 recomendada pela literatura(14).
Na fonoaudiologia, foi desenvolvido um TCS para estudantes falantes do espanhol chileno(10) com 80 itens e uma confiabilidade de 0,67 (mínimo = 0,34; máximo = 0,84). Os autores concluem que, embora o teste tenha apresentado uma baixa confiabilidade global, a estratificação por área de especialidade de cada cenário ofereceu um panorama heterogêneo(10). Destaca-se o fato de os autores(10) não terem seguido todas as normas de elaboração do TCS(13-16), o que talvez, pode ter influenciado nos resultados encontrados.
Os resultados de consistência interna do FonoTCS de 0,903 demonstram que os itens do teste estão correlacionados entre si e, portanto, medem de forma coerente o mesmo constructo, definindo o FonoTCS como um instrumento de avaliação com confiabilidade nas pontuações obtidas(21), e resultados dentro do esperado para os TCSs(14,15).
As respostas fornecidas pelos fonoaudiólogos especialistas definiram a pontuação final do FonoTCS a partir do método de escore agregado(13-16). Para exemplificar este método, suponha que um painel de 15 membros foi solicitado a responder à primeira pergunta do teste, e oito membros selecionaram a resposta +1, cinco membros selecionaram a resposta +2, e dois membros selecionaram a resposta 0. A pontuação para este item seria: resposta +1, 1 ponto (8/8), por ser a resposta modal; resposta +2, 0,625 pontos (5/8); resposta 0, 0,25 pontos (2/8); e respostas -1 e -2 com 0 pontos.
A variabilidade na pontuação das respostas do painel é uma característica inerente ao TCS e tem demonstrado ser um elemento chave na sua capacidade discriminativa e, consequentemente, em sua validade(16).
O método de escore agregado descrito acima é o método mais comumente utilizado nos TCSs(27). No entanto, é importante reconhecer que o método de pontuação ideal para o TCS ainda é debatido(28). O método de escore agregado exige ainda pesquisas psicométricas sobre aspectos como nível de consenso, escala de pontuação e sua relação com a discriminação entre as respostas de profissionais experientes e jovens clínicos(13).
Apesar do debate sobre o melhor método de análise a ser utilizado nos TCSs(28), a variabilidade nas pontuações das respostas é essencial para esses testes. A fundamentação teórica dos TCSs baseia-se no desenvolvimento dos scripts a partir da experiência individual do clínico com pacientes, o que resulta em um grau significativo de idiossincrasia, especialmente em casos menos comuns. Portanto, a variabilidade nas respostas, a partir da pontuação do método de escore agregado, é central para a argumentação sobre a validade dos TCSs na capacidade de medir o raciocínio clínico(15).
Como descrito, o método de escore agregado pondera as respostas com base em sua frequência no painel de especialistas, permitindo uma pontuação que reflete a opinião coletiva, com atribuição de pesos proporcionais às respostas menos frequentes.
Um dos principais impactos positivos desse método é sua capacidade de captar a variabilidade nas respostas dos especialistas, o que contribui para a discriminação fina entre diferentes níveis de raciocínio clínico. Esse aspecto é fundamental para a validade do FonoTCS, pois a variabilidade observada reflete as diferentes experiências e formações dos profissionais, especialmente em casos clínicos mais raros ou complexos(16). Essa capacidade discriminativa reforça o argumento de que o FonoTCS é sensível às nuances do raciocínio clínico, uma característica central dos TCSs(13-16).
Por outro lado, um impacto potencialmente negativo do método de escore agregado é que ele pode introduzir alguma subjetividade nas pontuações, principalmente quando há um alto grau de dispersão nas respostas dos especialistas. Essa variação pode dificultar a criação de um padrão claro para todos os casos, o que levanta a necessidade de mais pesquisas psicométricas, como a investigação do nível de consenso necessário para definir respostas corretas e a análise da relação entre esse consenso e a discriminação entre clínicos experientes e jovens profissionais(13).
Portanto, enquanto o método de escore agregado oferece uma maneira robusta de refletir a diversidade de respostas e experiências clínicas no FonoTCS, reconhecemos que ele também apresenta desafios que exigem investigação adicional. Entretanto, os resultados deste estudo indicam que essa abordagem é eficaz em capturar a complexidade do raciocínio clínico fonoaudiológico, contribuindo para a validade do instrumento(17,28).
O FonoTCS será apresentado no formato eletrônico, de acesso livre, para apresentar exames por imagem e para devolutiva dos resultados aos examinandos em tempo real(14,15). Ao finalizar o FonoTCS, o respondente receberá uma nota final calculada da seguinte forma: a pontuação total é obtida somando os pontos de cada item do teste. Esta soma é então dividida pelo número total de itens do teste e multiplicada por 100 para se obter um escore percentual e facilitar a interpretação do resultado(5).
Ao se comparar os resultados dos 13 fonoaudiólogos especialistas com os dos 35 estudantes, os especialistas demonstraram um desempenho superior com uma variabilidade significativamente menor. Alguns estudantes exibiram um excelente desempenho, comparável ao dos especialistas, enquanto outros mostraram um desempenho descritivamente inferior ao dos especialistas. Tais resultados são esperados e demonstram a capacidade dos TCSs discriminar diferentes níveis de raciocínio clínico(13-16).
Como limitação deste estudo, é importante destacar que a elaboração de um TCS requer um investimento significativo de recursos humanos, tempo e dedicação. Em um contexto em que a eficiência é crucial, adaptações rápidas e eficazes dos métodos de avaliação são essenciais para assegurar a qualidade do ensino de profissionais da saúde. Um estudo recente(29) explorou o desenvolvimento de um TCS apoiado por inteligência artificial (IA), ressaltando que o ChatGPT pode ser uma ferramenta promissora na criação desses testes. Esta pesquisa(29) abre novas perspectivas para futuras investigações no campo do TCS.
O cenário atual destaca a necessidade de desenvolver novos TCSs para avaliar o raciocínio clínico nas diversas especialidades da fonoaudiologia. No contexto de formação generalista, o FonoTCS mostrou ser uma ferramenta útil e inovadora para a avaliação do raciocínio clínico de fonoaudiólogos falantes do português brasileiro.
O FonoTCS se mostrou eficaz como ferramenta avaliativa, mas também desempenha um papel importante no processo de ensino-aprendizagem. Ao expor os estudantes a cenários clínicos reais e desafiadores, ele incentiva a aplicação prática do conhecimento teórico, promovendo o desenvolvimento de um raciocínio clínico mais robusto e integrado.
Essa abordagem ativa e contextualizada permite que os alunos reflitam sobre suas decisões e aprimorem suas habilidades de tomada de decisão, aspectos essenciais para sua formação profissional. A relevância do FonoTCS no processo educacional reside em sua capacidade de simular situações de incerteza que são frequentes na prática clínica, contribuindo para uma formação mais completa e alinhada às demandas do mercado de trabalho e à realidade da atuação fonoaudiológica.
CONCLUSÃO
O FonoTCS é válido e confiável para ser utilizado na avaliação do raciocínio clínico de jovens profissionais e estudantes de fonoaudiologia com formação generalista, falantes do português brasileiro.
-
Trabalho realizado no Programa de Pós-graduação em Ciências Fonoaudiológicas, Universidade Federal de Minas Gerais – UFMG - Belo Horizonte (MG), Brasil.
-
Fonte de financiamento:
Conselho Nacional de Desenvolvimento Científico e Tecnológico-Brasil (CNPq) (304475/2023-8). Instituto de Estudos Avançados Transdisciplinares (IEAT), Universidade Federal de Minas Gerais (UFMG).
REFERÊNCIAS
- 1 Newble D, Norman G, Van der Vleuten C. Assessing clinical reasoning. In: Jones JHM, editor. Clinical reasoning in the health professions. 2nd ed. Oxford: Butterworth Heinemann; 2000. p. 156-68.
-
2 Young ME, Thomas A, Lubarsky S, Gordon D, Gruppen LD, Rencic J, et al. Mapping clinical reasoning literature across the health professions: a scoping review. BMC Med Educ. 2020;20(1):107. http://doi.org/10.1186/s12909-020-02012-9 PMid:32264895.
» http://doi.org/10.1186/s12909-020-02012-9 -
3 Nalini YC, Manivasakan S, Pai DR. Comparison between MCQ, Extended matching questions (EMQ) and Script concordance test (SCT) for assessment among first-year medical students: a pilot study. J Educ Health Promot. 2024;13(1):52. http://doi.org/10.4103/jehp.jehp_839_23 PMid:38549656.
» http://doi.org/10.4103/jehp.jehp_839_23 -
4 Charlin B, Tardif J, Boshuizen HP. Scripts and medical diagnostic knowledge: theory and applications for clinical reasoning instruction and research. Acad Med. 2000;75(2):182-90. http://doi.org/10.1097/00001888-200002000-00020 PMid:10693854.
» http://doi.org/10.1097/00001888-200002000-00020 -
5 Charlin B, Roy L, Brailovsky C, Goulet F, van der Vleuten C. The Script Concordance test: a tool to assess the reflective clinician. Teach Learn Med. 2000;12(4):189-95. http://doi.org/10.1207/S15328015TLM1204_5 PMid:11273368.
» http://doi.org/10.1207/S15328015TLM1204_5 -
6 Fong JMN, Hoe RHM, Huang DH, Wong JC, Kee JXL, Teng KLA, et al. Script concordance test to assess clinical reasoning in acute medicine. Ann Acad Med Singap. 2023;52(7):383-5. http://doi.org/10.47102/annals-acadmedsg.202327 PMid:38904506.
» http://doi.org/10.47102/annals-acadmedsg.202327 -
7 Redmond C, Jayanth A, Beresford S, Carroll L, Johnston ANB. Development and validation of a script concordance test to assess biosciences clinical reasoning skills: a cross-sectional study of 1st year undergraduate nursing students. Nurse Educ Today. 2022;119:105615. http://doi.org/10.1016/j.nedt.2022.105615 PMid:36334475.
» http://doi.org/10.1016/j.nedt.2022.105615 -
8 Vital S, Wulfman C, Girard F, Tamimi F, Charlin B, Ducret M. Script concordance tests: a call for action in dental education. Eur J Dent Educ. 2021;25(4):705-10. http://doi.org/10.1111/eje.12649 PMid:33486880.
» http://doi.org/10.1111/eje.12649 -
9 O’Brien SR, Dillon N, Linsky M, Lagueras K, Uhl J, Conroy S, et al. Initial validation of a script concordance test to measure the development of clinical reasoning among physical therapy residents. J Clin Educ Phys Ther. 2023;5:1-9. http://doi.org/10.52214/jcept.v5.9014
» http://doi.org/10.52214/jcept.v5.9014 -
10 Silva Ríos AP, Campo Rivas MND, Kuncar Uarac PK, Calvo Sprovera VA. Reliability of a script agreement test for undergraduate speech-language therapy students. CoDAS. 2023;35(5):e20220098. http://doi.org/10.1590/2317-1782/20232022098en PMid:37970957.
» http://doi.org/10.1590/2317-1782/20232022098en -
11 AERA: American Educational Research Association. APA: American Psychological Association. NCME: National Council on Measurement in Education. Joint Committee on Standards for Educational and Psychological Testing. Standards for educational and psychological testing [Internet]. Washington, D.C.; 2014 [citado em 2024 Jul 9]. Disponível em: https://www.apa.org/science/programs/testing/standards
» https://www.apa.org/science/programs/testing/standards -
12 Gama ACC, Mourão AM, Medeiros AM, Mancini PC, Machado TH, Santos LG, et al. Teste para avaliação do raciocínio clínico em Fonoaudiologia: validade de conteúdo. CoDAS. 2024;36(4):e20230276. http://doi.org/10.1590/2317-1782/20242023276en PMid:38836832.
» http://doi.org/10.1590/2317-1782/20242023276en -
13 Fournier JP, Demeester A, Charlin B. Script concordance test: guidelines for construction. BMC Med Inform Decis Mak. 2008;8(1):18. http://doi.org/10.1186/1472-6947-8-18 PMid:18460199.
» http://doi.org/10.1186/1472-6947-8-18 -
14 Dory V, Gagnon R, Vanpee D, Charlin B. How to construct and implement script concordance tests: insights from a systematic review. Med Educ. 2012;46(6):552-63. http://doi.org/10.1111/j.1365-2923.2011.04211.x PMid:22626047.
» http://doi.org/10.1111/j.1365-2923.2011.04211.x -
15 Lubarsky S, Dory VR, Duggan P, Gagnon R, Charlin B. Script concordance testing: From theory to practice: AMEE Guide No. 75. Med Teach. 2013;35(3):184-93. http://doi.org/10.3109/0142159X.2013.760036 PMid:23360487.
» http://doi.org/10.3109/0142159X.2013.760036 -
16 See KC, Tan KL, Lim TK. The script concordance test for clinical reasoning: re-examining its utility and potential weakness. Med Educ. 2014;48(11):1069-77. http://doi.org/10.1111/medu.12514 PMid:25307634.
» http://doi.org/10.1111/medu.12514 -
17 Gagnon R, Lubarsky S, Lambert C, Charlin B. Optimization of answer keys for script concordance testing: should we exclude deviant panelists, deviant responses, or neither? Adv Health Sci Educ Theory Pract. 2011;16(5):601-8. http://doi.org/10.1007/s10459-011-9279-2 PMid:21286807.
» http://doi.org/10.1007/s10459-011-9279-2 -
18 Université de Montréal [Internet]. 2024 [citado em 2024 Jul 9]. Disponível em: https://cpass.umontreal.ca/
» https://cpass.umontreal.ca/ -
19 Charlin B, Gagnon R, Lubarsky S, Lambert C, Meterissian S, Chalk C, et al. Assessment in the context of uncertainty using the script concordance test: more meaning for scores. Teach Learn Med. 2010;22(3):180-6. http://doi.org/10.1080/10401334.2010.488197 PMid:20563937.
» http://doi.org/10.1080/10401334.2010.488197 -
20 Wan SH. Using the script concordance test to assess clinical reasoning skills in undergraduate and postgraduate medicine. Hong Kong Med J. 2015;21(5):455-61. http://doi.org/10.12809/hkmj154572 PMid:26314569.
» http://doi.org/10.12809/hkmj154572 - 21 Hogan TP. Psychological testing: a practical introduction. 3rd ed. New York: John Wiley & Sons; 2013. 699 p.
-
22 Gagnon R, Charlin B, Coletti M, Sauve E, van der Vleuten C. Assessment in the context of uncertainty: how many members are needed on the panel of reference of a script concordance test? Med Educ. 2005;39(3):284-91. http://doi.org/10.1111/j.1365-2929.2005.02092.x PMid:15733164.
» http://doi.org/10.1111/j.1365-2929.2005.02092.x -
23 Kassirer J. Teaching clinical reasoning: case-based and coached. Acad Med. 2010;85(7):1118-24. http://doi.org/10.1097/ACM.0b013e3181d5dd0d PMid:20603909.
» http://doi.org/10.1097/ACM.0b013e3181d5dd0d -
24 Mathieu S, Couderc M, Glace B, Tournadre A, Malochet-Guinamand S, Pereira B, et al. Construction and utilization of a script concordance test as an assessment tool for DCEM3 (5th year) medical students in rheumatology. BMC Med Educ. 2013;13(1):166. http://doi.org/10.1186/1472-6920-13-166 PMid:24330600.
» http://doi.org/10.1186/1472-6920-13-166 -
25 Ganesan S, Bhandary S, Thulasingam M, Chacko TV, Zayapragassarazan Z, Ravichandran S, et al. Developing script concordance test items in otolaryngology to improve clinical reasoning skills: validation using consensus analysis and psychometrics. Int J Appl Basic Med Res. 2023;13(2):64-9. http://doi.org/10.4103/ijabmr.ijabmr_604_22 PMid:37614842.
» http://doi.org/10.4103/ijabmr.ijabmr_604_22 -
26 Omega A, Wijaya Ramlan AA, Soenarto RF, Heriwardito A, Sugiarto A. Assessing clinical reasoning in airway related cases among anesthesiology fellow residents using Script Concordance Test (SCT). Med Educ Online. 2022;27(1):2135421. http://doi.org/10.1080/10872981.2022.2135421 PMid:36258663.
» http://doi.org/10.1080/10872981.2022.2135421 -
27 Charlin B, Van Der Vleuten C. Standardized assessment of reasoning in context of uncertainty. The Script Concordance Test approach. Eval Health Prof. 2004;27(3):304-19. http://doi.org/10.1177/0163278704267043 PMid:15312287.
» http://doi.org/10.1177/0163278704267043 -
28 Bland AC, Kreiter CD, Gordon JA. The psychometric properties of five scoring methods applied to the script concordance test. Acad Med. 2005;80(4):395-9. http://doi.org/10.1097/00001888-200504000-00019 PMid:15793026.
» http://doi.org/10.1097/00001888-200504000-00019 -
29 Hudon A, Kiepura B, Pelletier M, Phan V. Using ChatGPT in psychiatry to design script concordance tests in undergraduate medical education: mixed methods study. JMIR Med Educ. 2024;10:e54067. http://doi.org/10.2196/54067 PMid:38596832.
» http://doi.org/10.2196/54067
