Propiedades psicométricas del Incivility in Nursing Education - Revised Survey versión brasileña ^*

Resumen

Objetivo:  analizar las propiedades psicométricas de la versión brasileña del Incivility in Nursing Education - Revised Survey con estudiantes de graduación en enfermería.

Método:   estudio metodológico, realizado en una escuela de enfermería del estado de São Paulo. Se trata del análisis de las propiedades psicométricas (confiabilidad y validez de constructo) de los ítems del INE-R Survey - versión brasileña. La validez de constructo fue realizada por Análisis Factorial Confirmatorio y la confiabilidad por el test-retest, para verificación de la estabilidad del instrumento, calculada por el Coeficiente de Correlación Intraclase y por medio de la consistencia interna de los ítems, según los coeficientes alfa de Cronbach, alfa ordinal y omega de McDonald.

Resultados:  hubo ajuste del modelo propuesto del análisis factorial confirmatorio con dos factores (baja y alta incivilidad), con sugerencia de exclusión de un ítem para estudiantes. La mayoría de los valores de ajustes, para los ítems de los estudiantes y la totalidad para los profesores, atendió las referencias establecidas por la literatura; los valores para los Coeficientes de Consistencia Interna fueron mayores que 0,80 y los Coeficientes de Correlación Intraclase mayores que 0,75.

Conclusión:  la versión brasileña del Incivility in Nursing Education - Revised Survey se encuentra validada para el contexto estudiado, presentando confiabilidad satisfactoria y validez, por el análisis factorial que confirmó el modelo original con dos factores, con 23 ítems, retratando comportamientos de estudiantes y 24 de profesores.

Descriptores:
Enfermería; Incivilidad; Estudios de Validación; Educación; Estudiantes de Enfermería; Maestros

Destacados:  (1) La incivilidad es un fenómeno global y creciente en la enseñanza superior. (2) El ambiente incivil interfiere en el aprendizaje y en los indicadores de salud. (3) Presentamos una survey validada para medir la incivilidad en la enseñanza de enfermería.

Abstract

Objective:  to analyze the psychometric properties of the Incivility in Nursing Education - Revised Survey - Brazilian version with undergraduate nursing students.

Method:  methodological study conducted in a nursing school in São Paulo state. It is the analysis of the psychometric properties (reliability and construct validity) of the items in the INE-R survey - Brazilian version. Construct validity was performed by Confirmatory Factor Analysis, and reliability by test-retest in order to verify the instrument’s stability, as calculated by the Intraclass Correlation Coefficient and the Internal Consistency of the items according to Cronbach’s alpha, ordinal alpha and McDonalds’s omega coefficients.

Results:  Confirmatory Factor Analysis fitted the proposed model with two factors (low and high incivility), with a suggestion to exclude one of student items. Most of the fitting values for the student items and all of the faculty-member items complied with the references established in the literature; the values for Internal Consistency Coefficients were greater than 0.80, and Intraclasss Correlation Coefficients were greater than 0.75.

Conclusion:  the Brazilian version of the Incivility in Nursing Education - Revised Survey is validated for the studied context, as it has shown satisfactory reliability and validity by means of factor analysis, which has confirmed the original two-factor model, with 23 items addressing student behaviors and 24 items applied to faculty behaviors.

Descriptors:
Nursing; Incivility; Validation Studies; Education; Students, Nursing; Teachers

Highlights:  (1) Incivility is a global and growing phenomenon in higher education. (2) An uncivil environment interferes with learning and health indicators. (3) A validated survey to measure incivility in nursing education is presented.

Resumo

Objetivo:  analisar as propriedades psicométricas da versão brasileira do Incivility in Nursing Education - Revised survey com estudantes de graduação em enfermagem.

Método:  estudo metodológico, realizado em uma escola de enfermagem paulista. Trata-se da análise das propriedades psicométricas (fidedignidade e validade de construto) dos itens do INE-R survey - versão brasileira. A validade de construto foi realizada por Análise Fatorial Confirmatória e a fidedignidade pelo teste-reteste, para verificação da estabilidade do instrumento, calculada pelo Coeficiente de Correlação Intraclasse e por meio da consistência interna dos itens, segundo os coeficientes alfa de Cronbach, alfa ordinal e ômega de McDonald.

Resultados:  houve ajuste ao modelo proposto da análise fatorial confirmatória com dois fatores (baixa e alta incivilidade), com sugestão de exclusão de um item para estudantes. A maioria dos valores de ajustes para os itens dos estudantes e a totalidade para os professores atenderam às referências estabelecidas pela literatura; os valores para os Coeficientes de Consistência Interna foram maiores que 0,80 e os Coeficientes de Correlação Intraclasse, maiores que 0,75.

Conclusão:  a versão brasileira do Incivility in Nursing Education - Revised Survey encontra-se validada para o contexto estudado, apresentando fidedignidade satisfatória e validade, pela análise fatorial, que confirmou o modelo original com dois fatores, com 23 itens retratando comportamentos de estudantes e 24, de professores.

Descritores:
Enfermagem; Incivilidade; Estudos de Validação; Educação; Estudantes de enfermagem; Professores

Destaques:  (1) A incivilidade é um fenômeno global e crescente no ensino superior. (2) O ambiente incivil interfere na aprendizagem e nos indicadores de saúde. (3) Apresenta-se um survey validado para medir a incivilidade no ensino de enfermagem.

Introducción

Por más de cuatro décadas, el ambiente de la enseñanza superior, incluyendo el de Enfermería, ha sido escenario de comportamiento incivil, es decir, comportamiento que no atiende al cumplimiento de reglas sociales para la convivencia social¹. Incivilidad es cualquier comportamiento que estorbe el proceso de aprendizaje e interfiera en el ambiente de aprendizaje cooperativo.

Algunas veces descrita como abuso de poder sobre otros², la incivilidad puede ser expresada como comportamientos dirigidos a otra persona, desde formas menos agresivas como insultos, desacuerdos y conflictos o, por formas más serias de comportamientos agresivos, tal como la violencia física entre individuos. La incivilidad puede también representar cualquier diálogo, interacción o actitud que afecta desfavorablemente el bienestar de estudiantes o docentes, debilitando las relaciones profesionales, bloqueando el proceso de enseñanza-aprendizaje e interfiriendo en la calidad de la salud física y mental³.

Si permitidos los comportamientos inciviles pueden suscitar un proceso en cadena, en el cual se genera cada vez más incivilidades. En ese sentido, profesores, tutores y gestores académicos deben estar aptos para reducir esos comportamientos, en los distintos ambientes educacionales, evitando que incivilidades impacten negativamente en las relaciones y aprendizaje, tanto teórico como práctico, comprometiendo la formación del futuro enfermero^4)-(5.

La presencia de incivilidad, tanto en el ambiente de enseñanza como en la práctica de enfermería, es un fenómeno global⁶, constatado por estudios realizados en distintas culturas, como en Irán^7)-(8, Emiratos Árabes⁶, Afganistán⁹, Canadá⁽¹⁰, Italia¹¹, China¹², Indonesia¹³, Corea¹⁴, Turquía¹⁵ y Estados Unidos de América^16)-(17, entre otros. A pesar de ser global, un estudio reciente multicéntrico, con docentes de enfermería de 10 países, identificó que este es un fenómeno percibido de manera diferente entre los países que participaron del estudio¹⁸.

Los actos inciviles u otras formas de agresión ocurren tanto en las relaciones presenciales como en las relaciones virtuales, que frecuentemente tratan de las comunicaciones en redes sociales o en actividades académicas remotas; en la enfermería se observó el crecimiento de comportamientos inciviles en la enseñanza online¹⁹. Se trata de un proceso complejo y multidireccional, en que estudiantes, profesores y preceptores pueden contribuir para un clima de falta de respeto, de uno con el otro, o durante el proceso de aprendizaje, empleando comportamientos relacionados al género²⁰, a no comparecer a las clases²¹, a respuestas desnecesarias²², e actos impulsivos y agresivos exhibidos online²³, entre otros.

Estudios apuntan la correlación positiva entre estrés y comportamientos de incivilidad^4),(23)-(24. Durante la pandemia de COVID-19, un período en que las clases remotas fueron potencializadas, algunas investigaciones informaron un aumento del estrés, ansiedad y depresión, referido por estudiantes de enfermería¹⁶.

Como fue destacado en el modelo conceptual de incivilidad en educación de enfermería²⁵, a partir de la percepción de la presencia de comportamientos inciviles, sobre todo de profesores, los estudiantes responden con: posibilidad de mantenerse en la institución y conformarse de acuerdo a lo esperado (loyalty); de desafiar el status quo y esforzarse para cambiar esos comportamientos en la institución (voice); o, de dejar la escuela (exit). Las respuestas emocionales, expectativas y decisiones son dependientes del soporte que el estudiante pueda recibir, lo que contribuirá para el éxito de la conclusión del curso²⁵.

Los rompimientos de las normas acordadas para el ambiente escolar, presencial o remoto, por los estudiantes o profesores, perjudican el proceso de enseñanza-aprendizaje; estos deben ser identificados, así como sus factores causales, para que puedan ser administradas y enfrentadas.

Uno de los instrumentos creados para medir comportamientos no civilizado es el Incivility in Nursing Education Survey (INE). Al construir el INE y en sus sucesivas revisiones, la autora buscó identificar las percepciones de estudiantes y profesionales sobre los comportamientos que representarían la amplitud del fenómeno de incivilidad. Estudios desarrollados en distintas culturas o con profesionales y estudiantes, de diferentes tipos de programas de enfermería, apuntan similitudes en esos comportamientos. Evidencias usadas para desarrollar y revisar el INE-R³ describen la base para inclusión de comportamientos específicos de estudiantes y profesores. Esos comportamientos retratan un continuum, denominado Continuum of Workplace Aggresion²⁶, que caracteriza una estructura confiable con una serie de comportamientos inciviles, la cual comprende desde comportamientos disruptivos o de bajo nivel de incivilidad, hasta comportamientos más serios como violencia física o tragedias; estos comportamientos cuando relacionados a los estudiantes, contemplan distracciones o falta de respeto en la sala de clases, falta de respeto por el otro o, también, desinterés general por la clase²⁷.

El INE-R, desarrollado en 2004, está compuesto por: definición de incivilidad; por datos de identificación del encuestado, por un conjunto de ítems en que constan los comportamientos inciviles practicados por profesores; otro conjunto de ítems con comportamientos inciviles practicados por los estudiantes; y, además de preguntas evaluativas. El proceso de elaboración del INE y de sus revisiones está descrito en la literatura^28)-(29. En 2014 el INE-R original fue revisado y renombrado como Incivility in Nursing Education - Revised (INE-R) Survey, en el cual algunos ítems fueron revisados y se añadieron dos preguntas con espacios en blanco, para registro discursivo sobre las experiencias de los encuestados con incivilidad académica y modos de prevenir y enfrentar el problema. La versión INE-R fue validada entre estudiantes y profesores de enfermería norteamericanos y obtuvo resultados adecuados de su estructura y confiabilidad^3),(7.

El INE-R³ fue también validado con estudiantes coreanos¹⁴ y árabes³⁰. Delante de los éxitos de las investigaciones que lo emplearon y de la importancia de contar con un instrumento válido y confiable, para medir comportamientos inciviles, figuró como fue objeto del presente estudio, cuyo objetivo fue analizar las propiedades psicométricas de la versión brasileña del Incivility in Nursing Education - Revised Survey con estudiantes de graduación en enfermería.

Método

Tipo de estudio, local y período

Se trata de un estudio metodológico referente a las etapas de verificación de la validez, según análisis de la estructura factorial y de la confiabilidad, realizado en una institución pública de enseñanza superior en enfermería de una ciudad del interior del estado de Sao Paulo, Brasil, de junio de 2021 a marzo de 2022. Preliminarmente, a la etapa del estudio descrita, se procedió a la adaptación cultural y evaluación semántica del INE-R³¹.

Participantes y criterios de selección

Fueron invitados a participar del estudio todos los estudiantes de graduación (n = 440) en enfermería, regularmente matriculados en la institución, excepto los del primer año lectivo, debido a que los participantes deberían tener previamente, por lo menos 12 meses de vivencia en el curso, para responder al INE-R³. De los elegibles - es decir, todos estudiantes del curso de graduación excepto los del primer año - 60% aceptaron participar del estudio. No hubo solicitación de abandono durante el llenado del instrumento.

Recolección de datos e instrumentos utilizados

El reclutamiento y la recolección de datos fueron realizados después de la aquiescencia de la institución y del colegiado responsable por la enseñanza de graduación. La invitación y el suministro del consentimiento informado y de los instrumentos de recolección fueron elaborados por una de las autoras y suministrados cada estudiante, durante los intervalos de las actividades académicas. En esas ocasiones, fueron informados que podrían ser sorteados para la fase de postest, prevista para ocurrir aproximadamente dentro de 15 días, conforme recomendaciones de la literatura³².

A continuación, cada estudiante llenó el Término de Consentimiento Libre e Informado; a seguir respondió al INE-R Survey versión brasileña, individualmente, en la presencia del investigador. Para el análisis de la estabilidad del instrumento, 60 estudiantes fueron sorteados para responder nuevamente a la Survey.

El original INE-R Survey³⁾ es autoaplicable, organizado en secciones, iniciándose por la conceptualización de incivilidad y de ambiente académico, seguido de los datos demográficos del encuestado (estudiante o profesor), que serán determinados a criterio del estudio en desarrollo, tales como, género, edad, origen étnica/racial, años de formación, programa al cual el encuestado pertenece, posición/cargo del docente o semestre lectivo del estudiante, entre otros. En este estudio fueron considerados la edad, las identidades de género y étnico-raciales y el semestre lectivo del encuestado.

La sección siguiente presenta una lista de 48 ítems divididos en dos grupos, siendo uno con 24 ítems relativos a los comportamientos de estudiantes y el otro con 24 ítems relacionados al comportamiento de profesores. Ambos presentan dos factores - Alta Incivilidad y baja incivilidad - compuestos por nueve y quince ítems, respectivamente. Cada ítem es evaluado por una escala Likert que corresponde al nivel de incivilidad que el comportamiento representa al encuestado, con alternativas entre 1 a 4, las que fueron: no incivil; poco incivil, moderadamente incivil y altamente incivil. Cada ítem también es evaluado en cuanto a la frecuencia del comportamiento en los últimos 12 meses, con cuatro alternativas de respuestas (escala de 1 a 4) correspondiendo respectivamente a: nunca; raramente; a veces y frecuentemente. Dos preguntas completan la segunda sesión, abordando cómo el encuestado percebe la magnitud del fenómeno en la institución (evaluada entre cuatro alternativas: desde no es problema hasta es problema muy serio; y, como cada encuestado percebe la probabilidad de participación de profesores y estudiantes en actos inciviles evaluada con las alternativas: mucho mayor del profesor, mayor del profesor, ambos, mayor del alumno y mucho mayor de alumnos³.

La última sección presenta un conjunto de preguntas y un espacio narrativo, para que el encuestado describa situaciones, opine sobre: incivilidad en la educación en enfermería; comportamientos inciviles de estudiantes y profesores; nivel de civilidad en la institución; priorización de estrategias para elevar el nivel de civilidad; y, causas y consecuencias de la incivilidad académica³.

Tratamiento y análisis de los datos

Los datos de las diferentes variables fueron introducidos, en doble digitación, en una planilla electrónica del aplicativo Excel, constituyendo un banco de datos estructurado. Para las variables semestre lectivo, etnia y género, se utilizó la estadística descriptiva; para la variable edad, como medida de tendencia central, fueron establecidas la media y la mediana; y, como medida de dispersión, la desviación estándar.

Fueron realizados los análisis de las propiedades psicométricas (confiabilidad y validez de constructo) de los ítems del INE-R Survey - versión brasileña. Preliminarmente, la normalidad de los datos fue verificada por los valores absolutos de asimetría (Sk) y de curtosis (Ku)³³. La validez de constructo fue realizada con el Análisis Factorial Confirmatorio y la confiabilidad con el test-retest; para verificación de la estabilidad del instrumento, calculada por el Coeficiente de Correlación Intraclase (ICC) y por medio de la consistencia interna de los ítems, según coeficientes alfa de Cronbach, ordinal y omega de McDonald³². La razón del número de participantes fue calculada por el número de ítems del instrumento, lo que limitó otros análisis.

El Análisis Factorial Confirmatorio fue realizado con el software R (R Core Team, 2021) versión 3.4.2 y con el uso del paquete Latent Variable Analisis (LAVAAN)³⁴. Para estimación de los parámetros fue utilizado el método de mínimos cuadrados ponderados diagonalmente (Diagonally Weighted Least Squares - DWLS)³⁵.

En relación al análisis de la calidad del ajuste del modelo, los índices de ajuste absoluto, índices de ajuste incremental e índices de discrepancia poblacional, fueron tomados como alternativas para la verificación del ajuste³⁵. El índice de discrepancia poblacional investigado fue la Raíz del Error Cuadrático Medio de Aproximación (Root Mean Square Error of Aproximation - RMSEA), que estima si los parámetros del modelo reproducen la covariancia poblacional en esas condiciones, el RMSEA tiende a ser igual a cero. También se evaluó la Raíz del Error Cuadrático Medio Residual (Standardized root mean square residual - SRMR), o sea, la diferencia estandarizada entre la correlación observada y la prevista. Valores inferiores a 0,10 indican ajustamiento aceptable para RMSEA e inferiores a 0,08 son considerados aceptables para SRMR³⁵.

En relación a los índices de ajustes incrementales, fueron utilizados el Índice de Ajuste Normalizado (Normed Fit Index - NFI), el Índice de Ajuste Comparativo (Comparative Fit Index - CFI) y el Índice de Tucker-Lewis (TLI). Los valores de NFI y CFI, así como el TLI, pueden encontrarse entre cero y uno; los valores arriba de 0,90 indican un ajuste aceptable³⁵.

Para analizar la confiabilidad se utilizó la consistencia interna determinada por el coeficiente alfa (α) de Cronbach. Este indicador permite comparar los resultados obtenidos con los demás estudios que validaron el instrumento. Además, también fueron analizados los valores de los coeficientes alfa ordinal y omega de McDonald (ω). Para cada dominio del instrumento (alto y bajo nivel de incivilidad), en cada grupo de ítems (los relativos a comportamientos de estudiantes y de profesores). Los valores de α de Cronbach, de alfa ordinal y omega de McDonald variaron entre cero y uno; en este estudio, los valores iguales o mayores que 0,70 fueron considerados aceptables³².

Para verificación de la estabilidad de la medida, se realizó el test-retest con obtención del Coeficiente de Correlación Intraclase (ICC), de forma semejante a los demás estudios que validaron ese instrumento. En este análisis, fue considerado el nivel de significación de 5% (α= 0,05). Los valores del ICC entre 0,70 y 0,90 son considerados buenos y mayores que 0,90 son considerados excelentes³².

Aspectos éticos

Los participantes fueron invitados, asegurándoles la total privacidad de sus informaciones. La investigación solamente fue iniciada después de la aprobación de la Comisión de Enseñanza y del Comité de Ética en Investigación con Seres Humanos (CEI), ambas de la institución en la cual el estudio fue realizado (Dictamen CEP: 3.635.814 y Certificado de Presentación de Apreciación Ética-CAAE 18508919.4.0000.5393).

Resultados

Participaron del estudio 264 estudiantes. En relación a las identidades de género y étnico-raciales 222 (84,1%) se identificaron como mujeres; 40 (15,2%) como hombres, uno (0,4%) como ambos y otro (0,4%) como ninguno; 180 (68,2%) se declararon blancos, 57 (21,6%) pardos, 22 (8,3%) negros, 4 (1,5%) amarillos, en cuanto 1 (0,4%) se denominó indígena. Entre los estudiantes, 177 (67,0%) estaban en los años intermediarios (tercer al sexto semestre lectivo) y 87 (33,0%) estaban en los años de conclusión (séptimo semestre en adelante).

Los valores medios respectivos - de desviación estándar, asimetría (Sk) y curtosis (Ku) de los niveles de incivilidad de comportamientos, cuando emitidos por estudiantes y por profesores, según los participantes (n = 264) - se presentan en la Tabla 1. Al considerarse los valores referentes a la asimetría y curtosis de cada ítem, estos fueron inferiores a tres y siete, respectivamente, para todos los ítems, comprobando la no violación de la normalidad, presupuesto para realización de la AFC.

Tabla 1
Estadística descriptiva (medias, desviación estándar, asimetría y curtosis) de los niveles de incivilidad de comportamientos cuando emitidos por estudiantes y por profesores, según los participantes (n = 264). Interior del estado de São Paulo, Brasil, 2021-2022

Comportamientos	Ítem	Media	Desviación estándar	Asimetría	Curtosis
Relacionados a los estudiantes	01	2,76	0,84	-0,33	-0,45
	02	3,17	1,11	-0,94	-0,65
	03	2,87	0,82	-0,37	-0,37
	04	2,21	0,93	0,40	-0,70
	05	3,12	0,82	-0,77	0,15
	06	2,64	0,86	-0,27	-0,57
	07	2,48	0,84	-0,08	-0,60
	08	2,58	0,85	-0,01	-0,65
	09	2,49	0,92	0,10	-0,85
	10	3,08	1,01	-0,73	-0,70
	11	3,02	1,08	-0,72	-0,85
	12	3,17	0,85	-0,81	-0,01
	13	3,31	0,93	-1,13	0,12
	14	3,43	1,10	-1,56	0,61
	15	2,21	1,00	0,40	-0,90
	16	3,14	1,10	-0,94	-0,57
	17	3,05	1,12	-0,77	-0,88
	18	2,54	0,95	-0,10	-0,93
	19	3,42	1,11	-1,56	0,63
	20	3,51	1,08	-1,80	1,33
	21	3,44	1,04	-1,58	0,87
	22	3,47	1,12	-1,69	0,91
	23	3,45	1,13	-1,63	0,75
	24	3,47	1,14	-1,69	0,88
Relacionados a los profesores	01	3,28	0,86	-1,08	0,04
	02	3,49	0,95	-1,05	-0,08
	03	3,31	0,86	-1,48	1,42
	04	3,09	0,92	-1,84	1,91
	05	3,01	0,96	-0,73	-0,33
	06	2,87	0,85	-2,23	4,02
	07	2,60	0,94	-2,40	4,48
	08	3,26	0,96	-1,56	1,87
	09	3,22	0,99	-1,49	0,97
	10	3,49	0,78	-2,74	6,71
	11	3,53	0,95	-0,91	0,16
	12	3,01	0,94	-1,82	1,49
	13	3,64	0,78	-2,01	2,21
	14	3,66	0,82	-1,87	1,73
	15	3,46	0,81	-1,88	1,58
	16	3,40	0,96	-1,86	1,56
	17	3,73	0,71	-1,88	1,60
	18	3,21	0,85	-1,08	0,04
	19	3,51	1,05	-1,05	-0,08
	20	3,57	1,01	-1,48	1,42
	21	3,53	1,02	-1,84	1,91
	22	3,53	1,08	-0,73	-0,33
	23	3,52	1,07	-2,23	4,02
	24	3,53	1,07	-2,40	4,48

Al considerar los dominios, las medias del nivel de incivilidad de los comportamientos de estudiantes fueron: Dominio Baja Incivilidad $\overline{x}$ = 2,76 y de $\overline{x}$ = 0,53; Dominio Alta Incivilidad $\overline{x}$ = 3,39 y de $\overline{x}$ = 0,97; y para los profesores fueron: Dominio Baja Incivilidad $\overline{x}$ = 3,22 y de $\overline{x}$ =0,69; Dominio Alta Incivilidad $\overline{x}$ = 3,58 y de $\overline{x}$ = 0,89. La mediana de los ítems de incivilidad atribuidos a los estudiantes para el Dominio Baja Incivilidad fue 3 y para el Dominio Alta Incivilidad fue 4; la atribuida a los comportamientos de docentes para el Dominio Baja Incivilidad fue 3; y para el Dominio Alta Incivilidad fue 4.

En relación a la frecuencia de comportamientos inciviles en los últimos 12 meses, las medias y respectivas desviaciones estándar para los ítems relativos a comportamientos de docentes fueron: Dominio Baja Incivilidad $\overline{x}$ = 2,04 y de $\overline{x}$ = 0,49; Dominio Alta Incivilidad $\overline{x}$ = 1,46 y de $\overline{x}$ = 0,35; y para los relativos a los de los estudiantes fueron Dominio Baja Incivilidad $\overline{x}$ = 2,43 y de $\overline{x}$ = 0,53; y, Dominio Alta Incivilidad $\overline{x}$ =1,54 y de $\overline{x}$ = 0,49. Las medianas, valores mínimos y máximos para todos los ítems fueron iguales para estudiante y profesores (mediana = 2; mínimo = 1; máximo = 4), baja y alta incivilidad.

En la AFC, entre los comportamientos de estudiantes, todos los ítems del Dominio Alta Incivilidad presentaron cargas factoriales elevadas, variando de 0,734 a 0,999. Para el Dominio de Baja Incivilidad, tres ítems (3, 4 y 8) presentaron cargas variando de 0,304 a 0,396 y los demás presentaron valores variando de 0,613 a 0,825, excepto los ítems 1, 5 y 15 que presentaron carga factorial < 0,300. El ítem 1) expresar desinterés, aburrimiento o apatía sobre el contenido del curso o asunto, presentó carga factorial 0,149, IC[95%]: [0,105; 0,192]; el ítem 5) usar computador, celular u otros dispositivos electrónicos durante la clase, reunión o actividad para fines no relacionados - presentó carga factorial igual a 0,290, IC[95%]: [0,249; 0,332] ; y el ítem 15) exigir pruebas substitutas, extensiones de plazos u otros favores especiales - presentó carga factorial de 0,299; IC[95%]: [0,259; 0,338] (Tabla 2).

Tabla 2
Resultados del Análisis Factorial Confirmatorio en relación a las cargas factoriales de los ítems referentes a los comportamientos de estudiantes (n = 264). Interior del estado de São Paulo, Brasil, 2021-2022

Dominio	Ítem	Cargas factoriales	Intervalo de confianza 95%	Error-estándar	Z*	P valor
Alta Incivilidad	Ítem13	0,734	(0,702; 0,766)	0,039	18,916	0,000
	Ítem 14	0,946	(0,930; 0,962)	0,016	57,785	0,000
	Ítem17	0,855	(0,833; 0,877)	0,023	37,411	0,000
	Ítem 19	0,988	(0,983; 0,993)	0,004	236,035	0,000
	Ítem 20	0,999	(0,997; 1,000)	0,001	1431,998	0,000
	Ítem 21	0,958	(0,947; 0,969)	0,011	85,421	0,000
	Ítem 22	0,999	(0,997; 1,000)	0,001	941,880	0,000
	Ítem 23	0,999	(0,997; 1,000)	0,001	1210,095	0,000
	Ítem 24	0,999	(0,997; 1,000)	0,001	740,119	0,000
Baja Incivilidad	Ítem 1	0,149	(0,105; 0,192)	0,070	2,119	0,000
	Ítem 2	0,802	(0,772; 0,831)	0,032	24,995	0,000
	Ítem 3	0,350	(0,311; 0,388)	0,060	5,861	0,000
	Ítem 4	0,304	(0,261; 0,346)	0,066	4,618	0,000
	Ítem 5	0,290	(0,249; 0,332)	0,062	4,653	0,000
	Ítem 6	0,641	(0,604; 0,678)	0,043	15,021	0,000
	Ítem 7	0,538	(0,500; 0,576)	0,048	11,188	0,000
	Ítem 8	0,396	(0,354; 0,438)	0,060	6,643	0,000
	Ítem 9	0,577	(0,537; 0,616)	0,050	11,587	0,000
	Ítem 10	0,825	(0,798; 0,853)	0,028	29,948	0,000
	Ítem 11	0,825	(0,798; 0,852)	0,030	27,392	0,000
	Ítem 12	0,758	(0,728; 0,788)	0,034	22,184	0,000
	Ítem 15	0,299	(0,259; 0,338)	0,062	4,801	0,000
	Ítem 16	0,776	(0,746; 0,805)	0,036	21,609	0,000
	Ítem 18	0,613	(0,581; 0,644)	0,041	14,809	0,000

• *Z = Variable normal estandarizada

En lo que se refiere a los comportamientos de profesores, la menor de las cargas factoriales de los ítems fue 0,596 (ítem 18), la que pertenece al Dominio Baja Incivilidad, y las mayores (ítems 20, 22, 23 y 24) pertenecen al Dominio Alta Incivilidad; por tanto, todos los ítems tuvieron cargas factoriales satisfactorias (Tabla 3).

Tabla 3
Resultados del Análisis Factorial Confirmatorio (AFC) en relación a las cargas factoriales de los ítems relativos a comportamientos de profesores (n = 264). Interior del estado de São Paulo, Brasil, 2021-2022

Dominio	Ítem	Cargas factoriales	Intervalo de confianza 95%	Error-estándar	Z*	P valor
Alta Incivilidad	Ítem13	0,888	(0,870; 0,906)	0,026	33,940	0,000
	Ítem 14	0,963	(0,952; 0,975)	0,013	73,082	0,000
	Ítem17	0,948	(0,935; 0,961)	0,016	59,428	0,000
	Ítem 19	0,990	(0,985; 0,995)	0,004	241,701	0,000
	Ítem 20	0,997	(0,995; 0,999)	0,002	606,938	0,000
	Ítem 21	0,993	(0,989; 0,996)	0,003	313,800	0,000
	Ítem 22	1,000	(1,000; 1,000)	0,001	1203,589	0,000
	Ítem 23	0,998	(0,995; 1,000)	0,001	729,320	0,000
	Ítem 24	0,998	(0,996; 1,000)	0,001	739,529	0,000
Baja Incivilidad	Ítem 1	0,827	(0,807; 0,848)	0,026	31,722	0,000
	Ítem 2	0,930	(0,914; 0,946)	0,020	47,166	0,000
	Ítem 3	0,674	(0,647; 0,701)	0,043	15,696	0,000
	Ítem 4	0,816	(0,706; 0,836)	0,029	28,355	0,000
	Ítem 5	0,807	(0,786; 0,827)	0,024	33,571	0,000
	Ítem 6	0,762	(0,739; 0,785)	0,028	26,902	0,000
	Ítem 7	0,709	(0,684; 0,734)	0,036	19,748	0,000
	Ítem 8	0,899	(0,882; 0,917)	0,018	51,310	0,000
	Ítem 9	0,891	(0,873; 0,909)	0,020	44,766	0,000
	Ítem 10	0,779	(0,756; 0,803)	0,033	23,809	0,000
	Ítem 11	0,937	(0,921; 0,954)	0,017	54,505	0,000
	Ítem 12	0,814	(0,794; 0,834)	0,026	31,101	0,000
	Ítem 15	0,782	(0,758; 0,805)	0,034	23,185	0,000
	Ítem 16	0,900	(0,883; 0,917)	0,020	45,231	0,000
	Ítem 18	0,596	(0,567; 0,625)	0,050	12,002	0,000

• *Z = Variable normal estandarizada

A partir de las estimativas puntuales y por los intervalos de las cargas factoriales de los ítems, de la versión brasileña del instrumento, se sugiere una organización estructural de los ítems con dos factores, Alta Incivilidad y baja incivilidad, semejante a la estructura original, con la exclusión del ítem 1 para los estudiantes, que presentó IC95% para la carga factorial incluyendo solamente valores inferiores a 0,30.

Los resultados del Análisis Factorial Confirmatorio en relación a las cargas factoriales de los ítems relativos a comportamientos de estudiantes, con la exclusión del ítem 1 para estudiantes, se presentan en la Tabla 4.

Tabla 4
Resultados del Análisis Factorial Confirmatorio en relación a las cargas factoriales de los ítems relativos a comportamientos de estudiantes (n = 264). Interior del estado de São Paulo, Brasil, 2021-2022

Dominio	Ítem	Cargas factoriales	Intervalo e confianza 95%	Error-estándar	Z*	P valor
Alta Incivilidad	Ítem13	0,734	(0,702; 0,766)	0,039	18,865	0,000
	Ítem 14	0,946	(0,930; 0,962)	0,016	57,844	0,000
	Ítem17	0,855	(0,834; 0,877)	0,023	37,411	0,000
	Ítem 19	0,988	(0,983; 0,993)	0,004	236,087	0,000
	Ítem 20	0,999	(0,997; 1,000)	0,001	1431,743	0,000
	Ítem 21	0,958	(0,947; 0,969)	0,011	85,376	0,000
	Ítem 22	0,999	(0,997; 1,000)	0,001	941,885	0,000
	Ítem 23	0,999	(0,997; 1,000)	0,001	1210,134	0,000
	Ítem 24	0,999	(0,997; 1,000)	0,001	740,191	0,000
Baja Incivilidad	Ítem 2	0,801	(0,771; 0,830)	0,032	24,968	0,000
	Ítem 3	0,346	(0,307; 0,384)	0,060	5,768	0,000
	Ítem 4	0,301	(0,258; 0,343)	0,066	4,565	0,000
	Ítem 5	0,287	(0,246; 0,328)	0,063	4,579	0,000
	Ítem 6	0,640	(0,604; 0,677)	0,043	14,967	0,000
	Ítem 7	0,535	(0,497; 0,572)	0,048	11,058	0,000
	Ítem 8	0,394	(0,352; 0,436)	0,060	6,579	0,000
	Ítem 9	0,575	(0,536; 0,615)	0,050	11,535	0,000
	Ítem 10	0,825	(0,798; 0,852)	0,028	29,942	0,000
	Ítem 11	0,824	(0,797; 0,852)	0,030	27,339	0,000
	Ítem 12	0,757	(0,728; 0,787)	0,034	22,143	0,000
	Ítem 15	0,299	(0,259; 0,338)	0,062	4,794	0,000
	Ítem 16	0,775	(0,746; 0,805)	0,036	21,579	0,000
	Ítem 18	0,612	(0,580; 0,644)	0,041	14,791	0,000

• *Z = Variable normal estandarizada

Delante de los resultados presentados en la Tabla 4, con la exclusión del ítem 1, y por las justificativas anteriormente presentadas, la opción fue por la manutención de todos los demás 23 ítems para los estudiantes.

Para la evaluación de constructo, a partir del Análisis Factorial Confirmatorio, las medidas adoptadas de ajuste del modelo a la población, comprobadas para los ítems que retratan comportamientos de estudiantes y profesores, respectivamente, fueron: Xi cuadrado (χ² = 815,609 y 491,440); Grados de Libertad (GL= 229; 251); (χ²/GL = 3,56 y 1,96); p-valores (< 0,001; < 0,001); Índice de Ajuste Comparativo (CFI = 1,000; 1,000); Índice de Tucker-Lewis o Indicie de Ajuste No Normalizado (TLI = 1,000; 1,000); Índice de Ajuste Normalizado (NFI =1,000; 1,000); Raíz de Error Cuadrático Medio de Aproximación (RMSEA = 0,092; 0,044); Intervalo con 95% de Confianza para RMSEA (0,083; 0,101) y (0,035; 0,055) y Raíz del Error Cuadrático Medio Residual (SRMR = 0,107; 0,053). La mayoría de los índices para estudiantes y todos los índices para los profesores indican un ajustamiento aceptable.

Las representaciones de los Dominios Baja incivilidad y Alta Incivilidad y de sus ítems del INE-R-versión brasileña, con sus respectivas cargas factoriales, del Análisis Factorial Confirmatorio, se presentan en la Figura 1. La estructura presentada para profesores es conforme a lo propuesto en el modelo original del instrumento, y para estudiantes, respetando las justificativas constantes en la discusión sobre los ítems.

Figura 1
Diagrama de flujo de los caminos de los Dominios Baja Incivilidad y Alta Incivilidad del Incivility in Nursing Education - Revised Survey versión brasileña, considerando la estructura factorial original. Interior del estado de Sao Paulo, Brasil, 2021-2022

*It =ítems; ^†BxInv = Bajo nivel de incivilidad; ^‡AltInv = Alto nivel de incivilidad

La confiabilidad del INE-R Survey - versión brasileña fue evaluada por la consistencia interna y por la reproductibilidad. La consistencia interna evaluada por los coeficientes alfa de Cronbach, alfa ordinal y omega de McDonald, se presenta en la Tabla 5.

Tabla 5
Consistencia interna del Incivility in Nursing Education - Revised Survey versión brasileña, según el grupo de comportamientos inciviles, las dimensiones de incivilidad e ítems que los componen (n = 264). Interior del estado de Sao Paulo, Brasil, 2021-2022

Grupo de Comportamientos	Dimensiones de incivilidad	Ítems	Valor de Alfa Cronbach (IC 95%)	Valor Alfa ordinal	Valor de Omega
Estudiante	Alta	13, 14, 17, 19, 20, 21, 22, 23, 24	0,966 (0,962; 0,974)	0,984	0,976
	Baja	2 a 12, 15, 16, 18	0,853 (0,827; 0,879)	0,880	0,857
Profesor	Alta	13, 14, 17, 19, 20, 21, 22, 23, 24	0,977 (0,973; 0,981)	0,993	0,989
	Baja	1 a 12, 15, 16, 18	0,949 (0,940; 0,958)	0,964	0,951

La consistencia interna puede ser considerada altamente satisfactoria, tanto para los ítems que evalúan los comportamientos de los estudiantes y de profesores, como para ambos dominios de incivilidad, evidenciando adecuada confiabilidad en la muestra estudiada.

En lo que se refiere al análisis de la reproductibilidad del instrumento, de los 60 estudiantes sorteados para esta fase, solamente 29 participaron. En relación al nivel de incivilidad, la estabilidad, analizada por el Coeficiente de Correlación Intraclase, fue considerada con concordancia buena con valor de ICC, en relación a los ítems para los comportamientos de estudiantes (ICC = 0,612, IC[95%]: [0,330; 0,796] y p-valor < 0,0001) y moderada para los comportamientos de los profesores (ICC = 0,598 IC[95%]:[0,301; 0,789] y p-valor < 0,0001).

Para la estabilidad de los ítems que retratan la frecuencia de los comportamientos inciviles observados en los últimos 12 meses, en las fases de pretest y postest, la concordancia fue considerada moderada para los estudiantes (0,474, IC [95%]: [0,148; 0,710] y p-valor = 0,003) y, buena para los profesores (ICC = 0,615, IC [95%]: [0,332; 0,789] y p-valor < 0,0001).

Discusión

En este estudio se analizaron las propiedades psicométricas de la versión brasileña del INE-R Survey³. El INE_R survey fue útil para identificar las percepciones de actos inciviles de alumnos y de profesores de enfermería¹⁸, permitiendo establecer las distinciones de las percepciones de los dos grupos⁷.

En relación al instrumento, la variable del estudio es latente y fue medida por medio de opciones de respuestas, en escala del tipo Likert, que varían de 1 a 4, por tanto no es simétrica (no existe punto neutro equidistante de los extremos) y no es homogénea en relación al número de ítems, ya que cada dominio tiene, respectivamente, nueve y 15 ítems³⁶.

El período de la recolección de datos se realizó durante la vigencia de la pandemia de la COVID-19, ocasión en la cual las actividades de estudiantes y docentes se presentaban en fase de ajustes, con la introducción de enseñanza online. Esta situación provocó sobrecargas de demandas y dificultades de acceso y manoseo de dispositivos³⁷. Según la literatura, cambios en las percepciones de frecuencia o nivel de incivilidades de comportamientos de estudiantes y profesores fueron identificadas en el período de la pandemia^38)-(39.

En este estudio los ítems correspondientes a los comportamientos de estudiantes y de profesores fueron evaluados apenas por estudiantes. El estudio original norteamericano validó el instrumento por profesores y estudiantes, y también para los conjuntos de ítems de comportamientos de estudiantes y de profesores³. Los otros estudios validaron el instrumento entero apenas con estudiantes¹⁴⁾ o solamente los ítems relativos a los comportamientos de estudiantes³⁰. El instrumento puede ser evaluado para cada uno de los sujetos objeto del estudio (estudiantes o profesores) o conjuntamente³.

Las percepciones referidas sobre comportamientos de profesores, en este estudio, se refieren a las experiencias con docentes de una institución pública, secular (no religiosa), que en su mayoría trabaja por largos períodos en la misma institución. La literatura cita un estudio realizado en África del Sur⁴⁰, en el cual el tiempo de trabajo en la misma institución presentó asociación con el aumento de la incivilidad; otro estudio menciona haber niveles aumentados de incivilidad en la academia⁴¹. Estos aspectos pueden haber generado impacto en la expresión de comportamientos inciviles.

Por tanto, el tipo prolongado de vínculo del profesor en la institución⁴⁰, el hecho de la recolección de datos haber ocurrido durante un período de ajustes a nuevas demandas impuestas por la pandemia¹⁶⁾ y el aumento del uso de tecnologías remotas para las clases^38),(42, durante o en los semestres anteriores a la realización del estudio, pudieron haber impactado las respuestas del estudiante, es decir, en la percepción de frecuencia o del nivel de comportamientos de incivilidades.

En relación al número de participantes, al emplearse un instrumento como el descrito, existe indicación en la literatura que para realizar el análisis factorial, sean computados de 5 a 10 encuestados por cada pregunta del instrumento. Sin embargo, al utilizar un modelo de ecuaciones estructurales, la literatura que recomienda de 10 a 15 participantes por variable en el modelo³⁶. En este estudio, el tamaño de muestreo de 264 participantes atendió a la primera condición, pero impidió el análisis de la invariancia factorial del modelo. En el estudio original, la muestra fue de 310 estudiantes norteamericanos³; el estudio que validó el instrumento para la cultura coreana tuvo 284 participantes¹⁴ y el árabe, 389 participantes³⁰. Todos emplearon el análisis factorial en sus análisis.

En relación al análisis descriptivo del instrumento en cuestión, optamos por presentar la percepción de los participantes sobre el nivel de incivilidad y de su frecuencia por medio de la mediana, a pesar de que hubiésemos descrito la media para efecto de comparación con los estudios que validaron o emplearon ese instrumento en otras culturas^14),(30. Este indicador (media) puede no representar la variación de la muestra con clareza, por tratarse de escala tipo Likert, por tanto, una escala cualitativa ordinal, según el nivel de mensuración³⁶.

Comparando los niveles de incivilidad, para los comportamientos de estudiantes, en este estudio la media general fue de 3,0, en cuanto en los estudios coreano y árabe, estas fueron $\overline{x}$ = 3,11 y $\overline{x}$ = 3,45, respectivamente^14),(30; y, para los comportamientos de profesores, los resultados de este estudio fueron $\overline{x}$ = 3,35 y los del estudio coreano $\overline{x}$ = 3,17¹⁴. Las medias de las frecuencias de ocurrencia de los comportamientos en los últimos 12 meses, referidas en este estudio para los comportamientos de los estudiantes y de profesores, fueron 2,10 y 1,82, respectivamente, en cuanto en el estudio árabe la media general para los ítems de los estudiantes fue 1,99³⁰.

Además, el análisis descriptivo de los datos de este estudio, apunta aspectos que merecen ser considerados. Uno de ellos se refiere a la distribución de las respuestas. Fueron identificados los efectos techo-piso (ceiling/floor effects) para varios ítems del INE-R Survey versión brasileña. Esto indica que la distribución de los puntajes es asimétrica; o sea, retrata el porcentaje de los participantes que puntuaron los más bajos o elevados niveles de la medida³². En un estudio que utilizó el INE también se observó el efecto techo-piso habiendo más de 15% de frecuencia para la percepción de comportamientos de estudiantes y profesores en los dos polos de la escala utilizada²⁹.

Se sabe que comportamientos disruptivos son más prevalentes que los inciviles de Alta Incivilidad²⁹. Es más probable verificar comportamientos no verbales rudos y declaraciones de comentarios humillantes que comportamientos amenazadores o de actos violentos³.

La tendencia identificada de los participantes de atribuir un mayor nivel de incivilidad a un mismo comportamiento, cuando este es realizado por profesores, que cuando realizado por estudiantes, también ya había sido descrita en un estudio que analizó el efecto moderador de la jerarquía social en comportamientos inciviles en el trabajo⁴³, mostrando que la incivilidad percibida fue mayor entre los actos incivilizados perpetrados por los gerentes en comparación con la incivilidad percibida si perpetrada por un compañero.

En relación a la validez y a la confiabilidad, la literatura apunta distintas alternativas para el análisis de las propiedades psicométricas, que dependen de la naturaleza de la variable, forma de medida, tamaño de la muestra y características de los datos obtenidos³⁶. Además, siendo que ya existe un análisis exploratorio realizado por las autoras del instrumento³, se buscó confirmar esa propuesta, en la población de estudiantes brasileños, por medio de la validez de constructo, empleando la AFC, que es una técnica adecuada para probar (confirmar) si la estructura empírica observada en el conjunto de ítems presenta las mismas evidencias del constructo teórico de interés en la población analizada⁴⁴.

El estudio árabe con estudiantes de enfermería verificó, a partir de los resultados del análisis de tendencias y con validez aparente realizada por cuatro peritos, que algunos ítems retrataban intensidades distintas de incivilidad, en relación a la propuesta original norteamericana; y en la validez de constructo, por medio del Análisis Factorial Exploratorio, obtuvo cinco factores para la escala con comportamientos de estudiantes. El estudio no tuvo como objetivo la escala con ítems sobre comportamientos de docentes³⁰. Este aspecto fue abordado en un estudio más reciente, utilizando los mismos procedimientos con 225 profesores, y que confirmó el modelo de 4 dominios para la escala que trata de comportamientos de los profesores⁴⁵.

Por otro lado, el estudio coreano, también con estudiantes, identificó que la escala con ítems de comportamientos de estudiantes presentaba, por medio del AFE, cuatro factores; y, la de profesores presentaba dos factores semejantes a la propuesta teórica original norteamericana¹⁴.

El camino recorrido y los resultados descritos en este estudio indican que la propuesta teórica³ es válida para la población estudiada, en especial la existencia de dos dominios (alto nivel y bajo nivel de incivilidad) y también para la pertinencia de todos los ítems atribuidos a los comportamientos de profesores.

Al analizar las cargas factoriales de los ítems, en cada dominio de comportamientos de profesores, se identificó un ajuste de todos los ítems con cargas elevadas de contribución para composición de los dominios. En contrapartida, al examinar los ítems que retratan los comportamientos de estudiantes, tres ítems no alcanzaron el valor 0,30, indicando su exclusión⁴⁶. Sin embargo, para dos de ellos, ítems 5 y 15, en ambas AFCs, con y sin el ítem 1, los resultados estadísticos indican IC con límites superiores mayores que 0,30 y la opción fue por la manutención de ambos. Además, se refuerza que, cuando existe justificativa de orden teórica, un ítem con baja carga factorial puede ser mantenido o reformulado⁴⁶.

Entre tanto, los bajos pesos factoriales, en el límite del punto de corte de 0,30, observados pueden estar asociados al tamaño de la muestra en cuestión; así, la manutención de los ítems 5 y 15, en la versión brasileña para estudiantes, necesita de más estudios con muestras diferentes.

Los datos de las medidas de ajustes del modelo comprobado para los comportamientos de estudiantes (respectivamente, CFI = 1,000; 1,00; TLI = 1,000; NFI = 1,000; 1,000; RMSEA = 0,092; SRMR = 0,107) evidenciaron que los todos los índices indican un ajustamiento aceptable, excepto el SRMR. Para los profesores todos los índices fueron aceptables.

Entre los comportamientos frecuentes relatados en la literatura³⁾ y concordantes con el enunciado teórico^25),(28, se encuentran aquellos contenidos en los ítems que presentaron baja carga factorial en este estudio. Se destaca que un estudio norteamericano, realizado durante la pandemia, con 675 estudiantes de graduación y 35 profesores de enfermería³⁹, identificó que los ítems 1 y 5 fueron los más frecuentes; igual resultado se observó en un estudio con 155 estudiantes y 40 profesores en Omán⁴⁷.

Los comportamientos relacionados a los ítems 1, 5 y 15, pertenecientes al Dominio Baja Incivilidad, fueron percibidos como inciviles por los participantes de este estudio con las siguientes medias, considerando que los puntajes variaron de 1 a 4: ítem 1 ($\overline{x}$ = 2,76); ítem 5 ($\overline{x}$ = 3,12); e ítem 15 ($\overline{x}$ = 2,21). Además, cuando se preguntó sobre la frecuencia de su ocurrencia, medida por los mismos parámetros, se presentaron las siguientes medias: ítem 1 ($\overline{x}$ = 3,06); ítem 5 ($\overline{x}$ = 3,40) e ítem 15 ($\overline{x}$ = 2,27).

Estos resultados mostraron que los alumnos observan esos comportamientos con relativa frecuencia, lo que apoya la manutención de los ítems en la escala, una vez que ellos son generalmente considerados incivilizados con base en los estudios anteriormente referidos.

En lo que se refiere a usar teléfono celular u otro dispositivo para finalidades no relacionadas con la actividad de la clase (ítem 5), fue considerado como falta de respeto para con el otro²⁸; a pesar de que los estudiantes percibieron el comportamiento como incivil, permanecieron en contacto con otras personas o con websites, actitud similar a resultados de otros estudios realizados en diferentes culturas^30),(48)-(49. Un estudio reciente sobre comportamientos de estudiantes, como el desarrollado en Canadá con profesores, también apunta que ese comportamiento es considerado disruptivo (para cerca de 80% de los participantes) y uno de los más frecuentes (para cerca de 60% de los participantes)⁵⁰. En nuestro estudio, 54,5% de los estudiantes consideraron que esto ocurre frecuentemente y 33,3% que el mismo ocurre a veces. En lo referente al nivel de incivilidad, fue predominantemente considerado moderadamente incivil (46,2%) o altamente incivil (35,6%). Estos aspectos refuerzan la manutención de ese ítem en nuestro estudio.

En relación al ítem 15 de exigir nuevas pruebas y ampliación de plazos, actitud común en las situaciones de desinterés en que no se está preparado para las actividades escolares²⁸, el impacto de la dinámica de las actividades remotas empleadas en el período de realización de este estudio, pudo haber interferido en las expectativas de los alumnos frente a a situaciones de aprendizaje, ser posibles de cambiarlas a lo largo del tiempo y poder ser más flexible, en especial durante la pandemia. El ítem se refiere a exigir algo o no aceptar una respuesta negativa a un favor especial solicitado, en ese contexto se trata de comportamiento incivil. Este ítem, considerado por la mayoría de los estudiantes con bajo nivel de incivilidad (27,3% no incivil y 37,9% poco incivil), fue relatado como ocurriendo raramente (33,7%), nunca (26,5%), a veces (25,8%) o frecuentemente (14%).

Entre los estudios que analizaron los efectos de la pandemia en la enseñanza de enfermería uno apuntó que las expectativas no realísticas y las dificultades de comunicación interfirieron negativamente en el aprendizaje en ese período, provocando desánimo y sentimiento de inadecuación⁴²; otro mencionó el aprendizaje online, que durante ese período estresante, estaba relacionado con la baja satisfacción en aprender⁵¹. Además, el estudio ya referido apuntó correlación entre aumento de estrés y comportamientos inciviles en ese período³⁹.

Ese contexto también pudo haber interferido: en las respuestas emitidas, en las relaciones entre profesor y estudiante y en la motivación para asistir o participar de las actividades educacionales, aspectos considerados como distracciones o falta de respeto en la sala de clases²⁸ y retratados en los resultados del presente estudio por medio de las respuestas al ítem 1 de la encuesta (ítem 1- expresar desinterés, aburrimiento o apatía sobre el contenido del curso o asunto). Entre los estudiantes, este ítem es observado predominantemente a veces (43,2%) o frecuentemente (33,7%), y es considerado prioritariamente como moderadamente incivil (47,3%) o altamente incivil (18,6%), reforzando la pertinencia de su inclusión en el instrumento. Estos aspectos apuntan la existencia de ese comportamiento y la percepción del nivel de incivilidad relativo al ítem para estudiantes, en la muestra.

Los dos estudios que analizaron la validez de constructo para estudiantes, utilizaron el análisis factorial exploratorio, por considerar la falta de estudios de validez en la cultura árabe, así como la eventual influencia cultural en el instrumento³⁰ o por no confirmar el modelo original propuesto de dos dominios, en la población coreana¹⁴. Ambos mantuvieron todos los ítems, tanto para los profesores como para estudiantes.

Otra medida aplicada al instrumento, con su estructura original de ítems, fue la verificación de la consistencia interna, la que se mostró altamente confiable para la muestra estudiada. Los valores obtenidos para los comportamientos de estudiantes (α= 0,937) y de profesores (α =0,973) son considerados como correlación casi perfecta. Los valores obtenidos en el estudio norteamericano fueron mayores que 0,96 para estudiantes y 0,98 para profesores³. En el estudio árabe³⁰, el alfa fue 0,877 y en el coreano 0,940 para los ítems de estudiantes relacionados al nivel de incivilidad¹⁴. Se puede afirmar que el instrumento adaptado a la versión brasileña presentó consistencia interna para sus dominios de Baja y Alta Incivilidad para los comportamientos de estudiantes y de profesores, con valores altos también encontrados para alfa ordinal y omega de McDonald.

En relación a la reproductividad, se puede afirmar que el instrumento presentó reproductibilidad adecuada, verificada después 15 días, con 29 estudiantes. El número de participantes fue considerado aceptado y satisfactorio para el análisis, al evaluar que una muestra de tamaño n = 20 ya puede ser considerada suficiente para obtener un resultado de ICC adecuado⁵².

Al realizar el test-retest con 10 alumnos, los autores del estudio coreano obtuvieron un coeficiente de estabilidad de 0,73 para el nivel de incivilidad de estudiantes y 0,64 para el de profesores¹⁴. En este estudio, los ítems referentes a los estudiantes presentaron estabilidad buena (ICC = 0,612) y los relativos a los profesores, moderada (ICC = 0,598). Por otro lado, en relación a la estabilidad de los ítems que retratan la frecuencia de los comportamientos inciviles, observados en los últimos 12 meses, esta fue considerada moderada para los estudiantes (ICC = 0,474) y buena para los profesores (ICC = 0,614).

A pesar de que este estudio fue desarrollado apenas con estudiantes, la percepción de la presencia del fenómeno incivilidad, en el ambiente académico, merece reflexión; así, refuerza la necesidad de implantar procesos que estimulen las relaciones interpersonales y el diálogo sobre esa incivilidad; adoptar formas de enfrentamiento y, especialmente, como apuntado en un estudio²⁸, asumir la responsabilidad de ambas partes. Cuando profesores y estudiantes buscan construir ambientes educacionales más respetables, el resultado es el crecimiento de la civilidad²⁸. Experiencias educativas exitosas, con estimulo de la cultura de la civilidad, incluyendo el uso de aplicativos, han sido noticiadas⁵³.

En lo que se refiere a la relevancia del estudio, cabe destacar que existe pertinencia del uso del INE-R-versión brasileña para la población estudiada, considerando: 1) la confiabilidad y estabilidad de la encuesta y 2) la adecuación integral a la propuesta teórica del instrumento original referente al número de dominios y a los ítems relacionados con los comportamientos de profesores en su totalidad y parcialmente en relación a los ítems de comportamiento de los estudiantes. La disponibilidad de una encuesta validada en el contexto estudiado, colabora con la ciencia de la Enfermería, al permitir identificar ese fenómeno o comparar los resultados en nivel internacional.

Por último, la percepción de los estudiantes, participantes de este estudio, sobre la existencia de los comportamientos abordados en el instrumento en análisis, refuerza la pertinencia de emplear el INE-R-versión brasileña para diagnosticar e intervenir en esa realidad, en los diferentes ambientes de la enseñanza. La correlación negativa entre comportamientos de incivilidad vividos por estudiantes y valores atribuidos a la profesión, identificada en un estudio iraní, se suma a esa preocupación⁵⁴.

Se buscó realizar la presente investigación siguiendo las recomendaciones para estudios de esa naturaleza; sin embargo, fueron identificadas limitaciones como: la característica de la muestra ser de conveniencia; ser una única institución pública; y el número de participantes que inviabilizó el análisis de la invariancia de los datos en muestras aleatorias o grupos discriminantes. Ese número es explicado debido a que la recolección de dados, para este estudio, ocurrió a lo largo del tiempo de la pandemia. Hay que recordar que el criterio de inclusión en el estudio exigía la vivencia del estudiante por un año en el ambiente escolar; para algunos, ese plazo ocurrió, predominantemente, con actividades remotas, hecho que pudo haber potencializado la percepción del nivel y de la frecuencia de actos inciviles.

Se sabe que el proceso de validación de una escala para culturas distintas es largo y exige pruebas en varios contextos⁵⁵; delante de esto, se espera que esta estructura sea sometida al análisis psicométrico en nuevos estudios, con muestras de mayor dimensión y más generalizables para la realidad brasileña; y, entonces, poder decidir por la exclusión o no de los ítems 5 y 15, referidos en la versión para estudiantes podrá ser tomada. Este estudio fue desarrollado apenas con estudiantes; por tanto, es necesario validar el instrumento con profesores en caso de existir interés en emplearlo en esa población.

Conclusión

El INE-R Survey-versión brasileña se encuentra validado para el contexto estudiado, con la confiabilidad descrita por el ICC, alfa de Cronbach, alfa Ordinal y omega de McDonald y la validez del constructo reiterada por la AFC, con el modelo ajustado para dos dominios (de alta y baja incivilidad) como previsto en su versión original. En relación a los ítems referentes a los comportamientos de profesores, hubo confirmación de todos ellos en relación al modelo teórico. Para los ítems relacionados a los comportamientos de estudiantes, los resultados apuntan para la exclusión, por ahora, del ítem 1 y la sugestión de realizar nuevas pruebas psicométricos de la versión para estudiantes, sin el referido ítem, en diferentes contextos.

El INE-R Survey - versión brasileña permite apoyar estudios y estrategias que necesitan medidas de percepción o de frecuencia de comportamientos inciviles en el ambiente de enseñanza superior de enfermería.

Referencias bibliográficas

• ¹ Butler AM, Strouse SM. An Integrative Review of Incivility in Nursing Education. J Nurs Educ. 2022;61(4):173-8. https://doi.org/10.3928/01484834-20220209-01
  » https://doi.org/10.3928/01484834-20220209-01
• ² Luiz MC. Conflicts, incivilities and violences: challenges within school. Educ Teor Prat [Internet]. 2022 [cited 2023 Apr 25];31(64):e52. Available from: Available from: https://www.periodicos.rc.biblioteca.unesp.br/index.php/educacao/article/view/15228
  » https://www.periodicos.rc.biblioteca.unesp.br/index.php/educacao/article/view/15228
• ³ Clark CM, Barbosa-Leiker C, Gill LM, Nguyen D. Revision and psychometric testing of the Incivility in Nursing Education (INE) Survey: Introducing the INE-R. J Nurs Educ. 2015;54(6):306-15. https://doi.org/10.3928/01484834-20150515-01
  » https://doi.org/10.3928/01484834-20150515-01
• ⁴ Rose KA, Jenkins SD, Astroth K, Woith W, Jarvill, W. Lessons learned: raising awareness of civility and incivility using semi-virtual reality simulation. J Nurs Educ. 2020;59(8):461-4. https://doi.org/10.3928/01484834-20200723-08
  » https://doi.org/10.3928/01484834-20200723-08
• ⁵ Oliveira CS, Martins JT, Galdino MJQ, Perfeito RR. Violence at work in emergency care units: nurses' experiences. Rev. Latino-Am. Enfermagem. 2020;28:e3323. https://doi.org/10.1590/1518-8345.3856.3323
  » https://doi.org/10.1590/1518-8345.3856.3323
• ⁶ Hachi ME. Faculty incivility: lived experiences of nursing graduates in the United Arab Emirates. Int Nurs Rev. 2020;67(1):127-35. https://doi.org/10.1111/inr.12554
  » https://doi.org/10.1111/inr.12554
• ⁷ Mohammadipour M, Hasanvand S, Goudarzi F, Ebrahimzadeh F, Pournia Y. The level and frequency of faculty incivility as perceived by nursing students of Lorestan University of Medical Sciences. J Med Life. 2018;11(4):334-42. https://doi.org/10.25122/jml-2018-0055
  » https://doi.org/10.25122/jml-2018-0055
• ⁸ Nodeh HZ, Tayebi Z. Aghabarary M, Tayebi R. Nursing students' experiences of faculty incivility: a qualitative exploratory study. Nurs Pract Today. 2020;7(2):121-30. https://doi.org/10.18502/npt.v7i2.273
  » https://doi.org/10.18502/npt.v7i2.273
• ⁹ Orfan SN. Faculty Incivility in higher education of Afghanistan. Students' perspectives. Interchange. 2022;53(1):133-49. https://doi.org/10.1007/s10780-021-09448-y
  » https://doi.org/10.1007/s10780-021-09448-y
• ¹⁰ McDonald CM, Hancock PD, Kennedy DM, McDonald SA, Watkins KE, Baldwin DD. Incivility in practice - incidence and experiences of nursing students in eastern Canada: A descriptive quantitative study. Nurse Educ Today. 2022;110:105263. https://doi.org/10.1016/j.nedt.2021.105263
  » https://doi.org/10.1016/j.nedt.2021.105263
• ¹¹ Unim B, Santini M, Gambale G, Chiarini M, Nicoli M, Vito C, et al. The Italian validation of the revised Incivility in Nursing Education survey: preliminary results. Eur J Public Health. 2020;30(Suppl 5):772. https://doi.org/10.1093/eurpub/ckaa166.653
  » https://doi.org/10.1093/eurpub/ckaa166.653
• ¹² Zhang D, Song H, Liu Y, Wang L, Cui Q, Liu L, et al. The influence of workplace incivility on the fatigue of female nurses: The mediating effect of engagement. J Nurs Manag. 2022;30(6):1514-22. https://doi.org/10.1111/jonm.13507
  » https://doi.org/10.1111/jonm.13507
• ¹³ Asfiati A, Cahyadi A, Hendryadi H, Hartinah S. Assessing Measurement Quality of Multidimensional Classroom Incivility Scale in Higher Education. Front. Educ. 2022;7:858549. https://doi.org/10.3389/feduc.2022.858549
  » https://doi.org/10.3389/feduc.2022.858549
• ¹⁴ De Gagne JC, Kang HS, Hyun MS. Psychometric properties of the Korean version of the incivility in nursing education-revised (INE-R) survey. Nurs Health Sci. 2016;18(4):425-34. https://doi.org/10.1111/nhs.12285
  » https://doi.org/10.1111/nhs.12285
• ¹⁵ Karaçay P, Oflaz F. Exploring faculty-to-faculty incivility among nursing faculty: Related factors, reasons and solutions. J. Nurs Manag. 2022;30(6):1415-23. https://doi.org/10.1111/jonm.13375
  » https://doi.org/10.1111/jonm.13375
• ¹⁶ Clark CM, Landis TT, Barbosa-Leiker C. National study on faculty and administrators' perceptions of civility and incivility in nursing education. Nurse Educ. 2021;46(5):276-83. https://doi.org/10.1097/NNE.0000000000000948
  » https://doi.org/10.1097/NNE.0000000000000948
• ¹⁷ Bernard RO, Sanford A, Duffy A, Rechenberg K, Lopez M, Brown K. Evaluating the impact of a school of nursing civility team. Nurse Educ. 2022;47(3):180-3. https://doi.org/10.1097/NNE.0000000000001120
  » https://doi.org/10.1097/NNE.0000000000001120
• ¹⁸ Al-Jubouri MB, Samson-Akpan P, Al-Fayyadh S, Machuca-Contreras FA, Unim B, Stefanovic SM, et al. Incivility among nursing faculty: a multi-country study. J Prof Nurs. 2021,37(2):379-86. https://doi.org/10.1016/j.profnurs.2020.04.002
  » https://doi.org/10.1016/j.profnurs.2020.04.002
• ¹⁹ Campbell LO, Jones JT, Lambie GW. Online academic incivility among adult learners. Adult Learning. 2020;31(3):109-19. https://doi.org/10.1177/1045159520916489
  » https://doi.org/10.1177/1045159520916489
• ²⁰ Smallheer B, Gedzyk-Nieman S, Molloy M, Clark CM, Gordon H, Morgan B. Faculty development workshop on gender-associated incivility in nursing education. Nurs Forum. 2021,56:1044-51. https://doi.org/10.1111/nuf.12615
  » https://doi.org/10.1111/nuf.12615
• ²¹ Hong H, Wang Y, Hung HT, Chen CJ. Clinical characteristics of novel coronavirus disease 2019 (COVID-19) in newborns, infants and children. Pediatr Neonatol. 2020;61(2):131-2. https://doi.org/10.1097/NNE.0b013e31825a87e5
  » https://doi.org/10.1097/NNE.0b013e31825a87e5
• ²² Kim SS, Lee JJ. De Gagne JC. Exploration of cybercivility in nursing education using cross-country comparisons. Int J Environ Res Public Health. 2020;17(19):2-18. https://doi.org/10.3390/ijerph17197209
  » https://doi.org/10.3390/ijerph17197209
• ²³ Fitzgerald A, Konrad S. Transition in learning during COVID-19: student nurse, anxiety. stress, and resource support. Nursing Forum. 2021;56(2):298-304. https://doi.org/10.1111/nuf.12547
  » https://doi.org/10.1111/nuf.12547
• ²⁴ Wang X, Hegde S, Son C, Keller B, Smith A, Sasangohar F. Investigating mental health of US college students during the COVID-19 pandemic: Cross-sectional survey study. J Med Internet Res. 2020:22:e22817. https://doi.org/10.2196/22817
  » https://doi.org/10.2196/22817
• ²⁵ Clark CM. On faculty incivility in nursing education: a conceptual model. Nurs Educ Perspect. 2008;29(5):284-9.
• ²⁶ Clark CM. Core Competencies of Civility in Nursing & Healthcare. Indianapolis, IN: Sigma Theta Tau International Honor Society of Nursing; 2022. The detrimental impact of workplace aggression, p.13-36.
• ²⁷ Clark CM, Luparell S. Cyber-incivility, cyber-bullying, and other forms of online aggression: A call to action for nurse educators. Nurse Educ Today. 2020;(85). https://doi.org/10.1016/j.nedt.2019.104310
  » https://doi.org/10.1016/j.nedt.2019.104310
• ²⁸ Clark CM, Farnsworth J, Landrum RE. Development and description of the Incivility in Nursing Education (INE) Survey. JTCT [Internet]. 2009 [cited 2023 Jun 16];13(1):7-15. Available from: Available from: https://scholarworks.boisestate.edu/nursing_facpubs/40/
  » https://scholarworks.boisestate.edu/nursing_facpubs/40/
• ²⁹ Vickous KEY. Perceptions of incivility in nursing education: a survey of Associate and Baccalaureate Program Nursing students [Dissertation]. Bowling Green, KY: Western Kentucky University; 2015 [cited 2023 Jun 16]. Available from: Available from: https://digitalcommons.wku.edu/diss/79/
  » https://digitalcommons.wku.edu/diss/79/
• ³⁰ Al-Jubouri MB, Samson-Akpan P, Jaafar SA. Validity and reliability of the Arabic version of the incivility in nursing education-revised scale. Int J Nurs Educ Scholarsh. 2019;16(1):1-11. https://doi.org/10.1515/ijnes-2019-0074
  » https://doi.org/10.1515/ijnes-2019-0074
• ³¹ Ribeiro VS, Zamarioli CM, Garbuio DC, Miyazaki MY, Santos CB, Carvalho EC. Cultural Adaptation and Semantic Evaluation of Incivility in Nursing Education - Revised Survey: Brazilian version. Rev Min Enferm. 2023;27:e-1526. https://doi.org/10.35699/2316-9389.2023.42039
  » https://doi.org/10.35699/2316-9389.2023.42039
• ³² Terwee CB, Bot SDM, Boer MR, Windt DAWMV, Knol DL, Dekker J, et al. Quality criteria were proposed for measurement properties of health status questionnaires. J Clin Epidemiol. 2007;60:34-e42. https://doi.org/10.1016/j.jclinepi.2006.03.012
  » https://doi.org/10.1016/j.jclinepi.2006.03.012
• ³³ Kline RB. Principles and practice of structural equation modeling. New York, NY: The Guilford Press; 2016. 534 p.
• ³⁴ Rossel Y. Lavaan: an R package for structural equation modeling. J Stat Softw. 2012;48(2):1-36. https://doi.org/10.18637/jss.v048.i02
  » https://doi.org/10.18637/jss.v048.i02
• ³⁵ Marôco J. Análise de equações estruturais. fundamentos teóricos, software e aplicações. Pêro Pinheiro: ReportNumber; 2021. 374 p.
• ³⁶ Curado MAS, Teles J, Marôco J. Analysis of variables that are not directly observable: influence on decision-making during the research process. REEUSP. 2014;48(1):149-56. https://doi.org/10.1590/S0080-623420140000100019
  » https://doi.org/10.1590/S0080-623420140000100019
• ³⁷ Abraham AE, Busch CA, Brownell SE, Cooper KM. Instructor perceptions of student incivility in the online undergraduate science classroom. JMBE. 2022;23(1):1-11. https://doi.org/10.1128/jmbe.00271-21
  » https://doi.org/10.1128/jmbe.00271-21
• ³⁸ Hudgins T, Layne D, Kusch CE, Lounsbury K. Disruptive academic behaviors: the dance between emotional intelligence and academic incivility. J Acad Ethics. 2022;4:1-21. https://doi.org/10.1007/s10805-022-09454-4
  » https://doi.org/10.1007/s10805-022-09454-4
• ³⁹ Urban RW, Smith JG, Wilson ST, Cipher DJ. Relationships among stress, resilience, and incivility in undergraduate nursing students and faculty during the COVID-19 pandemic: policy implications for nurse leaders. J Prof Nurs. 2021;37(6):1063-70. https://doi.org/10.1016/j.profnurs.2021.08.011
  » https://doi.org/10.1016/j.profnurs.2021.08.011
• ⁴⁰ Bence AF, Coetzee SK, Klopper HC, Ellis SM. The association between the practice environment and selected nurse educator outcomes in public nursing education institutions: A cross-sectional study. Nurse Educ Pract. 2022;5:1-7. https://doi.org/10.1016/j.nepr.2021.103261
  » https://doi.org/10.1016/j.nepr.2021.103261
• ⁴¹ McGee PL. A descriptive study of faculty-to-faculty incivility in nursing programs in the United States. J Prof Nurs. 2021;37(1):93-100. https://doi.org/10.1016/j.profnurs.2020.07.004
  » https://doi.org/10.1016/j.profnurs.2020.07.004
• ⁴² Wilson ST, Urban RW, Smith JG. Online prelicensure nursing students' experiences of academic incivility during COVID-19: A qualitative inquiry. J Adv Nurs. 2023. https://doi.org/10.1111/jan.15656
  » https://doi.org/10.1111/jan.15656
• ⁴³ Itzkovich Y. Incivility: the moderating effect of hierarchical status does a manager inflict more damage? JMR. 2014;6(3):86-98. https://doi.org/10.5296/jmr.v6i3.5691
  » https://doi.org/10.5296/jmr.v6i3.5691
• ⁴⁴ Almeida LNA. Autoavaliação dos sintomas vocais e estratégias de enfrentamento na disfonia: nova perspectiva com base na teoria de resposta ao item [Dissertation]. João Pessoa: Centro de Ciências Exatas e da Natureza, Universidade Federal da Paraíba; 2021 [cited 2023 Jun 16]. Available from: Available from: https://repositorio.ufpb.br/jspui/handle/123456789/21209?locale=pt_BR
  » https://repositorio.ufpb.br/jspui/handle/123456789/21209?locale=pt_BR
• ⁴⁵ Al-Jubouri MB, AL-Fayyadh S, Jaafar SA, Alabdulaziz H, Nashwan AJ, Jahlan IO, et al. Incivility among Arabic-speaking nursing faculty: testing the psychometric properties of the Arabic version of incivility in nursing education-revised. Int J Nurs Educ Scholarsh. 2021;18(1):20210020. https://doi.org/10.1515/ijnes-2021-0020
  » https://doi.org/10.1515/ijnes-2021-0020
• ⁴⁶ Hair JF, Black WC, Babin BJ, Anderson RE, Tatham RL. Análise Multivariada de Dados. Porto Alegre: Bookman; 2009. 688 p.
• ⁴⁷ Natarajan J, Muliira JK, van der Colff J. Incidence and perception of nursing students'academic incivility in Oman. BMC Nurs. 2017;16:1-9. https://doi.org/10.1186/s12912-017-0213-7
  » https://doi.org/10.1186/s12912-017-0213-7
• ⁴⁸ Cahyadi A, Hendryadi H, Suryani S. Thoughts on Incivility: A Preliminary Study to Identify Uncivil Behavior in Indonesian Higher Education. JECS. 2021;8(1):129-42. https://doi.org/10.29333/ejecs/593
  » https://doi.org/10.29333/ejecs/593
• ⁴⁹ Vural L, Bacioglu SD. Student incivility in higher education. IJPE. 2020;16(5):305-16. https://doi.org/10.29329/ijpe.2020.277.19
  » https://doi.org/10.29329/ijpe.2020.277.19
• ⁵⁰ Small SP, Cashin G, English D, Moran G. "It is Essentially About Treating Each Other Well": Insights from Faculty on Incivility in Nursing Education. Can J Nurs Res. 2023;3:8445621231204985. https://doi.org/10.1177/08445621231204985
  » https://doi.org/10.1177/08445621231204985
• ⁵¹ Oducado RM, Homelo E. Online Learning in Nursing Education During the COVID-19 Pandemic: Stress, Satisfaction, and Academic Performance. J Nurs Pract. 2021;4(2):143-53. https://doi.org/10.30994/jnp.v4i2.128
  » https://doi.org/10.30994/jnp.v4i2.128
• ⁵² Santos TBL. Tamanho de amostra para o teste-reteste na determinação do coeficiente de correlação intraclasse [TCC]. Uberlândia: Faculdade de Matemática, Universidade Federal de Uberlândia; 2018 [cited 2023 Jun 16]. Available from: Available from: https://repositorio.ufu.br/bitstream/123456789/22300/1/TamanhoAmostraTesteReteste.pdf
  » https://repositorio.ufu.br/bitstream/123456789/22300/1/TamanhoAmostraTesteReteste.pdf
• ⁵³ Tsai ST, Chou FH. Developing and testing a prototype smartphone educational application to address incivility and bullying in nursing workplaces. Nurse Educ Today. 2023;130:105925. https://doi.org/10.1016/j.nedt.2023.105925
  » https://doi.org/10.1016/j.nedt.2023.105925
• ⁵⁴ Naseri V, Pour MB, Atashzadeh-Shoorideh F, Emami P. Nursing students' experience of incivility behaviours and its correlation with their nursing professional values: A cross-sectional descriptive study. Nurs Open. 2023;10(1):135-41. https://doi.org/10.1002/nop2.1288
  » https://doi.org/10.1002/nop2.1288
• ⁵⁵ American Educational Research Association; American Psychological Association; National Council on Measurement in Education, editors. Standards for Educational and Psychological Testing [Internet]. Washington, D.C.: American Educational Research Association; 2014 [cited 2023 Jun 16]. p. 11-31. Available from: Available from: http://www.testingstandards.net/uploads/7/6/6/4/76643089/standards_2014edition.pdf
  » http://www.testingstandards.net/uploads/7/6/6/4/76643089/standards_2014edition.pdf

• *
  Artículo parte de la tesis de doctorado “Adaptación cultural, evaluación semántica, análisis descriptivo y propiedades psicométricas del Incivility in Nursing Education - Revised (INE-R) Survey con estudiantes brasileños”, presentada en la Universidade de São Paulo, Escola de Enfermagem de Ribeirão Preto, Centro Colaborador de la OPS/OMS para el Desarrollo de la Investigación en Enfermería, Ribeirão Preto, SP, Brasil.

Editado por

• Editora Asociada:
  Regina Aparecida Garcia de Lima

Fechas de Publicación

• Publicación en esta colección
  12 Ago 2024
• Fecha del número
  2024

Histórico

• Recibido
  27 Jul 2023
• Acepto
  28 Feb 2024