Open-access DESENVOLVIMENTO E AVALIAÇÃO DO PALIENF: APLICATIVO PARA REGISTRO DE CUIDADOS PALIATIVOS ONCOPEDIÁTRICOS

RESUMO

Objetivo:   apresentar as etapas de desenvolvimento e avaliar a usabilidade de um aplicativo para auxiliar os enfermeiros no registro do processo de enfermagem para a população oncológica pediátrica em cuidados paliativos.

Método:  pesquisa metodológica baseada em Design Centrado no Usuário realizada em Niterói, Rio de Janeiro, Brasil, em três etapas: definição do conteúdo, desenvolvimento do aplicativo e avaliação da usabilidade. O desenvolvimento do aplicativo ocorreu entre 2020 e 2023 e a avaliação da usabilidade entre março e May de 2023 por 39 participantes enfermeiros especialistas em cuidados paliativos e profissionais de tecnologia da informação. As ferramentas utilizadas para avaliação da usabilidade foram: MATCH-MED e System Usability Scale. Foram apresentados de forma descritiva.

Resultados:  O estudo gerou quatro produtos, uma marca, dois slogans e o próprio aplicativo em sistema Android. A segurança dos dados, arquitetura e aplicação em Javascript. Quanto a avaliação da usabilidade, foi considerada alta ou muito alta por 100 % dos profissionais de tecnologia da informação que avaliaram as heurísticas na segunda rodada e excelente pela média de 84,4 pontos na avaliação dos enfermeiros considerando a prática, evidenciando a aceitação da ferramenta.

Conclusão:  O estudo desenvolveu e avaliou o aplicativo PaliEnf que objetiva contribuir para a prática dos enfermeiros no auxílio a execução e registro dos cuidados diários as crianças com diagnóstico de câncer em cuidados paliativos. Estudos clínicos que buscam avaliar a eficácia e o impacto na qualidade da assistência e no registro de enfermagem estão em andamento.

DESCRITORES:
Aplicativos móveis; Processo de enfermagem; Registros de enfermagem; Cuidados paliativos; Enfermagem oncológica; Pediatria

ABSTRACT

Objective:   to present the development stages and assess the usability of an application to assist nurses in recording the nursing process for the pediatric oncology population in palliative care.

Method:  this is methodological research based on User-Centered Design carried out in Niterói, Rio de Janeiro, Brazil, in three stages: content definition; application development; and usability assessment. The application was developed between 2020 and 2023, and usability assessment was carried out between March and May 2023 by 39 participants, nurses specializing in palliative care and information technology professionals. The tools used to assess usability were MATCH-MED and System Usability Scale. They were presented descriptively.

Results:  the study generated four products, one brand, two slogans and the application itself on the Android system, with data security, architecture and application in Javascript. Regarding usability assessment, it was considered high or very high by 100 % of the information technology professionals who assessed the heuristics in the second round and excellent by the mean of 84.4 points in nurses’ assessment considering practice, evidencing the tool acceptance.

Conclusion:  the study developed and assessed the PaliEnf application, which aims to contribute to nurses’ practice in assisting in the execution and recording of daily care for children diagnosed with cancer in palliative care. Clinical studies that seek to assess the effectiveness and impact on quality of care and nursing records are underway.

DESCRIPTORS:
Mobile applications; Nursing process; Nursing records; Palliative care; Oncology nursing; Pediatrics

RESUMEN

Objetivo:   presentar las etapas de desarrollo y evaluar la usabilidad de una aplicación para ayudar a las enfermeras a registrar el proceso de enfermería para la población oncológica pediátrica en cuidados paliativos.

Método:  investigación metodológica basada en el Diseño Centrado en el Usuario realizada en Niterói, Rio de Janeiro, Brazil, en tres etapas: definición de contenido, desarrollo de la aplicación y evaluación de usabilidad. La aplicación fue desarrollada entre 2020 y 2023 y su usabilidad fue evaluada entre marzo y mayo de 2023 por 39 participantes, enfermeras especializadas en cuidados paliativos y profesionales de tecnologías de la información. Las herramientas utilizadas para evaluar la usabilidad fueron MATCH-MED y System Usability Scale. Fueron presentados de manera descriptiva.

Resultados:  el estudio generó cuatro productos, una marca, dos eslóganes y la propia aplicación Android. Seguridad de datos, arquitectura y aplicación en Javascript. En cuanto a la evaluación de usabilidad, fue considerada alta o muy alta por el 100 % de los profesionales de tecnología de la información que evaluaron las heurísticas en la segunda ronda y excelente por el promedio de 84,4 puntos en la evaluación de los enfermeros considerando la práctica, evidenciando la aceptación de la herramienta.

Conclusión:  el estudio desarrolló y evaluó la aplicación PaliEnf, que tiene como objetivo contribuir a la práctica de los enfermeros en la asistencia en la ejecución y registro del cuidado diario a niños diagnosticados con cáncer en cuidados paliativos. Se están realizando estudios clínicos que buscan evaluar la efectividad y el impacto en la calidad de la atención y los registros de enfermería.

DESCRIPTORES:
Aplicaciones móviles; Proceso de enfermería; Registros de enfermería; Cuidados paliativos; Enfermería oncológica; Pediatría

INTRODUÇÃO

A qualidade dos registros dos enfermeiros é considerada um dos indicadores mais importantes para avaliação da qualidade da assistência prestada ao paciente1. No entanto, algumas pesquisas apontam inconformidades graves nos registros de enfermagem, como ausência de dados de identificação do paciente e do profissional, dados incompletos de prescrições e de intervenções, ausência de informações sobre queixa e plano terapêutico, uso de siglas de modo não padronizado e anotações ilegíveis, dentre outros1-3.

Um estudo realizado no estado do Espírito Santo avaliou a percepção dos enfermeiros sobre a relevância dos registros de enfermagem na assistência ao paciente em situações de urgência e emergência. Os resultados apontaram que os enfermeiros apresentam conhecimentos superficiais sobre o processo de enfermagem (PE), sendo este pouco empregado nos registros sob a justificava de tempo reduzido e recursos humanos insuficientes4.

Corroborando este dado, estudos que avaliaram a qualidade dos registros de enfermagem demonstram que os enfermeiros entendem a importância e a obrigatoriedade do registro, mas, não o consideram uma prioridade em relação a assistência prestada ao paciente5-7. Este aspecto se apresenta como grave lacuna no desenvolvimento da profissão, por isso, orienta-se o investimento em educação permanente, implementação de ações que visem à realização dos registros de enfermagem com excelência, uso de ferramentas promotoras de mudanças e a implementação de tecnologia com vistas a auxiliar os enfermeiros no processo de registro6-8.

Logo, pesquisadores tem utilizado a tecnologia por meio do desenvolvimento de aplicativos para promover a qualificação dos registros de enfermagem. Dentre estes aplicativos há o SNAKE WOUND desenvolvido para direcionar o atendimento a pacientes vítimas de acidentes pela espécie Botrópica, utilizando o PE 9, o TecDEnf destinado ao processo de ensino e aprendizagem para o registro eletrônico de diagnósticos de enfermagem10 e o aplicativo PREHSystem direcionado ao registro assistencial de enfermagem no atendimento pré-hospitalar11.

Estes estudos demonstram que o uso de aplicativos pode auxiliar os enfermeiros na execução e no registro do PE. Contudo, não foram localizados estudos no contexto dos cuidados paliativos em oncológica pediátrica. Uma área de atuação em que o enfermeiro tem como meta o controle do sofrimento das crianças nos âmbitos biopsicossociais e espirituais por meio da prevenção e controle dos sintomas12. Para se alcançar esta meta é essencial a correta aplicação e registro de todas as etapas do PE, pois a coleta de dados abrangente da subsídios a identificação dos diagnósticos acurados, intervenções específicas para se alcançar os resultados planejados, além do acompanhamento e continuidade da assistência prestada que é possível através da comunicação interprofissional oriunda de registros bem descritos nos prontuários das crianças 6.

Deste modo em prol de contribuir com a promoção da aplicação e registro do PE nesta área de atuação do enfermeiro o estudo teve como objetivo: apresentar as etapas de desenvolvimento e avaliar a usabilidade de um aplicativo para auxiliar os enfermeiros no registro do processo de enfermagem para a população oncológica pediátrica em cuidados paliativos.

MÉTODO

Pesquisa metodológica13 que desenvolveu e avaliou a usabilidade de um aplicativo para execução e registro do PE com os Sistemas de Linguagens Padronizadas (SLP) Classificação dos diagnósticos de enfermagem da NANDA Internacional (NANDA-I), Classificação das intervenções de enfermagem (NIC) e Classificação dos resultados de enfermagem (NOC) para a população pediátrica com diagnóstico de câncer em cuidados paliativos em três etapas: elaboração do conteúdo, desenvolvimento do aplicativo e avaliação da usabilidade. Na cidade de Niterói, Rio de janeiro entre os anos de 2020 e 2023.

Para a etapa de desenvolvimento do aplicativo foi utilizado o método Design Centrado no Usuário que possui uma abordagem ampla. Segundo este método todas as etapas metodológicas do desenvolvimento devem ser pensadas segundo o contexto de utilização da ferramenta tecnológica e os requisitos fornecidos pelos usuários14. Deste modo, o aplicativo foi pensado e desenvolvido para auxiliar os enfermeiros de forma intuitiva por meio das interligações das interfaces nos moldes do PE no planejamento da assistência paliativa a crianças com diagnóstico de câncer.

Definição do conteúdo

Para o conteúdo do aplicativo foi utilizado um estudo anterior, no qual foi elaborado e validado um “Instrumento de Cuidados Paliativos de Enfermagem para Terapia Intensiva Oncológica Pediátrica"15-16. Contudo, embora o instrumento supracitado tenha sido a base para o desenvolvimento do aplicativo, há a possibilidade de o mesmo ser utilizado em cenários diversos com público oncopediátrico, podendo ser a eficácia comprovada por meio de estudos clínicos futuros.

Desenvolvimento do aplicativo

A equipe que participou da elaboração do aplicativo entre janeiro de 2020 e fevereiro de 2023 foi composta por sete profissionais: três enfermeiros, três desenvolvedores e uma acadêmica de enfermagem. Durante o período de desenvolvimento a equipe se reuniu mensalmente, para definir as etapas a serem desenvolvidas e avaliar cada processo do desenvolvimento.

Quanto as atribuições e responsabilidades, os participantes enfermeiros e a acadêmica de enfermagem participaram ativamente em todas as etapas do desenvolvimento. Entre fevereiro e novembro de 2020, foi definido o nome do aplicativo, a solicitação do registro de marca junto ao Instituto Nacional da Propriedade Industrial (INPI) e a paleta de cores, no qual com a contribuição de duas designers contratadas trabalhou-se na elaboração de uma imagem que apreendesse o sentido dos cuidados paliativos em oncologia pediátrica com as seguintes sugestões: crianças sem os cabelos, remetendo-se a oncologia, o laço dourado que simboliza a conscientização da detecção precoce do câncer infantil e a borboleta azul símbolo dos cuidados paliativos.

Em novembro de 2020 foram convidados a incorporar a equipe três desenvolvedores que ficaram com a responsabilidade de desenvolver o aplicativo. Foi necessário intensa troca de saberes entre os profissionais para que o aplicativo atendesse aos objetivos técnicos operacionais e práticos para auxiliar os enfermeiros na execução e registro do PE com SLP. O aplicativo foi desenvolvido entre novembro de 2020 e janeiro de 2024.

Neste período foi definido que o aplicativo deveria conter o conteúdo extenso do instrumento assistencial de enfermagem, a ser apresentado ao usuário de modo fácil, dinâmico e intuitivo que pudesse estimular os enfermeiros a realizar todas as etapas do PE em sua assistência de forma rápida e que gerasse um registro completo para o prontuário eletrônico da criança. Optou-se pelo sistema operacional Android, pensando na aplicabilidade para ferramenta num contexto de uso real, onde o tablet ou smartphone atuaria no lugar do papel e caneta. Com isso foi possível desenvolver uma interface de simples uso sem grandes exigências de noções prévias de como manipular o dispositivo pelo usuário.

A tecnologia utilizada na criação da interface foi o React, a mesma aplicada pelo facebook em seus produtos como instagram e o próprio facebook. Já a estrutura responsável pela manipulação dos dados foi construída em java com o framework Quarkus, que permite uma alta escalabilidade para sistemas implantados na nuvem, possibilitando que a aplicação sempre esteja acessível independentemente do número de usuários. O sistema c-tipo foi construído com ferramental moderno combinando as tecnologias React e Quarkus, permitindo fácil expansão para novas funcionalidades.

No que consiste a segurança dos dados, a arquitetura e a aplicação constam com um frontend em Javascript utilizando o framework React Native e um backend em Java utilizando o framework Quarkus. O frontend trata-se de uma aplicação que não foi disponibilizada na App Store e sim instalada manualmente em alguns dispositivos específicos que serão utilizados apenas nas áreas hospitalares com permissão específica de acesso aos enfermeiros usuários. Para autenticação foi utilizado o padrão de criptografia chamado Json Web Token ou JWT, que utiliza de uma assinatura com um segredo privado ou uma chave pública/privada, sendo assim os endpoints do backend são acessíveis apenas por meio de chaves.

As interfaces do aplicativo foram pensadas para serem intuitivas, ou seja, para que uma página levasse a outra de forma dinâmica contribuindo para que os enfermeiros no decorrer do preenchimento de cada página automaticamente por meio do raciocínio clínico realizassem em menor período o planejamento da assistência de enfermagem mediante as etapas do PE. Este foi o processo que demandou mais tempo, em decorrência do excesso de informação a ser inserido, cada página foi reavaliada inúmeras vezes pela equipe de desenvolvimento até que se chegou a primeira versão.

Avaliação da usabilidade

Para a avaliação da usabilidade do aplicativo, foi realizada a avaliação das heurísticas que tem como objetivo indicar possíveis erros de interface, sem a participação do usuário final17. E a usabilidade prática que objetiva obter a avaliação do usuário final.

De acordo com a norma NBR ISO/IEC 14598-6, deve haver pelo menos oito avaliadores para cada categoria na avaliação da usabilidade, a norma não especifica quantitativo máximo de avaliadores18. Sendo assim, nesta pesquisa 21 participantes avaliaram as heurísticas de usabilidade, considerado como critério de inclusão profissionais e docentes com expertise no desenvolvimento de tecnologias da informação, aplicativos e software. Já a usabilidade prática foi avaliada por 18 profissionais enfermeiros com experiência em oncologia pediátrica ou cuidados paliativos pediátricos considerando como critérios de inclusão critérios orientados por Jasper19: possuir um conjunto de conhecimentos ou habilidades especializadas; ter ampla experiência no campo prático; ter níveis altamente desenvolvidos de reconhecimento de padrões; ser reconhecido por outros. Não houve exclusão.

Para seleção dos participantes foi solicitado indicações de profissionais nos núcleos de pesquisa “Grupo de Estudo em Sistematização da Assistência de Enfermagem” (GESAE) e “Núcleo de Pesquisa e Estudos em Saúde Integral da Criança e Adolescente” (NUPESICA) da Universidade Federal Fluminense cadastrados no Diretório dos Grupos de Pesquisa no Brasil do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq).

Os indicados foram contatados por e-mail ou WhatsApp. Aos que responderam, se adequavam aos critérios de inclusão e aceitaram participar da pesquisa, foi solicitado a indicação de outros potenciais participantes, sucessivamente. Desta forma, para avaliação das heurísticas de usabilidade foram convidados na primeira rodada 22 participantes, dos quais seis não responderam, três não atenderam aos critérios de inclusão e 13 participaram da pesquisa.

Na segunda rodada foram convidados 18 participantes, 10 não responderam e oito participaram da pesquisa. Quanto a usabilidade prática, foram convidados 20 enfermeiros, dois não atenderam aos critérios de inclusão e 18 participaram da pesquisa.

Inicialmente foi avaliado as heurísticas de usabilidade por meio do instrumento MATCH-MED: Heurísticas de usabilidade17, que se constitui de um checklist para operacionalizar a avaliação de usabilidade em aplicativos mHealth. Este checklist é composto por 43 itens divididos em 11 heurísticas: visibilidade do estado do aplicativo, correspondência entre o aplicativo e o mundo real, controle e liberdade do usuário, consistência e padrões, prevenção de erros, reconhecimento em vez de lembrança, eficiência e flexibilidade, estética e design minimalista, interação física e ergonômica, leiturabilidade, visualização rápida e fluxo de trabalho.

Os dados foram coletados em reuniões online de 60 minutos de duração através da plataforma Google Meet com os participantes durante o mês de abril de 2023. Nas reuniões foi compartilhado a tela do computador com os participantes e apresentado o aplicativo, todas as interfaces e funcionalidades. Após a apresentação do aplicativo os participantes utilizaram o link fornecido para acessar e responder ao checklist de avaliação de usabilidade MATcH-MED online e avaliaram a usabilidade do aplicativo. Foi solicitado também que os participantes apresentassem críticas e sugestões de melhorias. Nesta etapa foi necessárias duas rodadas de avaliação.

Na avaliação da usabilidade prática, foi agendado encontros presenciais com cada enfermeiro durante o mês de maio de 2023. Nestes encontros os enfermeiros puderam manusear o aplicativo ou tablet cedido pelo pesquisador e executar todas as funcionalidades do mesmo simulando um atendimento real. Os testes duraram em média 40 minutos. Ao final os enfermeiros avaliaram a usabilidade por meio do questionário System Usability Scale (SUS), em versão traduzida e validada para o português20.

Análise dos dados

Para análise das heuríticas, os desenvolvedores do MATch-MED: Heurísticas de usabilidade disponibilizam gratuitamente no site http://match.inf.ufsc.br:90/matchmed/index.html, o checklist para preenchimento, com quatro opções para cada heurística: sim, parcialmente, não atende, não se aplica. Após responder e enviar, o resultado é transmitido com uma pontuação final que indica o grau de usabilidade do aplicativo. O resultado pode ser: usabilidade muito baixa, usabilidade baixa, usabilidade razoável, usabilidade alta e usabilidade muito alta.

Foi considerado satisfatório quando 80 % ou mais dos participantes obtiveram usabilidade alta ou muito alta em suas avaliações. Como isso não ocorreu na primeira rodada, o aplicativo foi revisto e passou por uma segunda rodada de avaliação.

No que tange a usabilidade prática, os enfermeiros responderam 10 perguntas do questionário SUS com 5 opções de respostas compondo uma escala do tipo Likert que varia de discordo totalmente a concordo totalmente. Os itens respondidos compreendem: gostaria de utilizar o produto com frequência; complexidade do produto; facilidade de utilização; requer ajuda para conseguir utilizar; as funcionalidades estavam bem integradas; tinham muitas inconsistências; aprendem rapidamente como utilizar o produto; é complicado de utilizar; confiança em utilizar o produto; necessidade de aprendizado prévio antes de conseguir lidar com o produto.

A análise foi feita da seguinte forma: para as respostas ímpares (1, 3, 5), subtraiu-se 1 da pontuação que o usuário respondeu, para as respostas pares (2 e 4), subtraiu-se a resposta de 5. Ou seja, se o usuário respondeu 2, foi contabilizado 3 e se o usuário respondeu 4, foi contabilizado 1. Na sequência soma-se todos os valores das dez perguntas e multiplica-se por 2,5. Essa é pontuação final, que pode variar de 0 a 100. A média da pontuação do questionário SUS é 68. Sendo assim, o aplicativo pode ser considerado com boa usabilidade prática quando 80 % ou mais dos resultados dos enfermeiros for maior que 70 pontos, excelente usabilidade quando 80 % ou mais dos resultados dos enfermeiros for maior que 90 pontos. Se os 70 pontos não forem alcançados por pelo menos 80 % dos participantes, é necessário ajustes no aplicativo e reavaliação. Nesta etapa não foi necessária segunda rodada de avaliação.

Aspectos éticos

O estudo atendeu à Lei Geral de Proteção de Dados Pessoais n° 13.709/2018 21 e a Resolução n° 466/12 22 do Conselho Nacional de Saúde. Foi aprovado pelo Comitê de Ética em Pesquisa da Universidade Federal Fluminense. Todos os participantes do estudo assinaram o termo de consentimento livre e esclarecido.

RESULTADOS

O conteúdo do aplicativo foi definido a partir do Instrumento Assistencial de Enfermagem para Cuidados Paliativos Pediátricos Oncológicos composto por coleta de dados objetivos e subjetivos, diagnósticos de enfermagem, planejamento de metas, intervenções de enfermagem e avaliação dos resultados de enfermagem com base no sistema de linguagem padronizada (SLP) NANDA-I-NIC-NOC direcionado a população pediátrica com diagnóstico de câncer em cuidados paliativos.

Durante o desenvolvimento do aplicativo foi definido o nome para o aplicativo, partindo do princípio que deveria ser curto para caber no ícone, representar a assistência prestada, os cuidados paliativos, o executor enfermeiro e as crianças com diagnóstico de câncer, visto que a assistência exercida com o auxílio do aplicativo destinava-se a uma população específica. Deste modo, optou-se por um nome associado a uma imagem, uma marca específica que representasse o aplicativo.

Assim, o nome escolhido foi o PaliEnf, onde Pali representa os cuidados paliativos e Enf os enfermeiros. Duas imagens foram escolhidas para compor o PaliEnf, a primeira foi utilizada no ícone do aplicativo e a segunda na página de carregamento. Para paleta de cores principal foi definido o azul petróleo que representa os cuidados paliativos, o dourado que representa a oncologia pediátrica e o cinza claro como demonstrado respectivamente na Figura 1.

Figura 1 -
Slogans do aplicativo PaliEnf e paleta de cores principal. Niterói, RJ, Brasil, 2023.

Ambos os logotipos possuem o certificado AVCTORIS com nome PaliEnf e PaliEnf Borboleta Azul. A marca PaliEnf possui o Certificado de Registro de Marca do Instituto Nacional da propriedade Industrial no 926938878, com apresentação Nominativa, natureza Marca de Produto/Serviço, NCL11: 44 e especificação Enfermagem (da classe 44).

A versão final do PaliEnf apresenta certa complexidade no aspecto tecnológico, pois, conseguiu apreender todo o conteúdo do instrumento assistencial de enfermagem que contem 30 páginas, contendo a coleta de dados biopsicossociais das crianças e adolescentes em cuidados paliativos, 71 diagnósticos de enfermagem da NANDA-I validados para este perfil de pacientes e as ligações das intervenções de enfermagem da NIC e os resultados da NOC, informações pessoais, história da doença atual e pregressa, com interligações das interfaces.

Assim, apesar da quantidade de dados internos, os desenvolvedores conseguiram tornar lúdico a utilização do PaliEnf devido a dinâmica interna das interfaces, favorecendo o preenchimento completo das informações e gerando um relatório ao final da avaliação para compor no prontuário do paciente, como demonstrado na Figura 2 e na Figura 3 é possível visualizar algumas interfaces do PaliEnf.

Figura 2 -
Esquema sequencial das interfaces do PaliEnf. Niterói, RJ, Brasil, 2023.

Figura 3 -
Algumas interfaces do aplicativo PaliEnf. Niterói, RJ, Brasil, 2023.

O PaliEnf não substitui o prontuário do paciente, é uma ferramenta que auxilia o enfermeiro na execução do PE com SLP, facilitando o raciocínio clínico. Foi desenvolvido com compatibilidade apenas para dispositivos Android, não está disponível no play store, o acesso é possível apenas por compartilhamento do link e os dados nele inseridos não são depositados na rede de forma a conferir maior segurança. Possui o Certificado de Registro de Programa de Computador, junto ao Instituto Nacional da Propriedade Industrial, processo n0 BR512023002490-2.

Avaliação da usabilidade

Após a finalização da primeira versão do PaliEnf, ele foi submetido a avaliação das heurísticas de usabilidade, com o intuito de identificar possíveis problemas técnicos e corrigi-los. Neste processo, 13 profissionais realizaram avaliação da usabilidade na primeira rodada.

Quanto ao grau de instrução, 30,7 % (n=4) dos participantes eram graduandos em tecnologia da informação, 38,4 % (n=5) eram graduados, 15,3 (n=2) pós-graduados e 15,3 % (n=2) mestres. Todos os participantes possuíam experiencia no desenvolvimento de aplicativos, 30,8 % (n=4) estavam desenvolvendo ou participando do desenvolvimento de aplicativos durante o curso de graduação em tecnologia da informação, 30,8 % (n=4) atuavam profissionalmente desenvolvendo e avaliando aplicativos e software, criação de sites, modelamento de peças anatômicas e impressão 3D, 7,6 % (n=1) é professor universitário onde atua compartilhando conhecimento sobre desenvolvimento de aplicativos, sites e softwares em geral, 30,8 % (n=4) acompanharam o desenvolvimento, a funcionalidade e avaliação de usabilidade de aplicativos próprios, tendo portanto conhecimento de todo o processo.

Segundo o resultado do Checklist MATCH-MED, 38,4 % (n=5) dos participantes consideraram a usabilidade do PaliEnf razoável, 46,1 (n=6) consideraram a usabilidade alta e 15,3 % (n=2) consideram a usabilidade muito alta. Logo, 61,5 % (n=8) dos participantes consideraram a usabilidade alta ou muito alta.

Como a usabilidade do PaliEnf segundo Checklist MATCH-MED ficou abaixo do esperado, fez-se uma análise das críticas e sugestões disponibilizadas pelos participantes, que pudessem ter reduzido a usabilidade para ser corrigido.

Dentre os problemas encontrava-se: a ausência do ícone de revelação de senha na página de acesso; o campo CPF na página de cadastro reconhecia qualquer número mesmo que não compatível com CPF; na página inicial havia um ícone ajuda que não possuía essa função de fato e sim de relatar um problema, logo sugeriu-se trocar o nome do ícone para que ele cumprisse a função descrita; nas páginas destinadas ao exame físico, eliminações e avaliação psicossocial espiritual cotinha além das opções de clique, espaço para descrições digitadas em situações que não houvessem opções que retratassem a situação clinica da criança, foi sugerido acrescentar a opção de descrição em todos os campos e alguns ícones eram pequenos em relação aos nomes que neles continham, foi sugerido adequação. Estas sugestões foram atendidas na íntegra.

Após os ajustes o PaliEnf passou pela segunda rodada de avaliação, no qual, 08 profissionais realizaram avaliação. Quanto ao grau de instrução, 12,5 % (n=1) era graduado, 25 % (n=2) eram pós-graduados e 62,5 % (n=5) eram mestres. Todos os participantes possuíam experiencia no desenvolvimento de aplicativos, 12,5 % (n=1) é professor universitário onde atua compartilhando conhecimento sobre desenvolvimento de aplicativos, sites e softwares em geral, 25 % (n=2) atuavam profissionalmente desenvolvendo e avaliando aplicativos e software e na crianção de sites, 62,5 % (n=5) acompanharam o desenvolvimento, a funcionalidade e avaliação de usabilidade de aplicativos próprios, tendo, portanto, conhecimento de todo o processo.

Nesta etapa, 62,5 % (n=5) dos participantes consideraram a usabilidade do PaliEnf alta e 37,5 % (n=3) consideram a usabilidade muito alta. Logo, 100 % (n=8) dos participantes consideraram a usabilidade alta ou muito alta como demonstrado na Tabela 1. O PaliEnf foi liberado para avaliação prática.

Tabela 1-
Avaliação das heurísticas de usabilidade do PaliEnf. Niterói, RJ, Brasil 2023.

A população que avaliou a usabilidade prática foram 18 enfermeiros, sendo 11 especialistas em oncologia pediátrica com mais de cinco anos de experiencia, três mestres e quatro doutores com dissertação/tese com temática relativa à oncologia pediátrica ou cuidados paliativos pediátricos. Todos trabalhavam em hospital oncológico em setores de pediatria no período de coleta de dados, a idade variou de 28 anos a 50 anos, média de 40,6 anos; em termos de gênero, 22,2 % (n=4) eram do sexo masculino e 77,8 % (n=14) eram do sexo feminino.

No processo de avaliação os enfermeiros responderam ao questionário SUS após, o uso do PaliEnf (o tempo médio do uso do PaliEnf pelos enfermeiros foi de vinte minutos). Como demostrado na Tabela 2, 5,5 % (n=1) dos enfermeiros gerou menos de 70 pontos, 55,5 % (n=10) dos enfermeiros gerou entre 70 e 90 pontos e 38,8 % (n=7) enfermeiros gerou mais de 90 pontos, configurando uma média de 84,4 pontos, que caracteriza excelente usabilidade.

Tabela 2 -
Avaliação da Usabilidade prática do PaliEnf. Niterói, RJ, Brasil, 2023.

DISCUSSÃO

Por meio deste estudo foi desenvolvido o aplicativo PaliEnf, que possui uma usabilidade muito alta segundo as avaliações das heurísticas configurando boa estética, design, poucos bugs de sistema, boa ligação entre as interfaces, mensagens de orientação para o usuário como “salvo com sucesso”, dentre outros e excelente usabilidade prática, ou seja, os enfermeiros conseguiram realizar todas as etapas do PE e gerar o registro para o prontuário das crianças.

O PE compreende o saber científico que orienta o cuidado, organiza a prática e o registro de enfermagem que reflete a qualidade do cuidado prestado. Embora a legislação seja clara em responsabilizar os enfermeiros quanto ao dever de registrar adequadamente em sua completude as informações provenientes dos processos de cuidado, estudos corroboram que os enfermeiros demonstram falta de conhecimento aprofundado sobre o PE, repercutindo na má execução do mesmo e em registros incompletos e incorretos4,23.

Isso ocorre principalmente, por influência da cultura trabalhista que expõe a enfermagem a uma carga de trabalho extenuante, dimensionamento inadequado, baixas condições de trabalho e pouca visibilidade para o PE, que não favorece uma mudança de paradigma na forma como os enfermeiros entendem e executam o seu trabalho4. Por isso o desenvolvimento de aplicativos com PaliEnf é relevante e contribui com a resolução desta lacuna no exercício da profissional dos enfermeiros.

Corroborando com PaliEnf, em prol de auxiliar os enfermeiros na execução e registro de PE, pesquisadores desenvolveram tecnologias com bons resultados. Na Universidade Federal de Pernambuco, pesquisadores construíram um protótipo que visa auxiliar os enfermeiros na execução do PE a pacientes renais, embora seja um protótipo, deixa luz a possibilidade real de elaboração do mesmo, podendo incentivar outros pesquisadores a seguirem por este caminho24. Em outro estudo, foi desenvolvido o aplicativo Nursing APHMóveis, por pesquisadores da Universidade Federal do Paraná para auxiliar enfermeiros do Serviço de Atendimento Móvel de Urgência (SAMU) na execução do PE25.

A escolha pelo aplicativo mobile está alinhado ao cotidiano das pessoas no século XXI, que estão adaptadas a utilizar aplicativos para atender diferentes necessidades e condições, porque oferecem soluções rápidas para as demandas do dia a dia, podendo ser utilizados para informar, instruir, gravar, exibir, orientar, alertar e comunicar tanto profissionais como pacientes26.

Considerando isto, ao desenvolver o PaliEnf optou-se por um aplicativo e não um software para computador, porque, o enfermeiro tem a possibilidade de levar o aplicativo consigo ao leito da criança e realizar do registro à medida que examina e colhe as informações. Isto facilita ao enfermeiro não esquecer nenhuma informação, agiliza o processo, pois, a maior parte das informações são inseridas sem a necessidade de digitação, ajuda o enfermeiro a qualificar a assistência individualizando o cuidado, uma vez que a proximidade possibilita a participação da criança e acompanhante na escolha dos indicadores de resultados e intervenções, e reduz o tempo, pois o enfermeiro não irá precisar reservar outro momento para o registro.

Corroborando estas afirmações, um estudo multicêntrico ao explorar os benefícios da integração e adoção de tecnologias na área da saúde do ponto de vista dos enfermeiros em quatro hospitais universitários em Kerman no Irã, chegaram à conclusão de que os cuidados prestados com auxílio da tecnologia são mais precisos, melhoram os registros, a qualidade da assistência, a gestão dos medicamentos e a comunicação interinstitucional27.

Quando um aplicativo é desenvolvido, principalmente para a área da saúde, é fundamental a avaliação da usabilidade, os dados de heurística avaliam a adequabilidade do sistema do ponto de vista do usuário e a qualidade na ótica da engenharia e construção24. Na análise das heurísticas, os avaliadores podem sugerir soluções para os problemas de efetividade e experiência de uso, identificar pontos fortes e frágeis que podem ser considerados para a versão final28.

Dessa forma, a avaliação das heurísticas foi fundamental, por meio deles foi possível identificar falhas e acrescentar pontos importantes para deixar o PaliEnf com boa usabilidade prática para o usuário final dos quais 100 % dos enfermeiros que avaliaram concordaram que gostariam de utilizar o PaliEnf frequentemente, que é fácil de usar e que as diversas funções foram bem integradas segundo a análise das questões um, três e cinco do questionário SUS.

Estes métodos avaliativos de usabilidade foram ratificados por outros estudos que também desenvolveram aplicativos para área da saúde, como o Quimio em Casa um aplicativo útil no dia a dia de crianças e adolescentes com câncer que tratam com antineoplásicos orais em casa e suas famílias, para sanar dúvidas sobre o tratamento e seus efeitos colaterais29 e o OrtogApp, aplicativo educativo que oferece aos pacientes submetidos á cirurgia ortognática conforto durante o pós-operatório por ter ao alcance das mãos informações importantes para sua recuperação26. Ambos os aplicativos obtiveram boa avaliação de usabilidade.

Contudo, embora bem avaliados nos testes de usabilidade, os estudos ainda não apresentam resultados clínicos de eficácia, eficiência, e os reais benefícios para os pacientes e para a enfermagem. Tais estudos são necessários para avaliar possíveis barreiras na implementação das tecnologias, como resistência dos profissionais ou desafios na integração com sistemas hospitalares já existentes.

No que tange a segurança, o PaliEnf foi desenvolvido em conformidade com a Lei Geral de Proteção de Dados. A arquitetura do backend está hospedada na Amazon Web Service com o direcionamento de arquitetura em nuvem, onde as máquinas ficam nas subnets privadas e não são acessíveis pela internet, nas subnets públicas. O aplicativo não está disponível no Play store, os enfermeiros precisam ser cadastrados pelo administrador do serviço para ter acesso ao aplicativo.

Quanto as limitações do estudo, destaca-se que o aplicativo PaliEnf não apresenta disponibilidade no sistema IOS, seu funcionamento dependente do fornecimento de internet, prontuário eletrônico ou impressora que permita anexar o registro ao prontuário físico. Isto torna a utilização onerosa e inviável para alguns centros. Outro aspecto limitante se dá pela escolha de um SLP NANDA-I-NIC-NOC, pois exige o conhecimento por parte dos enfermeiros e restringe a implantação nos centros que optarem por utilizar outros SLP. O desenvolvimento do aplicativo não foi baseado em norma técnica.

Quanto a avaliação da eficácia e da aplicabilidade do PaliEnf na prática assistencial, um estudo clínico em ambiente real está em andamento e os resultados serão divulgados em seu término.

CONCLUSÃO

Por meio deste estudo foi possível desenvolver e avaliar a usabilidade do aplicativo PaliEnf, uma inovação tecnológica em saúde que foi considerado com usabilidade muito alta segundo as heurísticas e excelente usabilidade prática.

Assim, o uso do aplicativo PaliEnf contribui para a prática dos enfermeiros ao auxiliá-los na execução dos cuidados diários as crianças com diagnóstico de câncer em cuidados paliativos ao direcioná-los na coleta dos dados e no raciocínio clínico diagnóstico e terapêutico por meio da ligação NANDA-I-NIC-NOC e promove o registro completo do PE, fundamental a continuidade da assistência e a reavaliação dos resultados de enfermagem.

Logo o aplicativo PaliEnf é uma ferramenta que pode contribuir na qualidade da assistência de enfermagem prestada a população de crianças com diagnóstico de câncer em cuidados paliativos e na qualidade dos registros de enfermagem, além da possibilidade de integração aos prontuários eletrônicos quando disponíveis. Contudo, a eficácia do PaliEnf em ambiente de prática real ainda não foi comprovada, estudos com este objetivo estão em andamento.

Referências bibliográficas

  • 1. Backes DS, Toson MJ, Ben LWD, Erdmann AL. Contributions of Florence Nightingale as a social entrepreneur: from modern to contemporary nursing. Rev Bras Enferm [Internet]. 2020 [cited 2024 May 14];73 Suppl 5:e20200064. Available from: https://doi.org/10.1590/0034-7167-2020-0064
    » https://doi.org/10.1590/0034-7167-2020-0064
  • 2. Barros ALBL, Lucena AF, Moraes SCRV, Brandão MAG, Almeida MA, Cubas MR, et al. Nursing Process in the Brazilian context: Reflection on its concept and legislation. Rev Bras Enferm [Internet]. 2022 [cited 2024 May 14];75(6):e20210898. Available from: https://doi.org/10.1590/0034-7167-2021-0898
    » https://doi.org/10.1590/0034-7167-2021-0898
  • 3. Argenta C, Adamy EJ, Bitencourt JVOV. Processo de enfermagem: história e teoria [Internet]. Chapecó, SC(BR): UFFS; 2020 [cited 2024 Jun 02]. p. 25-40. Available from: https://doi.org/10.7476/9786586545234
    » https://doi.org/10.7476/9786586545234
  • 4. Seabra PRC, Valentim OMMS, Fernandes FAV, Severino SSP. Moving beyond nursing standardized language for substance use problems. Issues Ment Health Nurs [Internet]. 2020 [cited 2024 Jun 02];42(3):267-73. Available from: https://doi.org/10.1080/01612840.2020.1793245
    » https://doi.org/10.1080/01612840.2020.1793245
  • 5. Santos GLA, Santana RF, Sousa AR, Valadares GV. Systematization of nursing care: Understanding in the light of its pillars and constituent elements. Enferm Foco [Internet]. 2021 [cited 2024 Jun 04];12(1):168-73. Available from: https://doi.org/10.21675/2357-707X.2021.v12.n1.3993
    » https://doi.org/10.21675/2357-707X.2021.v12.n1.3993
  • 6. Bosco PS, Santiago LC, Martins M. Nursing records and their implications for the quality of care. Rev Recien [Internet]. 2019 [cited 2024 Jun 05];9(26):3-10. Available from: https://doi.org/10.24276/rerecien2358-3088.2019.9.26.3-10
    » https://doi.org/10.24276/rerecien2358-3088.2019.9.26.3-10
  • 7. Muñoz P, Echeverría N, Cabascango K, Pozo X, Delgado N, Charles A, et al. Quality of nursing records in the emergency service of the San Vicente de Paul Hospital. Nat Vol Essent Oil [Internet]. 2021 [cited 2024 Aug 06];8(5):8228- 40. Available from: https://www.nveo.org/index.php/journal/article/view/2200
    » https://www.nveo.org/index.php/journal/article/view/2200
  • 8. Ferreira LL, Chiavone FBT, Bezerril MS, Alves KYA, Salvador PTCO, Santos VEP. Analysis of records by nursing technicians and nurses in medical records. Rev Bras Enferm [Internet]. 2020 [cited 2024 Aug 04];73(2):e20180542. Available from: https://doi.org/10.1590/0034-7167-2018-0542
    » https://doi.org/10.1590/0034-7167-2018-0542
  • 9. Moldskred PS, Snibsoer AK, Espehaug B. Improving the quality of nursing documentation at a residential care home: A clinical audit. BMC Nursing [Internet]. 2021 [cited 2024 Aug 07];20:103. Available from: https://doi.org/10.1186/s12912-021-00629- 9
    » https://doi.org/10.1186/s12912-021-00629-
  • 10. Pizzolato AC, Sarquis LMM, Danski MTR. Nursing APHMÓVEL: Mobile application to register the nursing process in prehospital emergency care. Rev Bras Enferm [Internet]. 2021 [cited 2024 Aug 07];74:e20201029. Available from: https://doi.org/10.1590/0034-7167-2020-1029
    » https://doi.org/10.1590/0034-7167-2020-1029
  • 11. Oliveira MCP, Moura AK, Lima KMO, Medeiros MCWC, Lira MN, Lima JR. Construction of a mobile application prototype for the renal patient's nursing process. Res Soc Dev [Internet]. 2021 [cited 2024 Aug 16];10(3):e21810313226. Available from: https://doi.org/10.33448/rsd-v10i3.13226
    » https://doi.org/10.33448/rsd-v10i3.13226
  • 12. World Health Organization (WHO). Palliative care for children [Internet]. 2023 [cited 2024 Sep 27]. Available from: https://www.who.int/europe/news-room/fact-sheets/item/palliative-care-for-children
    » https://www.who.int/europe/news-room/fact-sheets/item/palliative-care-for-children
  • 13. Alexandre AF. Metodologia científica: princípios e fundamentos. 3rd ed. São Paulo, SP(BR): Blucher; 2021.
  • 14. Azevedo PM, Gibertoni D. The importance of user-centered design in agile methodologies as a usability requirement. Interface Tecnol [Internet]. 2020 [cited 2024 May 17];17(2):293-305. Available from: https://doi.org/10.31510/infa.v17i2.986
    » https://doi.org/10.31510/infa.v17i2.986
  • 15. Sousa ADRS, Silva LF, Cavalcanti ACD, Góes FGB, Moraes JRMM. NANDA-I nursing diagnoses for children and adolescents with cancer in palliative care. Rev Eletrônica Acervo Saúde [Internet]. 2023 [cited 2024 May 17];23(3):e12692. Available from: https://doi.org/10.25248/reas.e12692.2023
    » https://doi.org/10.25248/reas.e12692.2023
  • 16. Sousa ADRS, Silva LF, Cavalcanti ACD, Góes FGB, Moraes JRMM. Palliative care nursing care instrument for pediatric oncological intensive care center. Enferm Foco [Internet] 2019 [cited 2024 May 17];10(7):28-34. Available from: https://doi.org/10.21675/2357-707X.2019.v10.n7.2436
    » https://doi.org/10.21675/2357-707X.2019.v10.n7.2436
  • 17. Wangenheim CG, Wangenheim AV, Machado EC, Azevedo LF. Relatório Técnico do Instituto Nacional para Convergência Digital/ Departamento de Informática e Estatística, Centro Tecnológico, Universidade Federal de Santa Catarina [Internet]. 2011 [cited 2024 May 09]. Available from: http://www.gqs.ufsc.br/files/2020/02/INCoD-RT-MATCH-MED-2017_v10.pdf
    » http://www.gqs.ufsc.br/files/2020/02/INCoD-RT-MATCH-MED-2017_v10.pdf
  • 18. Associação Brasileira de Normas Técnicas (ABNT). NBR 9241-11 - Requisitos ergonômicos para trabalho em escritório com computadores. Parte 11 - orientações sobre usabilidade [Internet]. 2002 [cited 2024 Sep 05]. Available from: https://www.inf.ufsc.br/~edla.ramos/ine5624/_Walter/Normas/Parte %2011/iso9241-11F2.pdf
    » https://www.inf.ufsc.br/~edla.ramos/ine5624/_Walter/Normas/Parte %2011/iso9241-11F2.pdf
  • 19. Jasper MA. Expert: A discussion of the implications of the concept as used in nursing. J Adv Nurs [Internet]. 1994 [cited 2024 May 20];20(4):769776. Available from: https://doi.org/10.1046/j.1365-2648.1994.20040769.x
    » https://doi.org/10.1046/j.1365-2648.1994.20040769.x
  • 20. Lourenço DF, Carmona EV, Lopes MHBM. Translation and cross-cultural adaptation of the System Usability Scale to Brazilian Portuguese. Aquichan [Internet]. 2022 [cited 2024 Sep 09];22(2):e2228. Available from: https://doi.org/10.5294/aqui.2022.22.2.8
    » https://doi.org/10.5294/aqui.2022.22.2.8
  • 21. Brasil. Secretaria-Geral. Subchefia para Assuntos Jurídicos. Lei Nº 13.709, de 14 de agosto de 2018. Lei Geral de Proteção de Dados Pessoais (LGPD) [Internet]. 2018 [acesso 2024 Set 09]. Disponível em: Disponível em: https://www.planalto.gov.br/ccivil_03/_ato2015-2018/2018/lei/l13709.htm
    » https://www.planalto.gov.br/ccivil_03/_ato2015-2018/2018/lei/l13709.htm
  • 22. Brasil. Ministério da Saúde. Resolução nº 466, de 12 de dezembro de 2012. Diretrizes e normas regulamentadoras de pesquisas envolvendo seres humanos [Internet]. 2012 [cited 2024 Sep 09]. Available from: https://www.gov.br/conselho-nacional-de-saude/pt-br/atos-normativos/resolucoes/2012/resolucao-no-466.pdf/view
    » https://www.gov.br/conselho-nacional-de-saude/pt-br/atos-normativos/resolucoes/2012/resolucao-no-466.pdf/view
  • 23. Barreto JJS, Coelho MP, Lacerda LCX, Florin BH, Mocelin HJS, Freitas PSS. Nursing records and the challenges of their implementation in the assistance practice. Rev Min Enferm [Internet]. 2019 [cited 2024 Sep 09];23:e-1234. Available from: https://doi.org/10.5935/1415-2762.20190082
    » https://doi.org/10.5935/1415-2762.20190082
  • 24. Oliveira MCP, Moura AK, Lima KMO, Medeiros MCWC, Lira MN, Lima JR. Construction of a mobile application prototype for the renal patient's nursing process. Research Society and Development [Internet]. 2021 [cited 2024 Aug 16];10(3):e21810313226. Available from: https://doi.org/10.33448/rsd-v10i3.13226
    » https://doi.org/10.33448/rsd-v10i3.13226
  • 25. Pizzolato AC, Sarquis LMM, Danski MTR. Nursing APHMÓVEL: Mobile application to register the nursing process in prehospital emergency care. Rev Bras Enferm [Internet]. 2021 [cited 2024 Aug 07];74:e20201029. Available from: https://doi.org/10.1590/0034-7167-2020-1029
    » https://doi.org/10.1590/0034-7167-2020-1029
  • 26. Sousa CS, Turrini RNT. Development of an educational mobile application for patients submitted to orthognathic surgery. Rev Latino-Am Enfermagem [Internet]. 2019 [cited 2024 Sep 12];27:e3143. Available from: https://doi.org/10.1590/1518-8345.2904.3143
    » https://doi.org/10.1590/1518-8345.2904.3143
  • 27. Farokhzadian J, Khajouei R, Hasman A, Ahmadian L. Nurses’ experiences and viewpoints about the benefits of adopting information technology in health care: A qualitative study in Iran. BMC Med Inform Decis Mak [Internet]. 2020 [cited 2024 Sep 12];20:240. Available from: https://doi.org/10.1186/s12911-020-01260-5
    » https://doi.org/10.1186/s12911-020-01260-5
  • 28. Carvalho LR, Évora YDM, Zem-Mascarenhas SH. Assessment of the usability of a digital learning technology prototype for monitoring intracranial pressure. Rev Latino-Am Enfermagem [Internet]. 2016 [cited 2024 Sep 12];24:e2777. Available from: https://doi.org/10.1590/1518-8345.1054.2777
    » https://doi.org/10.1590/1518-8345.1054.2777
  • 29. Franco GAS, Silva LF, Seixas FL, Góes FGB, Pacheco STA, Moraes JRMM. Quimio em casa: Application for family members of children and adolescents using oral antineoplastic agents. Texto Contexto Enferm [Internet]. 2022 [cited 2024 Sep 14];31:e20210414. Available from: https://doi.org/10.1590/1980-265X-TCE-2021-0414en
    » https://doi.org/10.1590/1980-265X-TCE-2021-0414en

NOTAS

  • ORIGEM DO ARTIGO
    Extraído da Tese - Elaboração, avaliação de usabilidade e efeito da Tecnologia PaliEnf na qualidade dos registros dos enfermeiros em uma Unidade de Terapia Intensiva Pediátrica Oncológica - estudo quase-experimental, apresentada ao Programa Acadêmico de Ciências do Cuidado em saúde, da Universidade Federal Fluminense, em 2024.
  • APROVAÇÃO DE COMITÊ DE ÉTICA EM PESQUISA
    Aprovado no Comitê de Ética em Pesquisa da Universidade Federal Fluminense, parecer n. 6.101.871/2023, Certificado de Apresentação para Apreciação Ética 67104323.3.0000.5243.
  • DISPONIBILIDADE DE DADOS
    Todo o conjunto de dados que deram suporte aos resultados deste estudo e que não comprometam a privacidade dos participantes, estão disponíveis mediante solicitação ao autor correspondente Amanda Danielle Resende Silva e Sousa pelo contato: amandadani@icloud.com.

Editado por

  • EDITORES
    Editores Associados: José Luís Guedes dos Santos.
    Editor-chefe: Elisiane Lorenzini.

Disponibilidade de dados

Todo o conjunto de dados que deram suporte aos resultados deste estudo e que não comprometam a privacidade dos participantes, estão disponíveis mediante solicitação ao autor correspondente Amanda Danielle Resende Silva e Sousa pelo contato: amandadani@icloud.com.

Datas de Publicação

  • Publicação nesta coleção
    06 Out 2025
  • Data do Fascículo
    2025

Histórico

  • Recebido
    14 Out 2024
  • Aceito
    08 Abr 2025
location_on
Universidade Federal de Santa Catarina, Programa de Pós Graduação em Enfermagem Campus Universitário Trindade, 88040-970 Florianópolis - Santa Catarina - Brasil, Tel.: (55 48) 3721-4915 / (55 48) 3721-9043 - Florianópolis - SC - Brazil
E-mail: textoecontexto@contato.ufsc.br
rss_feed Acompanhe os números deste periódico no seu leitor de RSS
Ir para o topo Reportar erro