Comparação das formas de aplicação papel e caneta e eletrônica do índice de estresse parental versão reduzida (PSI-SF)

Resumo

Objetivo  avaliar se a aplicação eletrônica do Índice de Estresse Parental – versão reduzida (PSI-SF) é comparável à aplicação em formato papel e caneta. Verificar o estresse em pais de crianças com desenvolvimento normal.

Métodos  quarenta adultos, pais de crianças entre seis meses e 10 anos, foram divididos em quatro grupos, sendo pareados por idade, sexo, escolaridade e idade da criança. Cada participante completou o questionário em duas ocasiões, com intervalo de sete a dez dias, nas versões: papel-caneta/papel-caneta (PP), papel-caneta/eletrônico (PE), eletrônico/eletrônico (EE), eletrônico/papel-caneta (EP). O PSI-SF apresenta 36 afirmações, divididas em três subescalas: Sofrimento Parental (SP); Interações Disfuncionais entre Pai e Criança (IDPC) e Criança Difícil (CD). Para análise dos dados foram realizadas as correlações (Pearson) e comparação da pontuação do PSI-SF intra e inter-grupos.

Resultados  foram obtidas correlações positivas fortes e médias e significantes entre a pontuação total e das subescalas do PSI-SF na primeira e segunda aplicação, para todos os grupos. Diferenças significantes foram observadas entre as médias das pontuações para o grupo PP (subescala “Criança Difícil”;) e grupo EE (subescala “Criança Difícil”; e pontuação total). No entanto, tais diferenças de pontuação não alteraram a interpretação do resultado do questionário. Não houve diferença significante entre os grupos para as quatro subescalas analisadas, confirmando equivalência da variância entre os grupos. O estresse dos participantes, em todas as subescalas, recaiu dentro da normalidade.

Conclusão  a aplicação no formato eletrônico do questionário PSI-SF apresenta resultados semelhantes à aplicação papel e caneta. Os níveis de estresse observados foram considerados normais.

Questionários; Audição; Perda Auditiva; Pais; Estresse Psicológico

Abstract

Purpose  to assess whether the electronic version of the Parenting Stress Index – Short Form (PSI-SF) is comparable to the paper and pencil administration. To evaluate stress in parents of children with normal development.

Methods  forty adults, parents of children between six months and ten years of age, were divided into four groups matched for age, gender, education and child’s age. In two different occasions, seven to ten days apart, participants completed the PSI-SF in the formats: paper-pencil/paper-pencil (PP), paper-pencil/electronic (PE), electronic/electronic (EE) and electronic/paper-pencil (PE). The PSI-SF has 36 statements, divided into three subscales: Parental Distress, Parent-Child Dysfunctional Interaction, and Difficult Child. Pearson’s correlations and comparison of the PSI-SF scores within and between groups were obtained.

Results  strong positive correlations were found between PSI-SF subscales and total scores in the first and second administration, for all groups. Significant differences were observed between the mean scores for the PP group (subscale “Difficult Child”;) and EE group (subscale “Difficult Child”; and the total score). Such differences in scores, however, did not alter in any means the interpretation of the results. Participants’ stress fell into normal values, for all subscales.

Conclusion  the electronic format of the PSI-SF questionnaire yields similar results to the standard paper-and-pencil administration of the test. Observed stress levels were considered normal.

Questionnaires; Hearing; Hearing Loss; Parents; Stress; Psychological

INTRODUÇÃO

A família possui um papel crítico no desenvolvimento de bebês e crianças deficientes auditivas sendo, em última instância, responsável pelo acesso à amplificação e ao processo de reabilitação auditiva. Em programas de saúde auditiva infantil tem sido ressaltada a importância de uma abordagem centrada na família buscando sua maior participação nos processos de diagnóstico e intervenção precoces e, por conseguinte, melhores resultados para as crianças ¹.

Geralmente o período que segue o diagnóstico audiológico é muito difícil para a família que vivencia e deve lidar com sentimentos diferentes e fortes de inadequação, raiva, culpa, vulnerabilidade e confusão ². Além disto, a necessidade de re-estruturação de seus papeis e aprendizagem de novos valores e habilidades para lidar com a deficiência auditiva na família pode ser uma fonte potencial de estresse. Pais de crianças com deficiência auditiva apresentaram maior estresse do que os pais de crianças ouvintes e que este estresse se dava por diferentes razões, em diferentes fases de vida da criança ³.

As respostas emocionais dos pais e a forma como eles enfrentam estes estressores afetam o ajuste da família e, consequentemente, os resultados da criança. Por esta razão os profissionais devem ter a capacidade de identificar o(s) gerador(es) de estresse a fim de fornecer o suporte e orientações apropriadas. O instrumento Índice de Estresse Parental: Versão Reduzida (PSI-SF) ⁴ destina-se a quantificar o estresse percebido pelos pais e seu uso vem sendo proposto na clínica audiológica, para analisar a percepção de pais quanto ao temperamento/personalidade de seus filhos ⁵, para avaliar programas para redução do estresse dos pais ⁶ ou avaliar o impacto dos resultados da triagem auditiva neonatal ⁷.

A fim de facilitar a forma de aplicação, pontuação e gerenciamento dos dados obtidos em larga escala faz-se necessária a aplicação deste instrumento em formato eletrônico. O software Índice de Estresse Parental - Versão 1 é uma versão do PSI3 Plus para Windows para administração tanto da versão completa como versão reduzida do PSI via computador, calculando as pontuações e gerando um relatório automaticamente.

No entanto, até o momento não foram encontrados estudos sobre a validade da aplicação do PSI-SF em formato eletrônico. O objetivo deste estudo foi verificar se a versão eletrônica do PSI-SF produz os mesmos resultados que a versão em papel e caneta.

MÉTODOS

Este estudo foi realizado na Faculdade de Odontologia de Bauru, Universidade de São Paulo – FOB/USP e aprovado pelo Comitê de Ética em Pesquisa desta instituição (processo nº 113/2010). Teve design prospectivo e longitudinal. Participaram de forma voluntária, após assinatura do termo de consentimento livre e esclarecido, 40 adultos (12 homens e 28 mulheres) com idade variando entre 22 e 47 anos (média de 34 anos), pais de crianças com desenvolvimento neuropsicomotor normal e sem queixas auditivas, com idades entre seis meses e 10 anos e 11 meses (média de 5 anos).

Os participantes foram divididos em quatro grupos de acordo com o formato de questionário a ser utilizado. Cada grupo era composto por 10 indivíduos, pareados por idade, sexo, nível de escolaridade e idade de seu (sua) filho(a). Cada participante completou o questionário em duas ocasiões, com intervalo de sete a dez dias, nas versões indicadas pelos grupos:

• Grupo PP (papel-caneta / papel-caneta): preenchimento do questionário no formato papel e caneta nas duas ocasiões.

• Grupo EE (eletrônico / eletrônico): preenchimento do questionário no formato eletrônico nas duas ocasiões.

• Grupo PE (papel-caneta / eletrônico): primeira aplicação em formato papel e caneta e segunda aplicação em formato eletrônico.

• Grupo EP (eletrônico / papel-caneta): primeira aplicação em formato eletrônico e segunda aplicação em formato papel e caneta.

A tabela 1 mostra os dados demográficos dos participantes.

Tabela 1
Dados demográficos dos participantes (N=40)

Grupos	Sexo		Idade Pais (anos)		Idade Crianças (meses)		Escolaridade
	Masc	Fem	Média	DP	Média	DP	MC	SI	SC
Grupo PP	3	7	35,5	5,3	71,6	37,5	2	1	7
Grupo EE	3	7	32,6	4,3	63,7	43,3	1	2	7
Grupo PE	3	7	34,9	6,1	60,6	44,3	2	1	7
Grupo EP	3	7	32,5	6,5	71,5	42,3	1	3	6

A análise de variância (ANOVA) a um critério mostrou não haver diferença estatisticamente significante entre as idades dos participantes (p = 0,52) e idade das crianças (p = 0,91) de cada grupo (tabela 1).

O Índice de Estresse Parental – PSI foi desenvolvido a fim de avaliar as características da criança, dos pais, o contexto familiar e eventos estressantes de vida no sistema pai-filho. A versão completa do instrumento é composta por 101 itens, além de uma escala opcional de 19 itens referentes ao estresse de vida ⁴. A versão reduzida (PSI-SF) é composta por 36 afirmações, divididas em três subescalas:

Sofrimento Parental – SP (itens 01 a 12). Avalia o sofrimento e a angústia vivenciados no papel de pai/mãe. Exemplo: “Sinto-me limitada/o por causa das minhas responsabilidades como mãe/pai”;.

Interações Disfuncionais entre Pai e Criança – IDPC (itens 13 a 24). Avalia as percepções de insatisfação do pai/mãe, a partir das interações com seu filho e que não reforçam seu papel de pai/mãe. Exemplo: “Às vezes (a criança) faz coisas que me aborrecem, só por maldade”;.

Criança Difícil – CD (itens 25 a 36). Avalia a percepção do pai/mãe de características comportamentais básicas da criança associadas à capacidade de auto-regulação da mesma. Exemplo: “(A criança) Exige mais de mim do que as crianças costumam exigir dos pais”;.

O PSI-SF também engloba o instrumento “Respostas Defensivas”; que avalia o nível de respostas defensivas que o respondente utilizou, na tentativa de se defender de perguntas que pudessem expô-lo a julgamento. Este instrumento não foi avaliado no presente estudo.

O PSI-SF encontra-se traduzido e validado para diferentes idiomas. Para o presente estudo foi utilizada a versão do PSI-SF em português de Portugal ⁸. Alguns vocábulos e expressões foram adaptados, pelas autoras deste estudo, para adequarem-se ao português brasileiro. Esta adaptação bem como a utilização do PSI-SF em Português foram autorizadas pela Psychological Assessment Resources (PAR), que detém os direitos autorais do instrumento, mediante o pagamento dos direitos autorais, taxas por aplicação e assinatura de contrato.

No caso da aplicação papel e caneta, os pais realizaram a leitura de cada afirmação e assinalam uma resposta em uma escala Likert de cinco pontos: concordo completamente (5 pontos), concordo (4 pontos), não tenho certeza (3 pontos), discordo (2 pontos) e discordo completamente (1 ponto). Foi feita a somatória dos pontos para cada subescala e também para todos os itens do instrumento (pontuação total). De modo geral, quanto maior a pontuação, maior o nível de estresse apresentado ⁴.

A fim de verificar o nível de estresse dos participantes os valores do PSI-SF foram inseridos em uma tabela, permitindo gerar índices que descrevessem cada subescala.

O PSI-SF apresenta dados normativos, baseados na população norte-americana, com a distribuição do percentil das respostas disponível na folha de teste do instrumento. São considerados altos, necessitando intervenção, os escores que estiverem acima do percentil 85 dos dados normativos. Os valores para este percentil são: 33 (sofrimento parental), 26 (interações disfuncionais pai-criança), 33 (criança difícil) e 86 (pontuação total).

Para a aplicação eletrônica foi elaborado um formulário na ferramenta kwiksurveys, disponível na internet. A primeira parte deste formulário era composto pelo termo de consentimento livre e esclarecido. A segunda parte era composta por questões acerca dos dados demográficos (sexo, idade, estado civil, grau de escolaridade, profissão, data de nascimento e sexo da criança). A terceira parte era formada pelo instrumento PSI-SF. Ressalta-se que os dados foram criptografados e protegidos por login e senha. Para os participantes dos grupos PE, EP e EE o link do formulário foi enviado via email e eles responderam ao mesmo à distância, via internet.

O tempo de preenchimento do questionário foi cronometrado pelo pesquisador (formato papel e caneta) ou computado pelo próprio formulário kwiksurveys.

A análise estatística foi realizada por meio do software Stata. Foi calculado o percentil de distribuição das respostas dos participantes para a primeira aplicação do questionário. A diferença na pontuação entre a primeira e a segunda administração do questionário PSI-SF foi comparada entre os grupos por meio do teste t pareado. Também foi calculado o coeficiente de correlação de Pearson entre a primeira e a segunda administração. A fim de determinar se as diferenças de variabilidade estavam relacionadas a uma forma específica de aplicação do questionário foi utilizada a ANOVA com a covariável dos resultados da primeira aplicação comparando as pontuações da segunda administração do questionário em todos os grupos participantes. Em todos os casos o nível de significância adotado foi igual a 5%.

RESULTADOS

O tempo de preenchimento do PSI-SF nas diferentes aplicações consta na Tabela 2.

Tabela 2
Tempo transcorrido nas aplicações do PSI-SF (em minutos) e significância estatística entre elas (N=40)

Participante	Grupo PP		Grupo EE		Grupo PE		Grupo EP
	1aPapel	2aPapel	1aEletrônico	2aEletrônico	1aPapel	2aEletrônico	1aEletrônico	2aPapel
1	11	5	10	8	3	4	8	7
2	9	12	7	14	8	6	19	15
3	10	8	15	5	7	6	10	8
4	10	8	6	4	10	8	7	4
5	3	4	12	8	12	13	17	14
6	5	3	11	6	13	8	7	5
7	4	3	10	7	7	8	23	7
8	10	9	11	7	15	9	-	-
9	14	12	-	-	13	11	11	7
10	10	8	7	7	9	5	10	12
Média	8,6	7,2	9,8	7,3	9,7	7,8	12,4	8,7
DP	3,4	3,3	2,8	2,8	3,6	2,7	5,7	3,9
Teste t	0,08		0,12		0,04		0,05

Os dados dos participantes 9 (grupo EE) e 8 (grupo EP) foram excluídos da análise em função de ter sido computado, na aplicação eletrônica, todo o tempo em que o formulário ficou aberto no navegador da internet, ao invés de apenas o tempo utilizado para preenchimento do PSI-SF.

A Tabela 3 mostra as correlações (Pearson) entre a primeira e segunda aplicação do instrumento.

Tabela 3
Correlação de Pearson e significância entre as pontuações da primeira e segunda aplicação do PSI-SF (N=40)

Subescalas PSI-SF	Grupos
	PP	EE	PE	EP
Sofrimento Parental	r = 0,86	r = 0,88	r = 0,74	r = 0,93
	p = 0,01	p = 0,01	p = 0,01	p = 0,00
Interações Disfuncionais entre Pai e Criança	r = 0,82	r = 0,96	r = 0,78	r = 0,90
	p = 0,03	p = 0,00	p = 0,00	p = 0,00
Criança Difícil	r = 0,94	r = 0,84	r = 0,79	r = 0,64
	p = 0,00	p = 0,02	p = 0,00	p = 0,04
Pontuação Total	r = 0,93	r = 0,91	r = 0,69	r = 0,91
	p = 0,00	p = 0,00	p = 0,02	p = 0,00

As médias das pontuações total e das subescalas do PSI-SF, obtidas nas diferentes aplicações, encontram-se na Tabela 4.

Tabela 4
Média dos resultados das subescalas do PSI-SF nas duas aplicações, diferença e significância estatística

Subescalas PSI-SF		Grupos
		PP	EE	PE	EP
Sofrimento Parental	Média 1 Média 2 Diferença Teste-t	27,90 26,40 -1,50 0,42	28,40 25,70 -2,70 0,08	23,00 22,20 -0,80 0,71	26,20 24,90 -1,30 0,19
Interações Disfuncionais entre Pai e Criança	Média 1 Média 2 Diferença Teste-t	16,50 16,70 0,20 0,80	19,70 19,30 -0,40 0,57	14,80 14,80 0,00 1,00	14,30 15,20 0,90 0,27
Criança Difícil	Média 1 Média 2 Diferença Teste-t	24,00 21,20 -2,80 0,03*	29,20 25,70 -3,50 0,03*	19,00 17,90 -1,10 0,37	19,60 19,60 0,00 1,00
Pontuação Total	Média 1 Média 2 Diferença Teste-t	68,40 64,30 -4,10 0,18	77,30 70,70 -6,60 0,04*	56,80 54,90 -1,90 0,63	60,10 59,70 -0,40 0,86

A análise de variância com a covariável dos resultados da primeira aplicação do PSI-SF para comparação da pontuação das subescalas entre grupos mostrou não haver diferença estatisticamente significante entre os mesmos nas escalas de sofrimento parental (p=0,91), interações disfuncionais pai-criança (p=0,85), criança difícil (p=0,78) ou pontuação total (p=0,70).

As Figuras 1 e Tabela 5 mostram, respectivamente, os resultados médios da pontuação do PSI-SF e a distribuição das respostas, obtidos na primeira aplicação, para todos os participantes.

Figura 1
Média e desvio padrão das pontuações das subescalas do PSI-SF (N=40)

Tabela 5
– Distribuição das respostas dos participantes obtidas na primeira aplicação do PSI-SF (N=40)

Percentil	Escores
	Sofrimento Parental (SP)	Interações Disfuncionais Pais-Criança (IDPC)	Criança Difícil (CD)	TOTAL
99	47	31	42	112
95	42	29	38	105
90	34	25	37	97
85	34	22	35	88
80	32	18	33	80
75	31	17	29	74
70	30	17	24	68
65	30	16	23	63
60	28	15	23	62
55	26	14	21	62
50	26	14	20	62
45	24	14	19	60
40	24	14	19	59
35	23	13	18	56
30	21	13	16	55
25	20	12	15	54
20	19	12	15	50
15	17	12	14	46
10	14	12	13	44
5	14	12	12	41
1	13	12	12	39

A Tabela 5 mostra a distribuição das respostas dos participantes obtidas na primeira aplicação do PSI-SF.

DISCUSSÃO

O tempo necessário para preenchimento do PSI-SF (Tabela 2) mostrou que este instrumento é viável para uso na prática clínica, a qual exige ferramentas breves que se adequem ao horário de atendimento do paciente.

O tempo despendido para o preenchimento do PSI-SF sempre foi menor na segunda aplicação. No entanto, isto só foi estatisticamente significante para o grupo PE. Isto pode ter ocorrido devido à maior familiaridade dos participantes com as instruções de preenchimento do instrumento durante a segunda aplicação. Um estudo anterior que buscou comparar o tempo de aplicação de um questionário nos formatos de aplicação papel e caneta e eletrônico apontou que o tempo pode variar para mais ou para menos com relação ao preenchimento no formato papel e caneta de acordo com a tecnologia utilizada para aplicação eletrônica - computador de mão, computador desktop touchscreen e tablet ⁹.

Correlações positivas fortes e médias, estatisticamente significantes, foram obtidas entre a primeira e segunda aplicação do PSI-SF para a pontuação total e de todas as subescalas, para todos os grupos (tabela 3). Isto mostra que a pontuação obtida foi estável independentemente da forma de aplicação do questionário. Haskett e colaboradores ¹⁰ também encontraram correlações entre duas aplicações do PSI-SF, no formato papel e caneta, iguais a 0,61 a 0,75 para as subescalas e pontuação total, corroborando os achados do presente estudo.

Na tabela 4 podem ser observadas diferenças significantes entre as médias das pontuações para o grupo “Papel / Papel”; (subescala “Criança Difícil”;) e para o grupo “Eletrônico / Eletrônico”; (subescala “Criança Difícil”; e pontuação total). No entanto, tais diferenças de pontuação não alteram drasticamente a interpretação do resultado do PSI-SF, que deve ser analisado com cautela pelo profissional. A confiabilidade teste-reteste do PSI, obtida em um intervalo de seis meses, foi de 0,84 (SP), 0,85 (IDPC), 0,68 (CD) e 0,78 (pontuação total) ⁴. Em outros estudos foram comparadas as aplicações no formato papel e caneta e eletrônica de diferentes questionários, sendo que para todos não foi encontrada diferença estatisticamente significante entre os resultados da primeira e segunda aplicação ^11,12.

A análise de variância não evidenciou diferença significante entre os grupos para as subescalas analisadas, confirmando que a variância entre os grupos é equivalente.

Uma revisão sistemática sobre a equivalência da aplicação de testes nos formatos eletrônico e papel e caneta, analisou um total de 46 estudos originais, avaliando 278 escalas, nos quais os resultados mostraram que a administração de ferramentas por computador e papel e caneta produzem pontuações equivalentes. . As correlações foram elevadas e diferenças médias foram muito pequenas, não sendo estatística ou clinicamente significantes ¹³.

A administração do PSI-SF em formulário eletrônico pode permitir maior facilidade para pontuação, armazenamento em banco de dados, economia de recursos financeiros e ambientais e aplicação do instrumento à distância.

As pontuações médias do PSI-SF obtidas na primeira aplicação do instrumento (Figura 1) foram similares às encontradas por Minetto et al. ¹⁴ quando esta mesma versão do PSI-SF foi aplicada em pais de crianças com desenvolvimento normal. No entanto, outro estudo realizado no Brasil com população similar encontrou valores do PSI ligeiramente maior na subescala IDPC e maior pontuação total ¹⁵. Isto pode ter ocorrido em função da idade média das crianças ter sido menor no presente estudo ou, ainda, pelo fato de Bazon et al. ¹⁵ ter utilizado uma versão do PSI-SF traduzida da versão Canadense deste instrumento.

Para os participantes deste estudo, em todas as subescalas, o estresse parental, encontrava-se dentro dos níveis considerados normais (intervalo entre o percentil 15 e 80)⁴. Conforme mencionado anteriormente os valores normativos adotados se referem à população norte americana já que não há dados desta natureza publicados para a população brasileira. Desta forma, certa cautela deve ser adotada, pois os dados normativos podem ser influenciados, dentre outras, por questões relacionadas à língua, cultura, educação e aspectos sociais e econômicos das populações estudadas.

Contudo, a distribuição dos valores obtidos no PSI-SF no presente estudo (Tabela 5) foi bastante semelhante à da normativa norte-americana disponível na ficha de análise dos resultados do questionário. Embora o presente estudo tenha um número reduzido de participantes e não tenha tido a pretensão de criar dados normativos brasileiros, a Tabela 5 pode nortear a interpretação dos resultados do PSI-SF. Outros estudos devem ser realizados com a finalidade de validar este instrumento para a população brasileira.

CONCLUSÃO

Os resultados deste estudo demonstraram que a aplicação no formato eletrônico da versão reduzida do questionário Índice de Estresse Parental (PSI-SF) apresenta resultados semelhantes à aplicação papel e caneta. Os participantes do estudo apresentaram estresse parental em níveis considerados normais.

REFERÊNCIAS

• ¹ Fitzpatrick E, Angus D, Durieux-Smith A, Graham I D, Coyle D. Parents’ needs following identification of childhood hearing loss. American Journal of Audiology. 2008;17:38-49.
• ² Luterman D. Children with hearing loss: A family guide. Hearing Review [periodic na internet] 2006. [acesso em 11 de abril de 2011]. Disponível em: <http://www.hearingreview.com/issues/articles/2006-10_04.asp>.
  » http://www.hearingreview.com/issues/articles/2006-10_04.asp
• ³ Meinsen-Derr J, Lim LHY, Choo DI, Buyniski S, Wiley S. Pediatric hearing impairment caregiver experience: Impact of duration of hearing loss on parental stress. Int J Pediatr Otorhinolaryngol. 2008;72:1693-703.
• ⁴ Abidin RR. Caderno de aplicação: Índice de stress parental (Parenting stress índex). Psychological Assessment Resources, Inc., Odessa, Florida. 1995.
• ⁵ Koester LS, Meadow-Orlans KP. Responses to interactive stress: infants who are deaf or hearing. American Annals of the Deaf. 1999;144(5):395-403.
• ⁶ Adams JW, Tidwell R. An instructional guide for reducing the stress of hearing parents of hearing-impaired children. Am Ann Deaf. 1989;134(5):323-8.
• ⁷ Stuart A, Moretz M, Yang EY. An investigation of maternal stress after neonatal hearing screening. Am J Audiol. 2000;9(2):135-41.
• ⁸ Abidin RR, Santos S. Índice de Stress Parental (PSI) - Manual (1ª ed.). CEGOC-TEA, Lisboa. 2003.
• ⁹ VanDenKerkhof EG, Goldstein DH, Blaine WC, Rimmer MJ. A comparison of paper with electronic patient-completed questionnaires in a preoperative clinic. Anesth Analg. 2005;101(4):1075-80.
• ¹⁰ Haskett ME, Ahern LS, Ward CS, Allaire JC. Factor structure and validity of the parenting stress index-short form. J Clin Child Adolesc Psychol. 2006;35(2):302-12.
• ¹¹ Bushnell DM, Martin ML, Parasuraman B. Electronic versus paper questionnaires: a further comparison in persons with asthma. J Asthma. 2003;40(7):751-62.
• ¹² Bushnell DM, Reilly MC, Galani C, Martin ML, Ricci JF, Patrick DL et al. Validation of electronic data capture of the Irritable Bowel Syndrome-Quality of Life Measure, the Work Productivity and Activity Impairment Questionnaire for Irritable Bowel Syndrome and the EuroQol. Value Health. 2006;9(2):98-105.
• ¹³ Gwaltney CJ, Shields AL, Shiffman S. Equivalence of electronic and paper-and-pencil administration of patient-reported outcome measures: a meta-analytic review. Value Health. 2008;11(2):322-33.
• ¹⁴ Minetto MF, Crepaldi MA, Bigras M, Ceretta Moreira L. Práticas educativas e estresse parental de pais de crianças pequenas com desenvolvimento típico e atípico. Educ Ver. 2012;(43):117-32. [acesso em 05 de dezembro de 2012]. Disponível em: <http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0104-40602012000100009&lng=en&nrm=iso>.
  » http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0104-40602012000100009&lng=en&nrm=iso
• ¹⁵ Bazon MR, Mello ILMA, Bérgamo LPD, Faleiros JM. Negligência infantil: estudo comparativo do nível socioecônomico, estresse parental e apoio social. Temas em Psicologia. 2010;18(1):71-84.

• Trabalho realizado no Departamento de Fonoaudiologia da Faculdade de Odontologia de Bauru da Universidade de São Paulo.
• Fonte de auxílio à pesquisa: RUSP - Processo nº 2011.1.3556.25.8

Datas de Publicação

• Publicação nesta coleção
  Mar-Apr 2014

Histórico

• Recebido
  08 Ago 2012
• Aceito
  17 Dez 2012