Medidas acústico-prosódicas discriminam as emoções de falantes do português brasileiroRESUMO
Objetivo Verificar se há diferença de medidas acústico-prosódicas em diferentes estados emocionais de falantes do português brasileiro (PB).
Métodos A amostra de dados consistiu em 182 sinais de áudio produzidos por atores (profissionais ou estudantes), a partir da tarefa de fala semi-espontânea “Olha lá o avião azul” nas variadas emoções (alegria, tristeza, medo, raiva, surpresa, nojo) e emissão neutra. Foram extraídos valores das medidas acústico-prosódicas de duração, frequência fundamental e intensidade das variadas emoções. Utilizou-se o teste de comparação de Friedman para verificar se essas medidas são capazes de discriminar as emoções.
Resultados A análise acústico-prosódica revelou variações significativas entre as emoções. A emoção nojo destacou-se por apresentar a maior taxa de elocução, com valores mais altos de duração. Em contraste, a alegria exibiu uma fala mais acelerada, com menores valores de duração e maior intensidade. A tristeza e o medo foram marcados por menor intensidade e frequências mais baixas, sendo que o medo apresentou os menores valores de assimetria positiva de z-score e z-suavizado, com menor alongamento dos segmentos. A raiva se sobressaiu pela maior intensidade vocal, enquanto a surpresa registrou os valores mais altos de frequência fundamental.
Conclusão As medidas acústico-prosódicas demonstraram ser ferramentas eficazes para diferenciar emoções em falantes do PB. Esses parâmetros têm grande potencial para discernir diferentes estados emocionais, ampliam o conhecimento sobre a expressividade vocal e abrem possibilidades para tecnologias de reconhecimento de emoções, com aplicações em inteligência artificial e saúde mental.
Descritores:
Voz; Emoção; Acústica da Fala; Prosódia; Reconhecimento da Emoção na Voz
ABSTRACT
Purpose To verify if there is a difference in acoustic-prosodic measures in different emotional states of speakers of Brazilian Portuguese (BP).
Methods The data sample consisted of 182 audio signals produced by actors (professionals or students), from the semi-spontaneous speech task “Look at the blue plane” in the various emotions (joy, sadness, fear, anger, surprise, disgust) and neutral emission. Values were extracted from acoustic-prosodic measures of duration, fundamental frequency and intensity of the various emotions. The Friedman comparison test was used to verify whether these measures are able to discriminate emotions.
Results The prosodic-acoustic analysis revealed significant variations between emotions. The disgust emotion stood out for having the highest rate of utterance, with higher values of duration. In contrast, the joy exhibited a more accelerated speech, with lower values of duration and greater intensity. Sadness and fear were marked by lower intensity and lower frequencies, and fear presented the lowest positive asymmetry values of z-score and z-smoothed, with less elongation of the segments. Anger was highlighted by the higher vocal intensity, while surprise recorded the highest values of fundamental frequency.
Conclusion The acoustic-prosodic measures proved to be effective tools for differentiating emotions in CP speakers. These parameters have great potential to discern different emotional states, broaden knowledge about vocal expressiveness and open possibilities for emotion recognition technologies with applications in artificial intelligence and mental health.
Keywords:
Voice; Emotion; Speech Acoustics; Prosody; Emotion Recognition in Voice
INTRODUÇÃO
A interface entre voz e linguagem está relacionada ao ponto de interseção entre a produção vocal e a expressão linguística. Envolve a conexão entre a capacidade de produzir sons vocais e a habilidade de utilizar esses sons de maneira estruturada e significativa, seguindo regras linguísticas específicas(1). A voz é usada para transmitir a linguagem, ou seja, para expressar palavras e significados de acordo com as regras e convenções linguísticas. Ela pode diferenciar o estado emocional, expressar os traços de personalidade, sentimentos, estado de saúde física e mental, dentre outros(2-4).
A linguagem influencia a forma como usamos nossa voz. A estrutura gramatical, o vocabulário e os padrões linguísticos determinam como organizamos e expressamos nossas ideias a partir da voz(5). Portanto, a voz e a linguagem estão intrinsecamente relacionadas, e a sua interação é fundamental para a comunicação eficaz e expressão emocional.
Diversos estudos contribuíram para que alguns autores propusessem que seis emoções básicas (felicidade/alegria, medo, raiva, tristeza, repugnância/nojo, surpresa) fossem universalmente reconhecidas na face pelos seres humano, por apresentarem configurações específicas, expressas de forma semelhante em diferentes culturas(6,7). Essas emoções quando combinadas geram um espectro de estados emocionais.
Cada estado emocional provoca modificações no trato vocal e alteram momentaneamente a fisiologia de produção da voz, que interfere no controle da respiração, no posicionamento vertical da laringe, no relaxamento relativo das pregas vocais e no posicionamento e no relaxamento dos músculos da faringe e da língua, que pode resultar na modificação da voz(8). Essas variações da voz humana, quando um indivíduo vivencia um determinado estado emocional, podem envolver tanto aspectos da qualidade vocal como os atributos correlatos da prosódia(9). Essa pode ser definida como um conjunto de propriedades da fala, que está além do nível do segmento, e é usualmente estudada a partir da análise de três parâmetros fonético-acústicos clássicos: duração, frequência fundamental (fo) e intensidade(9-11). Para alguns autores, a prosódia resulta do acoplamento de uma informação sintática, semântica e discursiva e das restrições de um sistema de produção de fala(12,13). As variações prosódicas transmitem informações para a significação da expressividade e marcam as características de uma dinâmica vocal, porém pouco se sabe sobre essas informações nas emoções para o português brasileiro (PB).
Alguns bancos de vozes foram desenvolvidos com a variação as emoções em diferentes línguas/culturas, como o Berlin Database of Emotional Speech (EMO-DB)(14), Interactive Emotional Dyadic Motion Capture (IEMOCAP)(15), Sustained Emotionally colored Machine-human Interaction using Nonverbal Expression (SEMAINE)(16) e Remote Collaborative and Affective interactions (RECOLA)(17). As principais características que se destacam na diferenciação das emoções nesses conjuntos de dados são as características acústicas e prosódicas, como pitch, energia e duração. Além disso, coeficientes cepstrais como os Mel-Frequency Cepstral Coefficients (MFCC) são medidas importantes para otimizar a identificação emocional(18).
Recentemente foi elaborado um banco de vozes nas variadas emoções a partir de falantes nativos do PB, o EMOVOX-BR(19). Houve a validação desse banco por meio do julgamento perceptivoauditivo de juízes experts. Esse estudo indicou que aspectos acústicos, como a variação do pitch e da loudness, foram essenciais para a diferenciação das emoções, além da sua valência e potência(19).
A análise dos aspectos acústico-prosódicos das emoções constitui uma área de crescente interesse nas ciências da fala e da comunicação, oferecendo novas perspectivas sobre como as emoções são expressas e percebidas por meio da voz(20-22), e por isso o presente estudo busca colaborar com a identificação de parâmetros vocais e fala específicos a cada estado emocional, bem como reconhecer a voz como um sinal biológico rico em informações que pode ser instrumental na detecção de padrões emocionais.
A investigação da prosódia emocional envolve tanto a forma como as modulações acústicas são produzidas quanto a maneira como são percebidas, proporcionando uma compreensão mais ampla da relação entre os processos linguísticos e emocionais na comunicação humana(23), ultrapassando o conteúdo semântico das palavras. Compreender esses elementos é essencial para desvendar a complexidade da comunicação humana, na qual a dimensão emocional influencia significativamente a interação social. Além de seu impacto teórico, o estudo da prosódia emocional apresenta aplicações práticas em tecnologias avançadas de reconhecimento de emoções, inteligência artificial, e diagnósticos clínicos de transtornos da comunicação e saúde mental(21,22).
Essas descobertas têm o potencial de impulsionar o desenvolvimento de sistemas de interação homem-máquina e a detecção automática de emoções pela voz, pois a prosódia envolve elementos que carregam informações importantes sobre o estado emocional do falante(23). A expressão das emoções afeta esses parâmetros de forma distinta, permitindo que modelos de aprendizado de máquina utilizem essas variações para identificar e classificar emoções de maneira precisa(24). Essa capacidade é essencial para criar sistemas capazes de ajustar suas respostas conforme o estado emocional do usuário, promovendo interações mais humanas e eficientes.
Esses avanços têm aplicações fundamentais para uma ampla gama de setores, como call centers, aplicativos de reconhecimento de voz, web filmes e comunicação móvel. Acredita-se que a análise de parâmetros prosódico-acústicos poderia revelar diferenças fônicas entre as variações emocionais do PB, contribuindo para o desenvolvimento de sistemas de síntese e reconhecimento de fala mais adaptados à língua e à cultura local.
Diante do exposto, surgem os questionamentos: É possível discriminar as emoções a partir de medidas acústico-prosódicas em falantes do PB? Quais aspectos prosódicos caracterizam os diferentes estados emocionais? Há diferenças na duração, frequência e intensidade entre as emoções? Assim, o objetivo desse estudo foi verificar se há diferença de medidas acústico-prosódicas em diferentes estados emocionais de falantes do PB.
MÉTODO
Esta é uma pesquisa observacional e transversal, avaliada e aprovada pelo Comitê de Ética em Pesquisa do Centro de Ciências da Saúde de uma instituição de ensino superior do Brasil, sob número 3.304.419/2018.
O conjunto de dados para análise foi composto por 182 sinais sonoros, produzidos por 26 atores profissionais e estudantes brasileiros, de ambos os sexos, com média de idade sendo 27 anos, residentes nos Estados da Paraíba, São Paulo, Rio Grande do Sul, Ceará, Roraima, Mato Grosso e Distrito Federal, que pertencem ao Banco de Vozes Brasileiro nas Variações das Emoções - EMOVOX-BR(19).
Para a construção do EMOVOX-BR(19) foram gravadas amostras de voz de falantes nativos do PB expressando diferentes emoções, como alegria, tristeza, medo, raiva, surpresa, nojo e emissão neutra. Os participantes receberam instruções detalhadas sobre o procedimento de gravação e, em seguida, realizaram a coleta da voz. Foram gravadas três diferentes tarefas de fala: 1) emissão prolongada da vogal /ε/, 2) a contagem automática de 1 a 10 e 3) a fala semi-espontânea da frase “Olha lá o avião azul.”, que faz parte do Consensus Auditory Perceptual Evaluation of Voice - CAPE-V(25). Cada participante executou essas tarefas nas seis emoções básicas. O que gerou o total de 1.638 sinais sonoros.
Para a validação, optou-se por utilizar a frase “Olha lá o avião azul.”, coletada via smartphone. Todos os áudios foram submetidos à análise de relação sinal-ruído (signal to noise ratio - SNR) e obtiveram valores superiores ao padrão de referência, ou seja, o valor obtido do SNR igual ou superior a 30dB. Foram selecionados 182 sinais de áudio para a etapa do julgamento perceptivoauditivo. Essas amostras vocais foram avaliadas por juízes fonoaudiólogos, que obtiveram altos índices de precisão na identificação das seis emoções básicas.
Este estudo analisou as medidas acústico-prosódicas dos mesmos 182 áudios utilizados na validação do EMOVOX-BR, que foi realizada a partir do julgamento perceptivoauditivo por juízes especialistas. Enquanto o estudo de validação do EMOVOX-BR enfatizou a precisão da percepção humana para identificar as emoções, o presente trabalho se aprofunda na análise quantitativa da prosódia emocional, principalmente no comportamento dos parâmetros acústicos de duração, fo e intensidade. Esses parâmetros são considerados os elementos mais robustos para a discriminação de falantes e oferecem uma perspectiva técnica e mensurável dos aspectos emocionais da voz(10,13).
A duração de uma emoção pode variar desde momentos breves até períodos prolongados, dependendo da intensidade do estímulo emocional, da capacidade de regulação emocional da pessoa e do contexto em que a emoção ocorre(20). A duração é essencial para identificar variações na cadência da fala, estruturação do enunciado e na organização temporal de frases(26).
Para análise da duração, todas as amostras de fala foram segmentadas manualmente em unidades Vogal-Vogal (unidade VV), unidades do tamanho da sílaba que compreendem um segmento que vai do início de uma vogal até o início da vogal imediatamente seguinte, incluindo as consoantes entre elas(27).
A tarefa de fala utilizada foi segmentada em quatro partes, sendo: [Al] [auav] [iaNU] [az]. Para fazer a extração dessa medida, considerando o cálculo da duração normalizada das unidades VV, utilizou-se o script SG Detector(28). O script apresenta uma tabela de referência com médias e desvios-padrão dos segmentos fônicos para o PB para calcular o valor da duração, z-score e o z-score suavizado das unidades VV ao longo do enunciado, o que gera uma segmentação dos grupos frasais dos enunciados. A segmentação é feita por meio do cálculo do desvio-padrão das médias de duração das unidades VV, que são normalizadas pelo cálculo de z-score.
O valor de z-score indica o número de desvios-padrão em relação à média de um ponto de informação que neste caso seriam as variações do PB, ou seja, é uma proporção do número de desvios-padrão abaixo ou acima do PB, o que significa uma pontuação bruta. Um z-score é chamado de pontuação padrão e pode muito bem ser colocado em uma curva de dispersão comum e estende-se de – 3 até + 3 desvios(29).
Já os valores de z-score suavizado permitem atenuar variações locais de duração advindas da queda de duração em unidades VV pós-tônicas e/ou duração de fones muito distintos da relação de durações dos fones do PB(27). Esse valor corresponde à suavização de cinco pontos aplicada à sequência de dados de z-score, o que permite observar com mais precisão as proeminências de duração. O intuito é verificar quanto os valores de duração obtidos no corpus do EMOVOX-BR(19) variaram conforme a tabela de durações intrínsecas para os fones do PB.
Quando se considera o número de segmentos da fala unidades VV dividido pela soma total de duração destes, obtém-se a taxa de elocução(30). Ela influencia a percepção do ritmo da fala, com taxas mais lentas associadas a silabação, alongamento de sons finais e pausas, enquanto taxas mais rápidas tendem a reduzir esses fenômenos(28). A relação entre a duração da emissão e a taxa de elocução foi explorada para observar a variação na velocidade da fala conforme as diferentes emoções.
A fo, medida em Hertz (Hz), é definida pelo número de vibrações produzidas pelas pregas vocais por segundo e está diretamente relacionada à percepção do pitch (31). Esse parâmetro permite uma análise detalhada da entonação e variação tonal ao longo de enunciados, fornecendo informações sobre o controle e qualidade vocal(32). Para a análise da fo foram medidos os valores médios, máximos, mínimos, desvio-padrão (fo dp) e de variação (fo range) em cada enunciado.
A intensidade, medida em decibéis (dB), está associada à força ou ao grau de ativação emocional experimentado pelo falante e está relacionada à energia vocal empregada durante a fala(31). Sua mensuração ajuda a entender a energia da emissão e a modulação da força ao longo do discurso, contribuindo para estudos de prosódia e expressividade vocal(13). Para a análise da intensidade foi extraído o valor médio, mínimos e máximos para cada sinal e, posteriormente, os dados foram comparados a cada emoção. As medidas de fo e intensidade foram extraídas com auxílio do plug-in VoxMore(33).
Este estudo investiga se as medidas acústico-prosódicas de duração, fo e intensidade variam significativamente entre diferentes emoções, como alegria, tristeza, medo, raiva, surpresa, nojo e emissão neutra, em falantes do PB. Com base na literatura, que demonstra que as emoções influenciam os parâmetros acústicos de forma distinta(20-22), o objetivo é testar essas variações utilizando um conjunto de dados de falantes nativos.
Utilizou-se o programa PRAAT, versão 5.4.04, para extração dos dados. Selecionou-se o teste de Friedman com post hoc de Dunn para verificar se essas diferenças nos parâmetros acústicos entre as emoções eram estatisticamente significativas, contribuindo para uma maior compreensão da relação entre os aspectos acústico-prosódicos e a expressão emocional, após os resultados extraídos e identificados os grupos que se diferenciaram, foi realizado análise descritiva das variáveis para identificar qual parâmetro prosódico e a emoção que se destacou no grupo. Todas as análises foram realizadas por meio do software Statistical Package for Social Sciences (SPSS), versão 24, e utilizou-se o nível de significância de 5%.
RESULTADOS
A análise da prosódia contemplou os dados extraídos de acordo com as unidades VV segmentadas, o contraste das variações de fo e intensidade após análise.
Houve diferença significativa na comparação da duração dos segmentos de acordo com a emoção (Tabela 1). Em relação ao tempo total de duração da emissão, o maior valor foi encontrado na emoção nojo (340,63 ms), que apresentou a maior taxa de elocução. Por outro lado, a emoção alegria teve o menor valor de duração (264,73 ms), correspondendo à menor taxa de elocução, o que indica uma relação direta entre o tempo total de emissão e a velocidade da fala nas diferentes emoções.
Comparação dos parâmetros de duração para cada unidade VV do enunciado “Olha lá o avião azul”, produzido nas variadas emoções
Encontrou-se novamente a comprovação da maior duração em todas as quatro partes das unidades VV na emoção nojo ao analisar a duração de cada segmento individualmente (Al - 220,88 ms; auav - 605,15 ms; iaNU - 239,92 ms; az - 296,58 ms). A menor duração por segmento diferenciou significativamente todas as emoções entre si. A menor duração do primeiro segmento foi observada na emoção medo (Al - 156,08 ms), a do segundo segmento mostrou-se na alegria (auav - 437,71 ms), a do terceiro na surpresa (iaNU - 198,88 ms) e a do último segmento na tristeza (az - 224,19 ms). Não houve diferença significativa no terceiro segmento [iaNU] nas variadas emoções em todos os parâmetros relacionados à duração (Tabela 1).
Houve diferença significativa ao comparar os valores de z-score e z-suavizado do primeiro, segundo e último segmento do z-score nas variadas emoções (Tabela 2).
Comparação dos parâmetros de z-score e z-score suavizado para cada unidade VV do enunciado “Olha lá o avião azul”, produzido nas variadas emoções
A Tabela 2 apresenta a emoção nojo com os maiores valores de assimetria positiva de z-score e z-suavizado. Verificou-se que a emoção medo tem os menores valores de assimetria positiva entre todas as emoções. É possível observar valores negativos de z-score e z-suavizado no terceiro segmento [iaNU] nas emoções alegria, medo, tristeza, raiva surpresa e emissão neutra. Já na emoção nojo ocorreu um alongamento dos segmentos comparados aos valores de referência (Tabela 2).
Observou-se significância na comparação de todas as medidas acústicas relativas à frequência da voz nas variadas emoções analisadas. Verificou-se que a maior média de fo foi na emoção surpresa (284,43 Hz), seguida da alegria (268,54 Hz), e a menor na tristeza (160,91 Hz) e neutra (163,44 Hz). A maior frequência máxima foi apresentada na emoção surpresa (360,36 Hz) e a menor frequência mínima foi marcada pela tristeza (77,91 Hz). A emoção medo obteve o maior valor de fo range (178,11 Hz) e a menor na emoção tristeza (116,73 Hz) (Tabela 3).
Houve comparações das amostras independentes da intensidade média, mínima e máxima significativas nas variadas emoções (Tabela 4). A maior intensidade máxima registrada foi na raiva (82,35 dB), seguida da alegria (66,79 dB), e a menor no medo (35,5 dB) e tristeza (36,78 dB). Verificou-se diferença estatisticamente significativa na comparação das médias da intensidade, com a intensidade mais alta registrada na emoção de alegria (66,79 dB) e a mais baixa na emoção de tristeza (60,23 dB).
O Quadro 1 exibe uma síntese das variações prosódicas presentes nas diversas emoções, dentro do contexto de falantes do PB, ou seja, as características que mais marcam cada emoção e as diferencia das demais
DISCUSSÃO
As características dos parâmetros acústico-prosódicos apresentam variações que repercutem na expressão das emoções. O conhecimento dessas medidas contribui para construção da definição sobre as variações emocionais comuns nos sinais vocais, podem auxiliar nos aspectos de diagnóstico clínico e favorecem a criação de modelos de reconhecimento das emoções a partir da voz(34).
Foram desenvolvidos diversos bancos de vozes que incorporam a variação emocional, que abrangem populações de atores em diferentes idiomas e culturas(14-17). No entanto, esses bancos de vozes geralmente se concentram apenas na análise das variações acústicas tradicionais e pouco se tem sobre outros tipos de medidas, como: aprofundamento nas medidas acústico-prosódicas e perceptuais por parte de fonoaudiólogos e no impacto do julgamento por ouvintes especialistas em voz, além da possibilidade de encontrar reconhecimento de padrões de voz comuns a cada uma das emoções.
A inclusão de medidas prosódicas na análise da variação emocional da voz, em um conjunto de dados validado por juízes experts é fundamental para uma análise abrangente e precisa da expressão emocional humana(35). Isso aumenta a validade dos dados e melhora a capacidade de generalização para diferentes contextos e populações, além de aprimorar a eficácia e a robustez dos modelos de reconhecimento automático de emoções. Assim, pode contribuir para uma compreensão mais holística dos processos emocionais humanos e de como eles são expressos e percebidos através da fala(36).
A prosódia tem sua dimensão pautada nos aspectos suprassegmentais da fala, que se relacionam às variações de duração, frequência e intensidade(10,37). O presente estudo buscou explorar se há diferenças das variações prosódicas em diferentes emoções a partir da voz, os dados relatados nesse estudo confirmaram que esses parâmetros são fatores importantes para definir as emoções por meio da análise objetiva dos sinais vocais. Dos dezenove parâmetros que apresentaram resultados significativos, doze dizem respeito à estrutura rítmica das variedades estudadas, quatro referem-se à fo e três à intensidade, o que mostra que os três parâmetros clássicos de estudo da prosódia apresentam distinções entre as variadas emoções.
Houve diferença entre as medidas de duração na tarefa de fala nas variadas emoções. O nojo apresentou maiores valores na média da duração, bem como em todas as segmentações das unidades VV, ou seja, foi a emoção com maior taxa de elocução de fala. Quanto à menor média de duração, a emoção alegria apresentou menores valores, sendo assim é a emoção com velocidade de fala mais acelerada. Mudanças na velocidade de fala alteram as características fonéticas do sinal, dessa forma torna-se um parâmetro capaz de diferenciar as emoções(38).
Ao analisar o parâmetro de menor duração por segmento, observou-se que cada segmento apresentou menor duração em emoções diferentes, variou entre medo, alegria, surpresa e tristeza. Nem sempre os falantes de uma língua expressam emoções da mesma forma, com os mesmos níveis de ativação(39). Cada estado emocional pode ser definido como uma combinação linear de alguns eixos, como os de ativação (ou excitação) e potência (ou poder). Ativação mede o grau de excitação do indivíduo em expressar a emoção. Potência diz respeito à força da emoção(40). Então, cada uma das emoções básicas pode gerar diferentes níveis de ativação e potência no falante, a depender da sua manifestação pode provocar diferenciações na velocidade de fala.
Para os dados obtidos de z-score e z-suavizado, observou-se diferenças significativas em relação às variações de fala do PB entre as emoções. A emoção nojo apresentou maiores valores de assimetria positiva. Esse fato indica que os falantes aumentam mais a duração de algumas unidades VV durante a emissão dessa emoção. Significa que no nojo houve mais alongamentos na duração das unidades, o que resulta na assimetria de valor positivo mais elevada, e assim, relaciona-se a uma fala mais lentificada(27). Já o medo foi a emoção com menores valores de assimetria positiva entre todas as emoções, isto é, há menos alongamentos na duração das unidades.
Quanto aos valores negativos de z-score e z-suavizado encontrados no terceiro segmento [iaNU] nas emoções alegria, medo, tristeza, raiva, surpresa e emissão neutra. Esses valores abaixo dos padrões de referência significam que houve um encurtamento na duração dos segmentos para essas emoções(27). A aceleração do segmento [iaNU] foi uma estratégia utilizada na emissão das emoções, portanto não apresentou diferença significativa na comparação. No caso da emoção nojo, ocorreu um alongamento dos segmentos comparados aos valores de referência, confirmando assim os resultados encontrados para a taxa de elocução.
Estudos desenvolvidos em diferentes línguas revelam que a elocução mais rápida, está associada a emoções de maior excitação. Por outro lado, uma fala mais lenta é geralmente vinculada a estados de reflexão ou calma. Em línguas tonais, como o mandarim, a taxa de elocução não só afeta a prosódia, mas também pode alterar o significado das palavras, sendo crucial para a interpretação correta das intenções do falante(41). As variações culturais e regionais desempenham um papel importante na modulação da velocidade da fala, além de indicar emoções, a taxa de elocução pode refletir normas culturais e linguísticas específicas(41-43). Portanto, a análise da duração oferece uma compreensão mais profunda dos padrões emocionais e comunicativos, variando de acordo com o idioma e o contexto cultural.
Verifica-se que a média e os valores máximos de fo permitem distinguir a emoção surpresa e a alegria, o que as posiciona entre as faixas superiores de fo. Essas emoções são caracterizadas por uma maior variação tonal, típica de estados emocionais de maior excitação ou positivos(44), ao contrário da tristeza e neutra, que apresentam valores mínimos e média de fo baixo. A alegria é uma emoção de valência positiva e a surpresa é uma emoção bivalente. As características de fo discriminam emoções na dimensão de valência com maior precisão(45). Para o EMOVOX-BR(19), os juízes experts indicaram que a surpresa desse banco era uma emoção de valência positiva. Esse fato justifica, pois, as emoções de valência positiva têm como característica variação do pitch em curva ascendente. A fo está diretamente relacionada à função laríngea, portanto, alterações de entonação e fluxo de ar produzida pelo trato vocal devido ao estado emocional podem ser identificadas na análise acústico-prosódica do sinal vocal(46). A variação de fo é importante no medo, surpresa e alegria, pois a afastam da tristeza, nojo e neutra.
A variação no pitch ao longo da fala mostrou-se essencial para identificar emoções de diferentes valências. O padrão entonacional reflete mudanças emocionais sutis que não seriam detectadas apenas pela intensidade ou duração. Estudos em prosódia emocional realizados em diferentes línguas, frequentemente incluem a entonação para identificar estados emocionais complexos(41-43). Portanto, as médias e a variação de fo foram importantes para diferenciar as emoções.
O parâmetro de intensidade está relacionado à amplitude da onda sonora. A maior média de intensidade foi registrada na emoção alegria e a menor na emoção de tristeza. A intensidade máxima registrada foi na raiva, em seguida alegria e a menor no medo e tristeza. A intensidade vocal é um dos principais parâmetros que guiam os ouvintes na classificação(47). Segundo a avaliação dos juízes especialistas para construção do EMOVOX-BR(19), a raiva foi a emoção com maior percentual de acerto na identificação das emoções e com menor percentual de acerto a emoção medo. Segundo a literatura, a emoção raiva gera um impacto maior na identificação das emoções do interlocutor, pois para sua produção é empregado níveis mais elevados de energia, e está relacionada a alterações de posicionamento de laringe, velocidade de fala e intensidade(8,48).
Estudos prévios mostraram variações significativas em parâmetros como fo, intensidade e duração, que são modulados de maneira diferente conforme o tipo de emoção expressa(19,49). No entanto, essas variações podem ser influenciadas por fatores como a metodologia adotada, a língua falada e até mesmo o contexto cultural dos participantes(19). A falta de padronização nos protocolos de análise entre os estudos, tanto em termos de equipamentos utilizados, tarefa de fala utilizada, quanto nas técnicas de análise, dificulta a compreensão da prosódia emocional em diferentes contextos.
Nesse sentido, seria interessante que futuros estudos adotassem uma maior uniformidade em suas abordagens, utilizando bancos de dados de emoções validados por juízes especializados com medidas vocais e de fala sensíveis para diferenciar as emoções(50). Além disso, a inclusão de modelos de aprendizado de máquina, que vêm sendo aplicados com sucesso em estudos de prosódia emocional, pode contribuir para identificar padrões mais consistentes e universais nas características acústicas ligadas às emoções. Essa padronização permitiria uma comparação mais direta entre os estudos, além de aumentar a aplicabilidade dos resultados em áreas como a inteligência artificial e o reconhecimento automático de emoções(49).
De modo geral, os aspectos suprassegmentais da fala, como características temporais (duração) e dinâmicas (intensidade e fo) desempenham um papel crucial na diferenciação das emoções básicas. Observa-se que as características prosódicas destacam cada emoção de forma clara. Por fim, pode-se inferir que, por meio da análise de sinais acústico-prosódicos, é possível identificar variações emocionais em falantes nativos do PB. Esses achados ampliam o entendimento sobre a comunicação emocional e oferecem novas perspectivas para o desenvolvimento de futuras pesquisas e aplicações tecnológicas, com destaque para áreas como reconhecimento automático de emoções e intervenções clínicas. As evidências obtidas reforçam o papel da prosódia como uma ferramenta essencial na compreensão das dinâmicas emocionais na comunicação humana.
CONCLUSÃO
É possível discriminar as emoções a partir de medidas acústico-prosódicas em falantes do PB. As medidas acústico-prosódicas de fo, de duração e de intensidade são sensíveis para diferenciar as variadas emoções.
O nojo é o que melhor se diferenciou das demais emoções com maior taxa de elocução, maior duração em todos os segmentos analisados. A alegria apresenta menor taxa de elocução e de maior média de intensidade. A emoção medo é a emoção com maior variabilidade de fo, bem como apresenta menores valores de alongamentos na duração das unidades. A emoção tristeza é a emoção com menores valores de média de fo, variabilidade de fo e de intensidade. A emoção raiva apresenta maior energia na produção, com máxima intensidade registrada. A surpresa é a emoção com maior média de fo e com registro de maior frequência máxima.
-
Trabalho realizado na Universidade Federal da Paraíba – UFPB - João Pessoa (PB), Brasil.
-
Fonte de financiamento:
Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq). Processo nº 434508/2018-7.
-
Disponibilidade de Dados:
Os dados de pesquisa estão disponíveis no corpo do artigo.
REFERÊNCIAS
-
1 González Torre I, Luque B, Lacasa L, Luque J, Hernández-Fernández A. Emergence of linguistic laws in human voice. Sci Rep. 2017;7(1):43862. http://doi.org/10.1038/srep43862 PMid:28272418.
» http://doi.org/10.1038/srep43862 -
2 Costa DB, Lopes LW, Silva EG, Cunha GMS, Almeida LNA, Almeida AAF. Fatores de risco e emocionais na voz de professores com e sem queixas vocais. Rev CEFAC. 2013;15(4):1001-10. http://doi.org/10.1590/S1516-18462013000400030
» http://doi.org/10.1590/S1516-18462013000400030 -
3 Cowen AS, Elfenbein HA, Laukka P, Keltner D. Mapping 24 emotions conveyed by brief human vocalization. Am Psychol. 2019;74(6):698-712. http://doi.org/10.1037/amp0000399 PMid:30570267.
» http://doi.org/10.1037/amp0000399 -
4 Barbosa IK, Behlau M, Lima-Silva MF, Almeida LN, Farias H, Almeida AA. Voice symptoms, perceived voice control, and common mental disorders in elementary school teachers. J Voice. 2021;35(1):158.e1-7. http://doi.org/10.1016/j.jvoice.2019.07.018 PMid:31416748.
» http://doi.org/10.1016/j.jvoice.2019.07.018 - 5 Alves CRST, Mastella V. Linguagem e comunicação na contemporaneidade. Cruz Alta: Ilustração; 2020.
-
6 Ekman P. An argument for basic emotions. Cogn Emotion. 1992;6(3-4):169-200. http://doi.org/10.1080/02699939208411068
» http://doi.org/10.1080/02699939208411068 -
7 Wang Y, Zhu Z, Chen B, Fang F. Perceptual learning and recognition confusion reveal the underlying relationships among the six basic emotions. Cogn Emotion. 2019;33(4):754-67. http://doi.org/10.1080/02699931.2018.1491831 PMid:29962270.
» http://doi.org/10.1080/02699931.2018.1491831 -
8 Yao X, Bai W, Ren Y, Liu X, Hui Z. Exploration of glottal characteristics and the vocal folds behavior for the speech under emotion. Neurocomputing. 2020;410:328-41. http://doi.org/10.1016/j.neucom.2020.06.010
» http://doi.org/10.1016/j.neucom.2020.06.010 -
9 Cohen AS, Hong SL, Guevara A. Understanding emotional expression using prosodic analysis of natural speech: refining the methodology. J Behav Ther Exp Psychiatry. 2010;41(2):150-7. http://doi.org/10.1016/j.jbtep.2009.11.008 PMid:20022000.
» http://doi.org/10.1016/j.jbtep.2009.11.008 -
10 Santos AJ, Rothe-Neves R, Pacheco V, Baldow VS. Emotional speech prosody: how readers of different educational levels process pragmatic aspects of reading aloud. DELTA. 2022;38(3):1-31. https://doi.org/10.1590/1678-460X202258945
» https://doi.org/10.1590/1678-460X202258945 -
11 Wagner M, Watson DG. Experimental and theoretical advances in prosody: a review. Lang Cogn Process. 2010;25(7-9):905-45. http://doi.org/10.1080/01690961003589492 PMid:22096264.
» http://doi.org/10.1080/01690961003589492 -
12 Watson D, Gibson E. The relationship between intonational phrasing and syntactic structure in language production. Lang Cogn Process. 2010;25(5):713-55. http://doi.org/10.1080/01690960444000070
» http://doi.org/10.1080/01690960444000070 -
13 Arvaniti A. The phonetics of prosody. In: Aronoff M, Chen Y, Cutler C, editors. Oxford research encyclopedia of linguistics. Oxford: Oxford University Press; 2020. http://doi.org/10.1093/acrefore/9780199384655.013.411
» http://doi.org/10.1093/acrefore/9780199384655.013.411 - 14 Burkhardt F, Paeschke A, Rolfes M, Sendlmeier W, Weiss B. A database of German emotional speech. In: 9th European Conference on Speech Communication and Technology (INTERSPEECH); 2005 Sep 4-8; Lisbon, Portugal. Proceedings. Los Alamitos, CA: IEEE/ISCA; 2005. p. 1517-20.
-
15 Busso C, Bulut M, Lee CC, Kazemzadeh A, Mower E, Kim S, et al. IEMOCAP: Interactive Emotional Dyadic Motion Capture Database. Lang Resour Eval. 2008;42(4):335-59. http://doi.org/10.1007/s10579-008-9076-6
» http://doi.org/10.1007/s10579-008-9076-6 -
16 McKeown G, Valstar M, Cowie R, Pantic M, Schroder M. The SEMAINE database: annotated multimodal records of emotionally colored conversations between a person and a limited agent. IEEE Trans Affect Comput. 2012;3(1):5-17. http://doi.org/10.1109/T-AFFC.2011.20
» http://doi.org/10.1109/T-AFFC.2011.20 -
17 Ringeval F, Sonderegger A, Sauer J, Lalanne D. Introducing the recola multimodal corpus of remote collaborative and affective interactions. In: 10th IEEE Int Conf Workshops Autom Face Gesture Recognit (FG); 2013; Shanghai, China. Proceedings. New York: IEEE; 2013. p. 1-8. http://doi.org/10.1109/FG.2013.6553805
» http://doi.org/10.1109/FG.2013.6553805 -
18 Shinde AS, Patil VV. Speech emotion recognition system: a review. In: 4th International Conference on Advances in Science and Technology (ICAST 2021); 2021; Bahir Dar, Ethiopia. Proceedings. New York: SSRN; 2021. p. 1-6. http://doi.org/10.2139/ssrn.3869462
» http://doi.org/10.2139/ssrn.3869462 - 19 Lima HMO, Almeida AAF, Almeida LNA. Elaboração e validação do Banco de Vozes Brasileiro nas Variações das Emoções (EMOVOX-BR). In: 30º Congresso Brasileiro de Fonoaudiologia; 2022; João Pessoa. Anais. São Paulo: Sociedade Brasileira de Fonoaudiologia; 2022. p. 4298-302. (vol. 1).
- 20 Larrouy-Maestri P, Poeppel D, Pell MD. The sound of emotional prosody: Nearly 3 decades of research and future directions. Perspect Psychol Sci. 2023 PMid:38232303.
-
21 Oh C, Morris R, Wang X, Raskin MS. Analysis of emotional prosody as a tool for differential diagnosis of cognitive impairments: a pilot research. Front Psychol. 2023;14:1129406. http://doi.org/10.3389/fpsyg.2023.1129406 PMid:37425151.
» http://doi.org/10.3389/fpsyg.2023.1129406 -
22 Filippa M, Lima D, Grandjean A, Labbé C, Coll SY, Gentaz E, et al. Emotional prosody recognition enhances and progressively complexifies from childhood to adolescence. Sci Rep. 2022;12(1):17144. http://doi.org/10.1038/s41598-022-21554-0 PMid:36229474.
» http://doi.org/10.1038/s41598-022-21554-0 -
23 Silva W, Barbosa PA. Perception of emotional prosody: investigating the relation between the discrete and dimensional approaches to emotions. Rev Estud Linguagem. 2017;25(3):1075-102. http://doi.org/10.17851/2237-2083.25.3.1075-1103
» http://doi.org/10.17851/2237-2083.25.3.1075-1103 -
24 Lausen A, Hammerschmidt K. Emotion recognition and confidence ratings predicted by vocal stimulus type and prosodic parameters. Humanit Soc Sci Commun. 2020;7(1):2. http://doi.org/10.1057/s41599-020-0499-z
» http://doi.org/10.1057/s41599-020-0499-z -
25 Behlau M, Rocha B, Englert M, Madazio G. Validation of the Brazilian Portuguese CAPE-V instrument: br CAPE-V for auditory-perceptual analysis. J Voice. 2020;36(4):586.e15-20. http://doi.org/10.1016/j.jvoice.2020.07.007 PMid:32811691.
» http://doi.org/10.1016/j.jvoice.2020.07.007 -
26 Fox A. Prosody features and prosodic structure. Oxford: Oxford University Press; 2000. http://doi.org/10.1093/oso/9780198237853.001.0001
» http://doi.org/10.1093/oso/9780198237853.001.0001 -
27 Constantini AC, Barbosa PA. Prosodic characteristics of different varieties of Brazilian Portuguese. Rev Bras Criminol. 2015;4(3):44-53. http://doi.org/10.15260/rbc.v4i3.103
» http://doi.org/10.15260/rbc.v4i3.103 - 28 Barbosa PA. Incursões em torno de ritmo da fala. Campinas: Editora Pontes; 2006.
- 29 Sterne JA, Kirkwood BR. Essential medical statistics. 2nd ed. Hoboken: Oxford Blackwell Science; 2003.
-
30 Costa LMO, Martins-Reis VO, Celeste LC. Metodologias de análise da velocidade de fala: um estudo piloto. CoDAS. 2016;28(1):41-5. http://doi.org/10.1590/2317-1782/20162015039 PMid:27074188.
» http://doi.org/10.1590/2317-1782/20162015039 -
31 Lopes LW, Alves JN, Evangelista DS, França FP, Vieira VJD, Lima-Silva MFB, et al. Acurácia das medidas acústicas tradicionais e formânticas na avaliação da qualidade vocal. CoDAS. 2018;30(5):e20170282. http://doi.org/10.1590/2317-1782/20182017282 PMid:30365651.
» http://doi.org/10.1590/2317-1782/20182017282 - 32 Barbosa PA, Madureira S. Manual de fonética acústica experimental. São Paulo: Cortez; 2015.
-
33 Abreu SR, Moraes RM, Martins PN, Lopes LW. VOXMORE: artefato tecnológico para auxiliar a avaliação acústica da voz no processo ensino-aprendizagem e prática clínica. CoDAS. 2023;35(6):e20220166. http://doi.org/10.1590/2317-1782/20232022166en PMid:37909540.
» http://doi.org/10.1590/2317-1782/20232022166en -
34 Silva LJ Jr, Barbosa PA. Speech rhythm of English as L2: an investigation of prosodic variables on the production of Brazilian Portuguese speakers. J Speech Sci. 2020;8(2):37-57. http://doi.org/10.20396/joss.v8i2.14996
» http://doi.org/10.20396/joss.v8i2.14996 -
35 Moriarty P, Vigeant M, Wolf R, Gilmore R, Cole P. Creation and characterization of an emotional speech database. J Acoust Soc Am. 2018;143:1869. http://doi.org/10.1121/1.5036133
» http://doi.org/10.1121/1.5036133 -
36 Ekberg M, Stavrinos G, Andin J, Stenfelt S, Dahlström Ö. Acoustic features distinguishing emotions in Swedish speech. J Voice. 2023. Ahead of print. http://doi.org/10.1016/j.jvoice.2023.03.010 PMid:37045739.
» http://doi.org/10.1016/j.jvoice.2023.03.010 - 37 Lehiste I. Suprasegmentals. Cambridge: MIT Press; 1970.
-
38 Almeida ANS, Oliveira M Jr, Almeida RAS. A velocidade de fala como pista acústica da emoção básica de raiva. Rev Diadorim. 2015;17(2):198-211. http://doi.org/10.35520/diadorim.2015.v17n2a4076
» http://doi.org/10.35520/diadorim.2015.v17n2a4076 -
39 Scherer KR. A cross-cultural investigation of emotion inferences from voice and speech: Implications for speech technology. In: 6th ICSLP; 2000; Beijing. Proceedings. Berlin: ISCA Archive; 2000. p. 379-82. http://doi.org/10.21437/ICSLP.2000-287
» http://doi.org/10.21437/ICSLP.2000-287 -
40 Goudbeek M, Scherer K. Beyond arousal: valence and potency/control cues in the vocal expression of emotion. J Acoust Soc Am. 2010;128(3):1322-36. http://doi.org/10.1121/1.3466853 PMid:20815467.
» http://doi.org/10.1121/1.3466853 - 41 Liu P, Pell MD. Processing emotional prosody in Mandarin Chinese: a cross-language comparison. In: International Conference on Speech Prosody 2014; 2014; Dublin, Ireland. Proceedings. Berlin: ISCA Archive; 2014. p. 95-9. http://doi.org/10.21437/SpeechProsody.2014-7.
-
42 Nunes VG. Contribuições sobre as características prosódicas de interrogativas totais neutras produzidas por sergipanos. In: Freitag RMK, Lucente L, editores. Prosódia da fala: pesquisa e ensino. São Paulo: Blucher; 2017. p. 145-62. http://doi.org/10.5151/9788580392593-09
» http://doi.org/10.5151/9788580392593-09 -
43 Muñetón-Ayala M, De Vega M, Ochoa-Gómez JF, Beltrán D. The brain dynamics of syllable duration and semantic predictability in Spanish. Brain Sci. 2022;12(4):458. http://doi.org/10.3390/brainsci12040458 PMid:35447989.
» http://doi.org/10.3390/brainsci12040458 -
44 Kaur J, Juglan K, Sharma V. Role of acoustic cues in conveying emotion in speech. J Forensic Sci Crim Invest. 2018;11(1). http://doi.org/10.19080/JFSCI.2018.11.555803
» http://doi.org/10.19080/JFSCI.2018.11.555803 -
45 Busso C, Rahman T. Unveiling the acoustic properties that describe the valence dimension. In: Thirteenth Annual Conference of the International Speech Communication Association; 2012; Portland, OR, USA. Proceedings. Berlin: ISCA Archive; 2012. p. 1179-82. http://doi.org/10.21437/Interspeech.2012-124
» http://doi.org/10.21437/Interspeech.2012-124 -
46 Lopes LW, Cavalcante DP, Costa PO. Intensidade do desvio vocal: integração de dados perceptivo-auditivos e acústicos em pacientes disfônicos. CoDAS. 2014;26(5):382-8. http://doi.org/10.1590/2317-1782/20142013033 PMid:25388071.
» http://doi.org/10.1590/2317-1782/20142013033 -
47 Barbosa PA. Aspectos de produção e percepção de estilos de elocução profissionais e não profissionais em quatro línguas. In: Freitag RMK, Lucente L, editores. Prosódia da fala: pesquisa e ensino. São Paulo: Blucher; 2017. p. 44-59. http://doi.org/10.5151/9788580392593-03
» http://doi.org/10.5151/9788580392593-03 -
48 Ververidis D, Kotropoulos C. Emotional speech recognition: resources, features, and methods. Speech Commun. 2006;48(9):1162-81. http://doi.org/10.1016/j.specom.2006.04.003
» http://doi.org/10.1016/j.specom.2006.04.003 -
49 Pervaiz M, Khan TA. Emotion recognition from speech using prosodic and linguistic features. Int J Adv Comput Sci Appl. 2016;7(8):84-9. http://doi.org/10.14569/IJACSA.2016.070813
» http://doi.org/10.14569/IJACSA.2016.070813 -
50 Swain M, Routray A, Kabisatpathy P. Databases, features and classifiers for speech emotion recognition: a review. Int J Speech Technol. 2018;21(1):93-120. http://doi.org/10.1007/s10772-018-9491-z
» http://doi.org/10.1007/s10772-018-9491-z
Editado por
-
Editor:
Vanessa Veis Ribeiro.
Os dados de pesquisa estão disponíveis no corpo do artigo.
