Análise de ambiguidade linguística em modelos de linguagem de grande escala (LLMs)

Linguistic ambiguity analysis in large language models (LLMs)

A ambiguidade linguística ainda é um grande desafio para sistemas de processamento de linguagem natural (NLP) apesar dos avanços em arquiteturas como Transformers e BERT. Inspirado pelo êxito recente dos modelos instrucionais ChatGPT (versão 3.5) e Gemini (denominado Bard até 2023), este trabalho visa analisar e discutir a ambiguidade linguística nesses modelos a partir de três tipos de ambiguidade no Português Brasileiro: semântica, sintática e lexical. Para isso, foi desenvolvido um corpus com 120 frases ambíguas e não ambíguas, submetidas aos modelos para tipificação, explicação e desambiguação. Também foi explorada a capacidade de geração de frases ambíguas, solicitando a geração de conjuntos de frases para cada tipo de ambiguidade. Os resultados foram analisados qualitativamente, com base em referenciais linguísticos reconhecidos, e quantitativamente pela acurácia das respostas obtidas. Evidenciamos que equívocos e deficiências nas respostas permanecem mesmo em modelos mais sofisticados, como ChatGPT e Gemini, com explicações frequentemente inconsistentes. A acurácia foi de no máximo 49,58%, apontando a necessidade de estudos descritivos para o aprendizado supervisionado.

Palavras-chave:
Ambiguidade; Modelos de linguagem; ChatGPT; Gemini