152ª Banca de Defesa de Dissertação de Mestrado PPGIA
Discente: DEIVISON GOMES DE AMORIM
Orientador: RAFAEL FERREIRA LEITE DE MELLO
Local: https://meet.google.com/zer-wdxd-yux
Data: 30/08/2024
Hora: 14:00
Banca: IVALDIR HONÓRIO DE FARIAS JÚNIOR (UPE)
LUCIANO DE SOUZA CABRAL (IFPE)
Título: MODELOS DE LINGUAGEM DE GRANDE ESCALA E ENGENHARIA DE PROMPT: UMA ABORDAGEM NA COMPARAÇÃO DE FRASES EM PORTUGUÊS BRASILEIRO
Resumo: Este estudo investiga o impacto da Engenharia de Prompt na melhoria dos resultados obtidos por Grandes Modelos de Linguagem (LLMs), como o ChatGPT, na tarefa de comparação de similaridade semântica textual entre frases em português brasileiro. A crescente popularização da Inteligência Artificial (IA) e o uso de Processamento de Linguagem Natural (PLN) têm gerado a necessidade de desenvolver técnicas que melhorema interação entre humanos e máquinas, especialmente em termos de compreensão semântica. O trabalho foca na aplicação de engenharia de prompt, uma técnica que busca orientar a construção eficaz de comandos textuais (prompts) para que LLMs ofereçam respostas mais precisas e satisfatórias. Um uso inadequado de prompts pode limitar o potencial dos modelos de IA, resultando em respostas imprecisas. O objetivo principal da pesquisa é avaliar se o uso da engenharia de prompt melhora os resultados obtidos na comparação de similaridade semântica entre frases, utilizando LLMs. Para isso, foram realizados experimentos envolvendo diferentes técnicas de engenharia de prompt e o ChatGPT, sendo os resultados avaliados com base em duas métricas reconhecidas: a Correlação de Pearson e o Erro Quadrático Médio (MSE). Esses resultados foram comparados com os obtidos no workshop ASSIN II, realizado em 2016, que focou na criação de modelos de IA para avaliar similaridade semântica e inferência textual em português. A pesquisa demonstra que a engenharia de prompt pode aumentar significativamente o desempenho de LLMs na tarefa de avaliação de similaridade semântica, contribuindo para o avanço do PLN e fomentando investigações científicas mais aprofundadas na área. Porém, para que essa melhoria ocorra de forma substancial, é necessário um processo sistemático de refinamento do prompt e testagem, assim obtém-se um melhor retorno por parte do modelo. Ao otimizar o uso dessas ferramentas, este estudo não apenas promove o desenvolvimento de técnicas mais eficazes, mas também fortalece a aplicação da IA na sociedade e na ciência.
https://meet.google.com/zer-wdxd-yux https://meet.google.com/zer-wdxd-yux -