Autor: Vinicius Veleda Bonilha (Currículo Lattes)
Resumo
O estudo de Processamento de Linguagem Natural (PLN) cresceu nos últimos anos com a criação de novas inteligências artificiais, com o objetivo de compreender e manipular a linguagem humana. Modelos eficientes nas tarefas de PLN costumam ser caracterizados pela arquitetura transformer, que é capaz de codificar o contexto do texto usando o mecanismo de self-attention presente em sua arquitetura. Um exemplo desses modelos é o Bidirectional Encoder Representations from Transformers (BERT), o qual, além de ser bidirecional, ou seja, ao analisar o contexto de uma palavra, considera as palavras que vêm antes e depois dela, utiliza técnicas em seu pré-treinamento para compreender melhor o contexto. Por isso, o BERT é popular em tarefas de análise de textos, tais como classificação, clustering e extração de resumos. Variações do modelo BERT foram criadas, alterando sua arquitetura, com o objetivo de melhorar o desempenho ou deixar o modelo mais leve, mantendo bons resultados. Neste trabalho de mestrado é realizada uma comparação entre o BERT e as seguintes variações do modelo: ALBERT, DistilBERT e RoBERTa. A tarefa escolhida para comparação foi a de classificação de intenções em mensagens direcionadas a robôs de autoatendimento, denominados aqui chatbots. Além disso, é feita uma comparação de plataformas de IA para chatbot de código aberto para verificar qual a melhor escolha na hora de criar este tipo de serviço. O BERT obteve melhor resultado, porém as variações ALBERT e DistilBERT atingiram bons resultados com menos tempo de treinamento. Por fim, os modelos sozinhos não são suficientes para criar chatbots. É necessário integrá-los a uma plataforma de IA que permita isso, para desenvolver um chatbot efetivo.