Artigo - Atena Editora

Artigo

Baixe agora

Livros

A VIABILIDADE DE UMA ARQUITETURA HÍBRIDA DE CHATBOT COM RASA E LLMS LOCAIS

Em um cenário onde o uso de inteligência artificial cresce exponencialmente, especialmente em ambientes corporativos e industriais, torna-se essencial garantir controle, segurança e eficiência de custos. Este trabalho propõe e avalia uma arquitetura híbrida inovadora para chatbots, onde o framework Rasa é utilizado e aplica seu modelo de linguagem menor, personalizado e controlável para atuar como gestor e filtro de uma Large Language Model (LLM) mais complexa e robusta. A proposta é utilizar o Rasa como interface principal com o usuário, responsável por interpretar comandos e aplicar regras, delegando tarefas à LLM apenas quando a complexidade da requisição exige maior capacidade de compreensão de linguagem. A viabilidade técnica da abordagem foi validada por meio de testes de acurácia e latência, que, embora tenham revelado uma latência considerável em um ambiente de desenvolvimento, confirmam o potencial da arquitetura para um modelo de custo fixo e a sua aplicabilidade em diversos cenários práticos.
Ler mais

A VIABILIDADE DE UMA ARQUITETURA HÍBRIDA DE CHATBOT COM RASA E LLMS LOCAIS

  • DOI: https://doi.org/10.22533/at.ed.1281125170311

  • Palavras-chave: Rasa, Large Language Model (LLM), Chatbot, Arquitetura Híbrida.

  • Keywords: Rasa, Large Language Model (LLM), Chatbot, Hybrid Architecture.

  • Abstract: In a scenario where the use of artificial intelligence is growing exponentially, especially in corporate and industrial environments, ensuring control, security, and cost efficiency is essential. This paper proposes and evaluates an innovative hybrid architecture for chatbots, utilizing the Rasa framework and applying its smaller, personalized, and controllable language model to act as a manager and filter for a more complex and robust Large Language Model (LLM). The proposal is to use Rasa as the main user interface, responsible for interpreting commands and applying rules, delegating tasks to the LLM only when the complexity of the request requires greater language understanding. The technical feasibility of the approach was validated through accuracy and latency tests, which, although revealing considerable latency in a development environment, confirm the architecture's potential for a fixed-cost model and its applicability in various practical scenarios.

  • Sergio Juniors Garcez
  • Joethe Moraes de Carvalho
Fale conosco Whatsapp