APRENDIZADO DE ATOR E CRÍTICO POR REFORÇO PARA CONTROLE DE TRAÇÃO DE UM VEÍCULO ELÉTRICO
O aumento da aplicação de controladores na área automotiva é notávels nos últimos anos. No entanto, alguns desafios ainda estão presentes como às não linearidades e a difícil descrição matemática do sistema, bem como a necessidade de dados dificilmente mensuráveis. Baseado nisto e nos recentes avanços dos algoritmos de aprendizagem da máquina, a presente investigação propõe a avaliação de um controlador de ator e críico obtidos por aprendizagem de reforço para o controle da tracção de um veículo eléctrico. O controlador é criado pelo treinamento de duas redes neurais, as quais controlam e julgam as ações do controlador com base na medição dos estados. O treinamento visa evitar o deslizamento dos pneus do veículo, podendo a rede neural final ser diretamente utilizada como controlador do sistema. É realizada uma concepção de experimento (DOE) da influência dos parâmetros de treinamento sobre o desempenho do controlador. Com o objectivo de facilitar o uso do controlador em aplicações reais, a possibilidade de não utilizar a velocidade do veículo como variável de entrada do controlador é também avaliada em duas pistas diferentes. Os resultados indicam que a simplificação da função valor com factor de desconto nulo aumenta as convergências do treinamento. Os controladores com e sem a velocidade do veículo como variável de entrada são capazes de manter a taxa de escorregamento do pneu abaixo do valor desejado em ambos os treinamentos, apesar do comportamento mais suave do controlador que considera a velocidade do veículo.
APRENDIZADO DE ATOR E CRÍTICO POR REFORÇO PARA CONTROLE DE TRAÇÃO DE UM VEÍCULO ELÉTRICO
-
DOI: 10.22533/at.ed.5172010085
-
Palavras-chave: Inteligência Artificial, Segurança Ativa, Aprendizado de Máquina, Dinâmica Veicular
-
Keywords: Artificial Intelligence, Active Safety, Machine Learning, Vehicle Dynamics
-
Abstract:
The increasing of controller application in the automotive area in the last years is outstanding. However, some challenges are still present as the non-linearities and difficult mathematical description of the system, as well as the necessity of data hardly measured. Based on it and on the recent advances of the machine learning algorithms, the present research proposes the evaluation of an actor-critic reinforcement learning controller to the traction control of an electric vehicle. The controller is created with the training of two networks, which control and judge the actions of the controller based on the measure of the states. The training aims the slip avoiding, and the final network can be directly used as the controller of the system. A design of experiments (DOE) of the influence of the training parameters on the performance of the controller is realized. Aiming to facilitate the application of the controller in the real world the possibility of does not use the vehicle velocity as an input of the controller is also evaluated in two different grounds. The results indicate that the simplification of the value function with null discount factor increase the converges of the training. The controllers with and without the velocity of the vehicle as input are able to keep the slip ratio below the desired value in both grounds, despite the more smoothly behaviour of the controller that takes the velocity into account.
-
Número de páginas: 14
- Thiago Antonio Fiorentin
- Harald Göllinger
- Maikol Funk Drechsler
