A utilização de técnicas de Transferência do Aprendizado (TL) reduz de modo substancial o tempo necessário para programar a atuação de dispositivos eletrônicos, aponta pesquisa da Escola Politécnica (Poli) da USP contemplada pelo prêmio Google Research Awards in Latin America. O trabalho do engenheiro Ruben Glatt combinou o Aprendizado por Reforço (RL), similar ao funcionamento do aprendizado humano, com o Aprendizado Profundo (DL), que usa redes neurais, estruturadas como o sistema nervoso humano, para aumentar a complexidade da atuação dos dispositivos. A TL aproveita o aprendizado já existente feito pelos outros métodos, o que agiliza as novas programações. As aplicações das técnicas incluem jogos eletrônicos, robôs, sistemas de recomendação na web e carros autônomos.
De acordo com a professora Anna Reali, do Departamento de Engenharia de Computação e Sistemas Digitais (PCS) da Poli, orientadora do trabalho, o estudo investiga as condições de aplicação da transferência de conhecimento prévio no aprendizado de novas tarefas. “A pesquisa investiga como o conhecimento adquirido na solução de um problema pode ser transferido para o aprendizado da solução de um novo problema, facilitando e agilizando este novo aprendizado”, afirma. “Por exemplo, se uma pessoa usa o conhecimento adquirido ao aprender a andar de bicicleta quando vai aprender a andar de motocicleta, o aprendizado pode se tornar mais fácil.”
Na pesquisa, Glatt combina o Aprendizado Profundo (DL) com o Aprendizado por Reforço (RL). “O DL consiste numa série de técnicas baseadas em redes neurais, que imitam a percepção do sistema nervoso humano, com muitas camadas de neurônios”, explica. “Ele permite que a máquina aprenda representações abstratas de dados de entrada de altas dimensionalidades, como imagens, e sua capacidade de generalizar pode ser usada para melhorar muitas técnicas de aprendizado existentes.”
Tarefas complexas
O RL, por sua vez, é uma técnica computacional de aprendizado de máquinas. “A máquina aprende a atuar de forma totalmente autônoma, por meio de repetidas interações com o ambiente, na base da tentativa e erro, semelhante ao aprendizado humano”, aponta Glatt. “A aplicação de DL no RL, denominada Aprendizado Profundo por Reforço (DRL), potencializou o Aprendizado por Reforço, permitindo o aprendizado autônomo de tarefas bem mais complexas.”
Apesar do elevado ganho de desempenho, o DRL mantinha um problema intrínseco ao RL, que é o longo tempo necessário para o aprendizado da atuação adequada, uma vez que o Aprendizado por Reforço se dá pelo método da tentativa e erro. “Para superar esta dificuldade, a Transferência do Aprendizado visa a guiar o novo aprendizado usando aprendizados anteriores”, observa o pesquisador. “Assim, com TL, o DRL consegue ter atuações mais efetivas desde o início do aprendizado, reduz o tempo total do aprendizado da solução e também atinge melhores soluções, tornando o aprendizado mais efetivo, rápido e com melhor qualidade.”
A professora da Poli aponta que as aplicações do processo desenvolvido na pesquisa incluem desde jogos eletrônicos até robótica, sistemas de recomendação na web, carros autônomos, sistemas de negócios autônomos, na área médica, controle inteligente, entre outros. O trabalho Improving Deep Reinforcement Learning through Knowledge Transfer é um dos premiados no último mês de agosto pelo Google Research Awards in Latin America, criado pela empresa Google para financiar pesquisas de vanguarda de pesquisadores latino-americanos na área da Computação.
Mais informações: emails anna.reali@usp.br, com a professora Anna Reali e ruben.glatt@usp.br, com Ruben Glatt
