Robosign: IA aplicada para interação entre deficientes auditivos e robôs de serviço

Carregando...
Imagem de Miniatura
Data
2023-07-01
Título da Revista
ISSN da Revista
Título de Volume
Editor
Universidade do Estado da Bahia
Resumo

Robôs de serviço são construídos com intuito de realizar tarefas domésticas para ajudar na rotina dos seres humanos, performando atividades como tirar o lixo, buscar itens, limpar o chão, entre outras. Para iniciar essas atividades é necessária uma interação humano-robô onde o humano dê um comando, o robô compreenda e inicie a tarefa desejada. Essa comunicação é comumente realizada através de funcionalidades de reconhecimento de voz, por ser o meio natural de comunicação dos humanos. Entretanto faz-se necessário considerar pessoas que não possuem a fala e precisam interagir e usufruir das funcionalidades do robô também de forma natural. Nesse contexto, o problema de pesquisa trabalhado nesse projeto é a inclusão na interação entre robôs de serviço e deficiêntes auditivos. O objetivo é desenvolver uma solução de interação entre robô de serviço e pessoas com deficiência auditiva através de reconhecimento de comandos na Língua Brasileira de Sinais (Libras). A metodologia proposta no projeto contempla a construção de um dataset do zero simplificado para um computador de baixo poder computacional, treinamento de um modelo de rede neural recorrente utilizando MediaPipe Landmark Detector e LSTM para realizar o reconhecimento de sinais e utilização do modelo para integração com o sistema operacional do robô Bot Intelligent Large Capacity and Low Cost (BILL). Esse modelo foi validado durante treinamento com dados não conhecidos, atingindo 99% de acurácia média. O modelo também foi avaliado em testes executados em tempo real através de uma câmera, atingindo 85% de acurácia média. Esses resultados demonstram que é possível realizar interação humano-robô através do reconhecimento de Libras com acurácia considerável, sem alto custo computacional devido a utilização da simplificação da coleta de dados e uso algoritmo LSTM para treinamento da rede. O projeto se destaca pela relevância social trazendo acesso à informação onde o reconhecimento de Libras permite que pessoas surdas se comuniquem e interajam com robôs de forma mais eficiente e natural. Isso significa que eles podem obter acesso a informações, serviços e recursos que muitas vezes são limitados ou inacessíveis devido à barreira da comunicação.


Descrição
Palavras-chave
Citação
BRITO, Aron Caiuá Viana de. Robosign: IA aplicada para interação entre deficientes auditivos e robôs de serviço. Orientadora: Ana Patrícia Fontes Magalhães Mascarenhas. 2023. 58 f. Trabalho de conclusão de curso (Bacharelado em Sistemas de Informação) - Departamento de Ciências Exatas e da Terra, Campus I, Universidade do Estado da Bahia. Salvador- BA, 2023
Palavras-chave