Navegando por Autor "Brito, Aron Caiuá Viana de"

Agora exibindo 1 - 1 de 1
  • Imagem de Miniatura
    Item
    Robosign: IA aplicada para interação entre deficientes auditivos e robôs de serviço
    (Universidade do Estado da Bahia, 2023-07-01) Brito, Aron Caiuá Viana de; Mascarenhas, Ana Patrícia Fontes Magalhães; Chaves, Débora Alcina Rego; Souza, Josemar Rodrigues de
    Robôs de serviço são construídos com intuito de realizar tarefas domésticas para ajudar na rotina dos seres humanos, performando atividades como tirar o lixo, buscar itens, limpar o chão, entre outras. Para iniciar essas atividades é necessária uma interação humano-robô onde o humano dê um comando, o robô compreenda e inicie a tarefa desejada. Essa comunicação é comumente realizada através de funcionalidades de reconhecimento de voz, por ser o meio natural de comunicação dos humanos. Entretanto faz-se necessário considerar pessoas que não possuem a fala e precisam interagir e usufruir das funcionalidades do robô também de forma natural. Nesse contexto, o problema de pesquisa trabalhado nesse projeto é a inclusão na interação entre robôs de serviço e deficiêntes auditivos. O objetivo é desenvolver uma solução de interação entre robô de serviço e pessoas com deficiência auditiva através de reconhecimento de comandos na Língua Brasileira de Sinais (Libras). A metodologia proposta no projeto contempla a construção de um dataset do zero simplificado para um computador de baixo poder computacional, treinamento de um modelo de rede neural recorrente utilizando MediaPipe Landmark Detector e LSTM para realizar o reconhecimento de sinais e utilização do modelo para integração com o sistema operacional do robô Bot Intelligent Large Capacity and Low Cost (BILL). Esse modelo foi validado durante treinamento com dados não conhecidos, atingindo 99% de acurácia média. O modelo também foi avaliado em testes executados em tempo real através de uma câmera, atingindo 85% de acurácia média. Esses resultados demonstram que é possível realizar interação humano-robô através do reconhecimento de Libras com acurácia considerável, sem alto custo computacional devido a utilização da simplificação da coleta de dados e uso algoritmo LSTM para treinamento da rede. O projeto se destaca pela relevância social trazendo acesso à informação onde o reconhecimento de Libras permite que pessoas surdas se comuniquem e interajam com robôs de forma mais eficiente e natural. Isso significa que eles podem obter acesso a informações, serviços e recursos que muitas vezes são limitados ou inacessíveis devido à barreira da comunicação.