Robosign: IA aplicada para interação entre deficientes auditivos e robôs de serviço

Página do item simplificado
dc.contributor.advisorMascarenhas, Ana Patricia Fontes Magalhães
dc.contributor.authorBrito, Aron Caiuá Viana de
dc.contributor.refereeChaves, Débora Alcina Rego
dc.contributor.refereeSouza , Josemar Rodrigues de
dc.date.accessioned2024-10-15T15:20:19Z
dc.date.available2024-10-15T15:20:19Z
dc.date.issued2023-07-01
dc.description.abstractRobôs de serviço são construídos com intuito de realizar tarefas domésticas para ajudar na rotina dos seres humanos, performando atividades como tirar o lixo, buscar itens, limpar o chão, entre outras. Para iniciar essas atividades é necessária uma interação humano-robô onde o humano dê um comando, o robô compreenda e inicie a tarefa desejada. Essa comunicação é comumente realizada através de funcionalidades de reconhecimento de voz, por ser o meio natural de comunicação dos humanos. Entretanto faz-se necessário considerar pessoas que não possuem a fala e precisam interagir e usufruir das funcionalidades do robô também de forma natural. Nesse contexto, o problema de pesquisa trabalhado nesse projeto é a inclusão na interação entre robôs de serviço e deficiêntes auditivos. O objetivo é desenvolver uma solução de interação entre robô de serviço e pessoas com deficiência auditiva através de reconhecimento de comandos na Língua Brasileira de Sinais (Libras). A metodologia proposta no projeto contempla a construção de um dataset do zero simplificado para um computador de baixo poder computacional, treinamento de um modelo de rede neural recorrente utilizando MediaPipe Landmark Detector e LSTM para realizar o reconhecimento de sinais e utilização do modelo para integração com o sistema operacional do robô Bot Intelligent Large Capacity and Low Cost (BILL). Esse modelo foi validado durante treinamento com dados não conhecidos, atingindo 99% de acurácia média. O modelo também foi avaliado em testes executados em tempo real através de uma câmera, atingindo 85% de acurácia média. Esses resultados demonstram que é possível realizar interação humano-robô através do reconhecimento de Libras com acurácia considerável, sem alto custo computacional devido a utilização da simplificação da coleta de dados e uso algoritmo LSTM para treinamento da rede. O projeto se destaca pela relevância social trazendo acesso à informação onde o reconhecimento de Libras permite que pessoas surdas se comuniquem e interajam com robôs de forma mais eficiente e natural. Isso significa que eles podem obter acesso a informações, serviços e recursos que muitas vezes são limitados ou inacessíveis devido à barreira da comunicação.
dc.description.abstract2Service robots are built with the aim of carrying out domestic tasks to help with the routine of human beings, performing activities such as taking out the garbage, fetching items, mopping the floor, among others. In order to start these activities, a human-robot interaction is required where the human gives a command, the robot understands and starts the desired task. This communication is commonly carried out using voice recognition functionalities, as this is the natural means of communication for humans. However, it is necessary to consider people who do not have speech and need to interact and take advantage of the robot's functionalities in a natural way. In this context, the research problem addressed in this project is inclusion in the interaction between service robots and the hearing impaired. The aim is to develop a solution for interaction between service robots and hearing-impaired people by recognizing commands in the Brazilian Sign Language (Libras). The methodology proposed in the project includes building a simplified dataset from scratch for a computer with low computing power, training a recurrent neural network model using MediaPipe Landmark Detector and LSTM to perform sign recognition and using the model to integrate with the Bot Intelligent Large Capacity and Low Cost (BILL) robot's operating system. This model was validated during training with unknown data, achieving 99% average accuracy. The model was also evaluated in real-time tests using a camera, achieving 85% average accuracy. These results show that it is possible to perform human-robot interaction through Libras recognition with considerable accuracy, without high computational costs due to the use of simplified data collection and the use of the LSTM algorithm to train the network. The project stands out for its social relevance, bringing access to information where the recognition of Libras allows deaf people to communicate and interact with robots in a more efficient and natural way. This means that they can gain access to information, services and resources that are often limited or inaccessible due to the communication barrier.
dc.format.mimetypeapplication/pdf
dc.identifier.citationBRITO, Aron Caiuá Viana de. Robosign: IA aplicada para interação entre deficientes auditivos e robôs de serviço. Orientadora: Ana Patrícia Fontes Magalhães Mascarenhas. 2023. 58 f. Trabalho de conclusão de curso (Bacharelado em Sistemas de Informação) - Departamento de Ciências Exatas e da Terra, Campus I, Universidade do Estado da Bahia. Salvador- BA, 2023
dc.identifier.urihttps://saberaberto.uneb.br/handle/20.500.11896/6460
dc.language.isopor
dc.publisherUniversidade do Estado da Bahia
dc.publisher.programGraduação
dc.rightsinfo:eu-repo/semantics/openAccess
dc.rights.urihttp://creativecommons.org/licenses/by/3.0/br/
dc.rights2Attribution 3.0 Brazilen
dc.subject.keywordsReconhecimento de libras
dc.subject.keywordsRobôs de serviço
dc.subject.keywordsInteração humano-robô.
dc.titleRobosign: IA aplicada para interação entre deficientes auditivos e robôs de serviço
dc.title.alternativeRobosign: applied AI for interaction between hearing-impaired people and service robots
dc.typeinfo:eu-repo/semantics/bachelorThesis
Arquivos
Pacote Original
Agora exibindo 1 - 1 de 1
Imagem de Miniatura
Nome:
Robosign_ IA aplicada para interação_Aron Brito.pdf
Tamanho:
1.72 MB
Formato:
Adobe Portable Document Format
Descrição:
Baixar
Licença do Pacote
Agora exibindo 1 - 1 de 1
Imagem de Miniatura
Nome:
license.txt
Tamanho:
462 B
Formato:
Item-specific license agreed upon to submission
Descrição:
Baixar
Coleções
Bacharelado em Sistemas de Informação - DCET1