O uso de Inteligência Artificial no desenvolvimento de novos produtos e pesquisas científicas tem crescido muito nos últimos anos, e não faz pouco tempo que as pessoas tem tentado construir robôs que pensem e hajam como seres humanos para realizar tarefas mais perigosas ou repetitivas. Dentre os diversos ambientes de testes utilizados para alcançar esse objetivo está a simulação de futebol de robôs, onde diversas equipes podem realizar suas pesquisas em um ambiente simulado e de baixo custo enquanto compartilham suas descobertas entre si. Apesar de não existir um consenso sobre qual a melhor forma de se ensinar movimentos humanoides para robôs, muitos tem procurado soluções através de técnicas de Aprendizagem por Reforço. Essa monografia propõe a criação de um ambiente de aprendizagem para robôs humanoides em simulação 3D, utilizando Aprendizagem por Reforço somada ao uso de Redes Neurais Artificiais, que permita a um agente aprender a realizar movimentos humanoides, com foco no movimento de chute. O movimento gerado conseguiu ser em torno de 93% mais rápido do que o chute antigo e sustentou a funcionalidade do ambiente proposto, além de gerar hipóteses que podem ajudar no avanço da pesquisa no desenvolvimento de movimentos em robôs humanoides simulados.