Com o avanço da tecnologia e o aumento do uso de Veículos Aéreos Não Tripulados (VANTs) em diversas aplicações, como inspeções de infraestruturas, monitoramento ambiental e entregas de mercadorias, torna-se fundamental o desenvolvimento de técnicas avançadas para o planejamento de caminhos dessas aeronaves. Trabalhos relacionados na área têm explorado abordagens de aprendizagem por reforço para o planejamento de caminhos em ambientes 2D, porém, ainda existem lacunas a serem preenchidas em relação a ambientes 3D e à inclusão de obstáculos complexos. Nessa perspectiva, este estudo propõe a integração do algoritmo de busca A* no módulo de planejamento de caminhos, comparando com técnicas de navegação que utilizam a aprendizagem por reforço. Além disso, para aprimorar a percepção do agente no ambiente tridimensional, é proposta uma modelagem que converte dados de um sensor 2D em uma representação abstrata 3D via software, permitindo ao VANT obter uma compreensão mais abrangente e precisa do cenário. Os experimentos revelaram um significativo aumento na taxa de sucesso da navegação autônoma, indo de 29% para 76% com a utilização da modelagem tridimensional dos obstáculos. Além disso, demonstramos que o VANT, treinado por meio de aprendizado por reforço, adquiriu habilidades fundamentais de navegação. Esses avanços visam preencher lacunas e, consequentemente, contribuir para a automação e eficiência das operações dessas aeronaves.