使用传统RL方法的训练，仍存在许多问题，比如它需要花费时间迭代和手工调整奖励，并在人工智能架构方面不够明智，更不用说减轻遗忘，这种现象是指人工智能系统在学习新信息时，突然忘记了以前学过的信息。
AutoRL试图通过两个阶段来解决这个问题，奖励搜索和神经网络架构搜索。在阶段， 每个奖励功能略有不同，在这个阶段的后，通常会选择将带到其目的地的奖励。神经网络架构搜索阶段本质上是阶段的重复，但使用选定的奖励来优化网络，并对累积奖励进行优化。
这个自动化的训练过程，可以减轻模型的遗忘情况，并且与现有技术相比，由此产生的策略的质量更高(导航任务的质量提高了26%)，它们甚至足够强大，可以在非结构化环境中引导机器人。
AutoRL制定的策略，对本地导航很有帮助，但远程导航就需要用到概率路线图了，它们是基于采样的规划器的一个子类，对机器人的姿态进行采样，创建符合机器人特性的路线图。
福斯特和弗朗西斯解释说：“首先，我们在一个通用的模拟训练环境中对机器人进行训练，训练一个本地规划策略。再根据该策略构建一个PRM，称为PRM-rl，它位于部署环境的平铺图之上，相同的平面图可以用于任何机器人。”
