强化学习在无人机项目中的应用

AI世界

    近年来,无人机已被广泛应用于很多领域,它不仅可以完成很多的任务,包括轨迹规划、避障、巡航等,在民用、军事都有很广泛应用,而且还有降低成本、提高效率、减少损失等很多作用。
    但是传统的无人机任务都采用飞控控制,需要人为操作。为了使无人机可以具备更广的适用性,或者从技术上来说拥有更好的泛化能力,深兰科学院尝试用强化学习来训练无人机做指定的任务。如果训练效果能够达到足够稳定的性能,则可以进一步实现商用目的。本文在此基础上,带大家简单了解一下强化学习的基础知识。
    强化学习小课堂
    
    什么是强化学习?
    1、强化学习
    强化学习(Reinforcement Learning RL)也有很多其他名字,例如再励学习、增强学习、评价学习,是机器学习的范式和方法论之一,用于描述和解决智能体在与环境的交互过程中,通过学习策略以达成回报最大化或实现特定目标的问题。
    
    上图为经典的强化学习结构图,从图片中可以看出,强化学习过程主要由4部分构成:智能体(agent)、观测到的状态(observation/state)、奖励(reward)和行为(action)。
    一个强化学习的过程中,智能体获得从当前环境中观测到的状态,然后根据这一状态采取一定的行为或策略,同时,有一个评价系统来评价这个行为的好坏,并返回正/负奖励给到智能体。循环往复,直到完成整个任务,此为一次强化学习的交互。整个强化学习训练过程就是,智能体与环境不断的交互,最终会学习到合理的策略,让奖励最大或者达到某个任务(指定的状态)。
    
    强化学习受行为主义心理学的启发,例如巴甫洛夫条件反射实验,训练摇铃小狗流口水。小狗看到吃的流口水、摇铃不流口水,实验中就采取摇铃并给狗喂狗粮的方法不停训练,最终即使在没有狗粮,只摇铃的情况下,小狗也会流口水。
    强化学习与此类似,是让智能体在与环境交互的过程中,一旦选择对的行为则给予正奖励加强这种行为,在不断的训练过程中使得智能体选择最合适的行为,最终使得智能体的每一步都能选择合理的行为,从而达到整体任务奖励最大化,并完成任务。
    2、深度强化学习
    我们一般所说的强化学习其实是深度强化学习(Deep Reinforcement Learning DRL),深度强化学习是强化学习与深度学习结合的结果。顾名思义,就是将传统强化学习中的某一部分用深度学习来完成。
    传统强化学习中的行为以及价值都是需要人为定义的,这也就是为什么传统强化学习起源较早,但是应用并不广泛的原因之一。而深度学习恰好将这一问题解决了,强化学习中的行为以及价值都用一个深度学习的网络来学习得到,这样不需要人为设定,使得强化学习可以广泛应用于很多领域。而传统强化学习无法解决的连续性动作的问题,深度强化学习也可以解决,使用对应的Actor-critic网络即可。
    深度强化学习的分类,有很多种分类标准。
    从智能体的个数上,可分为单智能体算法和多智能体算法;
    从是否基于模型的角度,可分为model-based和model-free;
    从训练时策略的选择,可分为on-policy和off-policy等等。
    这里不一一展开,但在实际运用强化学习的时候,根据具体的任务或者项目,需要选择合适的深度强化学习算法。
    
    
    1  2  下一页>