注册领666大礼包，学习金和优惠券下单直接使用
(1.空军工程大学空管领航学院，西安710051；2.国家空管防相撞技术重点实验室，西安710051；3.空军工程大学装备管理与无人机工程学院，西安710051)
关键词：无人机；避障；优化；势场；机器学习；人工智能;自主控制
随着航空技术与自动化技术的不断发展，无人机凭借其机动性强、成本低、操作方便等特点，在军事、农业、交通、公共管理等领域获得广泛应用。根据前瞻产业研究院发布的《2018-2023年中国无人机行业市场需求预测及投资战略规划分析报告》预测，我国民用无人机产品销售和服务总体市场规模到2025年将达到750亿元。2016年，国务院办公厅在《关于促进通用航空业发展的指导意见》中提出扩大低空空域开放，低空空域管理改革实现军民融合[1]。2018年，国家空管委办公室发布《无人驾驶航空器飞行管理暂行条例(征求意见稿)》[2]，无人机低空运行成为当前低空空域改革的重点。随着改革的推进，无人机由视距内人工遥控器操作发展为超视距远程网络操作，从而进入融合空域执行多样化任务已成为当前趋势[3]，而制约无人机发挥更大效能的关键在于其是否具有可靠的避障能力。
由于无人机具有高机动性、自身性能约束等特点，因此在避障过程中需要考虑一系列条件：
(1)安全约束：安全运行是无人机运行的关键指标之一，指无人机与其他航空器的距离在任意时刻下都保持一定的安全间隔。
(4)执行任务：无人机在避障过程中，往往会偏离原路径，影响任务执行效率，因此，在无人机冲突消解后，需要考虑航迹恢复问题，降低规避策略对无人机执行任务的影响。
(5)空间约束：低空混合空域具有一定的空间限制，包括禁飞区、危险区等严禁无人机进入的空域，同时复杂融合空域内运行的无人机需要考虑地理威胁因素，包括建筑、山体等障碍物对运行轨迹的影响，因此，在解脱路径生成时需要考虑空间约束条件。
另外，无人机属性、性能差异等因素也应予以考虑。
融合空域执行任务的无人机系统应具备一定的规避障碍物的能力，如图1所示，在外部环境约束、任务目标和机动性能的约束下，地面/机载处理器需要实时生成避障策略，并传送给无人机飞行控制器，通过动力单元模块实现冲突消解。
图1无人机避障系统示意图
Fig.1UAVobstacleavoidancesystemschematicdiagram
无人机避障问题的核心在于计算得到冲突解脱路径，因此,求解获取路径的优劣需要建立相应指标进行评价,一般包括解脱路径质量与算法性能两部分，具体指标如图2所示。
图2无人机避障路径评价指标
Fig.2EvaluationindexesofUAVobstacleavoidancepath
(2)智能决策技术。无人机需要通过感知的自身状态信息与环境信息进行自主决策判断，确定合适的运行模式，并作出相应的机动决策策略。
(3)路径规划技术。无人机避障路径规划是根据智能决策给出的避障任务与实时环境变化，为无人机提供可机动策略空间与运行引导的过程。路径规划可分为全局规划与局部规划，是无人机避障关键技术之一。
(4)运动控制技术。运动控制技术是根据当前无人机自身状态以及规划出的避障路径，生成控制指令，控制无人机精确、快速跟踪规划出的路径，主要包括调向、调速、调高等控制动作，是无人机避障关键技术之一。
运行中的无人机一旦检测到飞行冲突，立即解算避障路径，并驱动机体按照安全路径运行。当前避障技术主要分为三类：基于优化、势场和机器学习的避障方法。
基于优化的避障方法思想源于最优控制[6]，是根据已建立的无人机时域数学模型或频域数学模型，选择一个容许的控制律，使无人机按照约束的条件运行，并使某一性能指标达到最优的过程。其特点在于从整个冲突态势的演绎全局来考虑问题，可用各类数值计算与现代优化方法求解规避障碍的路径。
2.1.1数学优化算法
针对已建立的无人机避障模型，可利用各类数学优化算法将最优控制问题转化为便于求解的模型，从而生成解脱路径。
(1)非线性优化方法
性能指标或约束条件中包含非线性函数的问题称为非线性优化问题，当前用于无人机避障的非线性优化方法有梯度下降法、二次规划法、凸优化法等。陈伟锋等[7]将避障问题转化为最优控制命题形式，提出一种基于析取关系直接变换的动态联立求解方法，并用Radau配置点的拉格朗日插值对最优控制模型进行离散化处理，并通过对比验证了方法的有效性。付其喜等[8]将无人机额外飞行距离作为优化函数，首先基于随机并行梯度下降法(StochasticParallelGradientDescent,SPGD)对初始解脱可行解进行计算，再利用序列二次规划(SequentialQuadraticProgramming,SQP)求解最优解脱航向。王祝等[9]将无人机避障非凸问题转化成一系列近似凸优化子问题，利用凸优化法进行求解，得到兼具时效性与最优性的解脱路径。
(2)混合整数线性/非线性规划(MixedIntegerLinear/NonlinearProgramming,MILP/MINLP)
混合整数线性规划方法是用整数约束无人机的控制指令(速度、航向)，进而通过线性规划的方法对最优航路进行计算。Radmanesh等[10]提出一种有限范围内的动态混合整数线性规划算法，降低了航路规划计算量。Turnbull等[11]提出基于MILP-MPC的避撞航路规划算法，对语言决策树进行训练，训练后的模型被用于实时航路规划。Sarim等[12]在粗略航路规划的前提下，利用MILP对航路进行精细处理，生成最优避障路径。Alonso-Ayuso等[13]利用多次滚动时域方法将消解问题转化为混合整数非线性规划问题，并进一步线性化为MILP模型，实现速度调整进行避障。张启钱等[14]基于序列混合整数线性规划，提出同时可以选择调速、调向与调高的序列混合整数线性优化(SequentialMixedIntegerLinearOptimization-VelocityChange,TurnChangeandAltitudeChange,SMILO-VTAC)模型，解决了复杂低空多机冲突解脱问题。采俊玲等[15]采用航向-速度解脱策略结合的混合整数非线性规划(MINLP)模型，实现空域内航空器的避障。
(3)动态规划法(DynamicProgramming,DP)
动态规划的核心是基于贝尔曼最优性原理，根据基本递推关系式，不断转移决策过程，将最优化问题转化为多步决策问题。Denton等[16]将动态规划与树形搜索结合，计算出三维最优地形回避航路。Sunberg等[17]将多无人机冲突消解问题转化为近似动态规划问题进行求解。Bousson[18]利用单网格点动态规划，对飞行器避撞问题进行最优化求解。
基于数学优化方法的避障路径求解模型较为直观，易于理解，但当约束条件较为复杂时，求解难度增大，计算量增加，不能满足实时性要求。常见的基于数学优化方法的避障算法适用场景与优缺点如表1所示。
表1数学优化算法
Table1Mathematicaloptimizationalgorithm
2.1.2启发式算法
启发式算法是在可接受的计算成本下，对近似最优解进行搜索的优化算法，在基于路径规划的避障领域应用广泛，主要有群智能算法、A*、D*等。
(1)粒子群算法(ParticleSwarmOptimization,PSO)
粒子群算法是模拟自然界中鸟群觅食现象，通过种群迭代更新粒子位置和速度进行搜索空间最优解[19]。Tang等[20]将多智能粒子滤波器用在未知环境路径规划求解上，降低了计算量。Zhuang等[21]将PSO与勒让德伪谱法结合，寻找更适合无人机运行的轨迹。Yan等[22]将PSO与路径点制导算法结合，生成低功耗、更平滑的避撞路径。Lim等[23]将PSO与量子物理结合，提出量子-粒子群优化算法(QuantumBehaviorParticleSwarmOptimization,QPSO)生成光滑的无人机可飞路径，同时降低计算量、提升效率。
(2)遗传算法(GeneticAlgorithm,GA)
遗传算法是模拟自然界遗传机理以及生物进化过程，通过基因的选择、交叉、变异等操作，实现对最优值的搜索[24]。余文曌等[25]将GA与弹性网络结合，降低搜索空间，提高搜索效率。Yan等[26]对GA模型进行改进，可以生成满足航空器性能约束的解脱路径，降低运行能耗。何光勤等[27]将GA应用在三维空间内的避障，将惩罚函数代入性能指标中，求解出的解脱路径光滑性较好，适合航空器运行。
(3)蚁群算法(AntColonyOptimization,ACO)
(4)人工蜂群算法(ArtificialBeeColonyAlgorithm,ABC)
人工蜂群算法是模拟蜜蜂行为而提出的一种优化算法。Kang等[32]在蜂群采蜜阶段加入Rosenbrock旋转方向法，避免了算法早熟收敛，准备率也有一定提升。王渊等[33]在传统ABC算法的基础上，改进了跟随蜂对雇佣蜂的选择概率，用最优解引导迭代方向，保证算法跳出局部最优解。Contreras-CruzMA等[34]将ABC算法与进化算法结合，先由ABC算法进行局部搜索，再由进化算法得出最优解脱路径。Li等[35]将平衡性策略应用到传统ABC算法中，在局部与全局之间实现平衡。
此外，还有一些智能算法被用在无人机路径规划上，实现避障，如布谷鸟算法(CuckooSearch,CS)[36]、鲸鱼优化算法(WhaleOptimizationAlgorithm,WOA)[37]、蚁狮算法(AntLionOptimizer,ALO)[38]、鸽群算法(Pigeon-InspiredOptimization,PIO)[39]、萤火虫算法(FireflyAlgorithm,FA)[40]、乌贼算法[41]等。
(5)A*/D*算法
针对复杂环境动态变化的问题，传统A*算法难以应用，因此一些学者在A*算法的基础上进行改进，典型的改进算法有D*算法。Ganapathy等[45]提出EnhancedD*Lite算法，解决了穿越尖角障碍物产生的不安全路径问题。Stentz[46]提出分批次局部更新航迹代价图的D*算法，有效解决避障问题。常见的基于启发式典型算法的避障算法的适用场景与优缺点如表2所示。
表2典型启发式算法优劣比较
Table2Comparisonofadvantagesanddisadvantagesoftypicalheuristicalgorithms
2.1.3图论
基于图形的避障方法，首先通过栅格化方法，对环境进行建模，再利用搜索算法生成避障路径，完成全局冲突解脱，常用方法有Dijkstra算法、Voronoi图、随机路标图法(ProbabilisticRoadmap,PRM)、Dubins曲线、轮廓图法(Silhouette)、通视图法(VisibilityGraph)等。
表3基于图论的避障方法
Table3Obstacleavoidancemethodsbasedongraphtheory
基于势场的避障方法在空域内构造虚拟势场，生成导航函数，将航空器的运动规律转化为物体间力的作用结果，是一种广泛应用的避障方式，具有数学描述结构简单、美观，规划算法快等特点，常见的算法有人工势场法、速度障碍法、流函数法等。
2.2.1人工势场法
人工势场法的基本思想是将复杂障碍环境转化为一个势场，障碍物产生的斥力Frep与目标点产生的引力Fatt共同作用在无人机，合力Ftotal控制无人机运动状态，达到局部避撞的效果，如图3所示。管祥民等[56]结合蚁群算法与APF的优点，提出改进混合避障方法，得出时效性与飞行更好的解脱路径。Yang等[57]提出了一种回归搜索法，用来改进势场函数，避免了陷入局部极小点的缺陷。韩知玖等[58]提出改进APF算法，可在航空器动力学约束的条件下，生成路径短、平滑的最优路径。
图3人工势场受力模型
Fig.3Forcemodelofartificialpotentialfield
2.2.2速度障碍法
速度障碍法(VelocityObstacle,VO)是通过分析无人机与动态障碍物之间的空间几何关系，计算避障所需的速度与航向。如图4所示，无人机与动态障碍物的速度分别为v1,v2，速度障碍法将相对速度vR=v1-v2作为研究对象，将位置障碍转化为速度障碍。若相对速度vR落在障碍锥中，则存在冲突，否则不存在。无人机通过调整自身航向、速度，使得相对速度落在障碍锥之外，实现冲突解脱。
图4速度障碍法冲突解脱示意图
Fig.4Schematicdiagramofconflictresolutionofvelocityobstaclemethod
张宏宏等[59]等基于速度障碍法，对无人机避障应调航向与速度进行严格的理论推导，实现不同冲突场景下无人机自主选择解脱策略实现避障。Durand等[60]在速度障碍法的基础上，提出最优互惠避碰(ORCA)算法，使之适用于速度受限的飞机。Bareiss等[61]对最优互惠避碰(ORCA)模型进行分析，将所有基于速度障碍理论的避障策略归纳为泛速度障碍模型。杨秀霞等[62]利用空间速度障碍球冠模型，将三维空间内的障碍映射到二维平面，给出无人机避障的最优航向决策，具有一定的可行性与有效性。
2.2.3流函数法(StreamFunction，SF)
图5流函数法示意图
Fig.5Schematicdiagramofflowfunctionmethod
常见的基于势场和导航函数的避障算法适用场景与优缺点如表4所示。
表4基于势场和导航函数的避障方法对比
Table4Comparisonofobstacleavoidancemethodsbasedonpotentialfieldandnavigationfunction
机器学习算法是将无人机避障问题转化为一个决策问题，通过与复杂动态环境的信息反复交互，选择最优或近最优策略，以实现其长期目标。随着智能化水平的不断提升，机器学习算法在无人机避障领域得到广泛应用，常见方法有神经网络、强化学习与深度强化学习。
2.3.1神经网络
无人机避障导航控制是根据传感器获取的信息，快速得到无人机应采取的动作，其本质是获取状态空间与动作空间的映射关系[66]。映射关系往往难以用精确的数学表示，而神经网络是由大量非线性单元连接构成的非线性复杂网络结构，通过对人脑功能的控制与反馈功能进行模拟，形成的非线性映射系统[67]。神经网络凭借其强大的学习与泛化能力、非线性映射能力以及快速规划能力，在机器人动力学以及导航控制领域得到广泛应用。
国内外学者结合神经网络的特点，对无人机路径规划、制导与避障控制进行了大量研究。王延祥等[68]提出扰动流体动态系统与神经网络结合的自适应避障路径生成算法，能够适应环境的复杂性，且具有较高的鲁棒性。Zhang等[69]基于神经网络模型，不断对无人机进行离线训练，找到符合约束条件的解脱路径。Choi等[70]采用机器学习框架，提出了一种无人机双层避障算法,使得无人机以最小的支付代价避障多个障碍物，得到满足实时性和有效性的避障决策。
单一神经网络未能考虑训练与决策过程中的不确定性，因此有学者将模糊逻辑理论与神经网络相结合，用隶属度代替不确定性的指标，更符合实际情况，具有较强的自学习与自适应能力[71-72],以适应环境变化。
2.3.2强化学习
强化学习是将动态规划与监督学习相结合的一种新型学习方法，强调在于环境的交互中不断学习，执行“尝试-失败”机制，通过反馈的评价，实现输出最优决策，在无人机复杂避障决策问题得到应用。这种学习理念能够通过奖励指标最大化，使得系统做出一系列决策，而不需要人工干预，流程图如图6所示。2005年，MichelsJ等[73]将强化学习应用在避障系统中，通过训练模型预测合适的避障策略。Xie等[74]基于DoubleDQN算法，实现了室内场景自主避障。Vamvoudakis等[75]也将强化学习应用在智能体避障领域，但实验表明样本特征质量的选择影响避障效果。邹启杰等[76]提出强化学习驱动快速探索随机数的RL-RRT方法，加快搜索速度，实现解脱路径多目标决策优化。Kulkarni等[77]基于目标驱动内在动机的深度学习方法，在实时环境中学习导向行为，以提高复杂环境内收敛速度。
图6强化学习流程图
Fig.6Reinforcementlearningflowchart
目前，强化学习在无人机避障领域已取得不错的进展，只需对环境样本进行训练，便可得到避障模型，同时具有规划速度快的特点，但是，当运行场景发生变化时，往往需要重新对模型进行训练，代价相对较高。
2.3.3深度强化学习
深度强化学习(DeepReinforcementLearning,DRL)是将强化学习与深度学习相结合，通过强化学习与环境探索得到优化目标，通过深度学习获取系统运行机制，用于表征和解决问题[78]。作为机器学习中的研究热点，该方法凭借深度学习的感知能力，即使针对高维原始数据输入，也能获取有效的控制决策。基于深度强化学习的系统避障控制模型如图7所示，可分为基于值函数和基于策略梯度的深度强化学习算法。
图7基于深度强化学习的系统避障控制模型图
Fig.7ModeldiagramofsystemobstacleavoidancecontrolbasedonDRL
(1)基于值函数的深度强化学习算法
DQN(DeepQ-Learning)算法由DeepMind公司在NIPS2013上提出，后于2015年在Nature上提出改进版本[79]。其核心思想是用神经网络来表征函数或者参数化动作策略，基于梯度对损失函数进行优化，实现了“感知-动作”的学习算法。Lü等[80]提出了一种改进的学习策略，该策略基于不同学习阶段对经验深度和广度的不同需求，其中DQN计算Q值，采用密集网络框架。在学习的初始阶段，创建一个经验价值评价网络，增加深度经验的比例，以更快地理解环境规则。当发生路径漫游现象时，采用平行探索结构，考虑漫游点等点的探索，提高了经验池的广度。刘庆杰等[81]采用改进DQN算法克服了Q-learning表格式算法在连续状态下导致内存不足的局限性。通过改进奖励机制，增加实时奖惩作为补充，解决学习耗时长和训练不稳定的问题。
DQN在无人机避障控制领域取得不错效果，但其动作空间是离散形式的，不能实现连续的路径生成。
(2)基于策略梯度的深度强化学习算法
为实现连续的状态空间和动作空间，梯度策略直接利用梯度参数优化策略，不计算执行策略获取的累计奖励值，输出完整动作策略，而不是输出状态动作值函数。最先广泛应用的是随机策略搜索法中的区域信赖策略优化算法(TrustRegionPolicyOptimization,TRPO)。该算法由Schulman等[82]提出，通过进行数据新旧策略分布评估，应用于无人机导航控制领域。此外，深度确定性策略梯度算法(DeepDeterministicPolicyGradient,DDPG)[83]、引导性策略梯度算法(GuidedPolicySearch,GPS)[84-85]和分布式近似策略优化算法(DistributedProximalPolicyOptimization,DPPO)[86]等算法，也在逐步应用于无人机避障控制中。
但基于策略梯度的深度强化学习算法存在收敛难度大的问题，具体在复杂障碍场景下的样机试验还需进一步研究。
从无人机避障研究现状以及未来发展趋势来看，当前挑战主要集中在：
(1)无人机动力学建模问题。避障过程中，多是将无人机简化成三自由度的质点，忽略偏转角、俯仰角与滚转角对运行状态的影响，使得现在避障算法难以适应高机动性的无人机，导致实际无人机执行任务时解脱路线与规划路线存在偏差，影响任务执行效果。
(3)环境建模问题。目前的避障路径规划算法多数都是基于规则的理想障碍物的假设，而实际无人机运行环境复杂多样，特别是复杂凹型障碍环境(例如U型障碍等)、密集动态障碍(例如大规模集群系统)等场景的探测与描述，还需要进一步的探索。
(4)算法实时性问题。若环境信息是时变的，避障算法就必须具有在线规划能力。算法的实时性与其应用背景紧密联系，只有达到一定解算速度的实时性算法，才可应用于复杂动态环境的在线重规划，否则，只能应用于离线规划或局部重规划。当前的避障算法一般通过对复杂系统进行线性化与近似化处理，实时性问题并没有得到很好的解决。
(5)组网通信。当前无人机之间通过无线通信方式进行信息交换，当集群规模较小时尚可满足需求，但面对大范围、大规模集群高速飞行场景时，对组网通信的性能需求较大。因此，快速可靠的通信和组网仍是目前具有挑战性的问题。
研究重点和方向主要集中在以下几点：
(1)完善避障算法的实用性。对于复杂环境建模，必须通过具体测量或者使用准确的三维地图，从而获取可靠精确的数据，考虑复杂环境多因素对避障效果的影响，利用数据对模型进行验证。针对具体型号的无人机，重点研究六自由度无人机在复杂环境下的避障算法，考虑机载传感器误差等一系列约束条件，对机载传感器信息传输模型进行细化，针对不同性能传感器设计不同的规划方法，实现无人机“感知-避撞”流程闭环。同时在融合空域内，无人机必须考虑无人机空中交通管理(UnmannedAirTrafficManagement,UTM)下的运行规则，充分结合环境建模和具体应用背景，设计出具有实用性的避障路径。
(2)融合多类型避障路径算法。融合不同类型的避障算法，弥补现有单个方法的缺陷与不足，是当前的重要研究趋势。例如，传统避障规划方法(基于优化、势场等)可与机器学习为代表的人工智能技术相结合，优势互补，解决传统避障算法中局部最优等问题，也在一定程度上弥补基于机器学习的避障规划算法中的实时性差等问题。
(3)多机协同避障。由于单无人机的机动区域很小，一旦发生碰撞，会影响临近无人机，集群之间产生链式效应，将造成任务失败，因此，随着无人机集群在战术打击、目标协同搜索、多异构平台协同等复杂任务的广泛应用，多机协同编队避障主要研究在满足多样约束条件下，将避障策略合理分配给各个有能力的无人机个体，完成协同避障。由于多机协同编队避障对环境感知、任务建模以及规划方法都有较高的要求，因此,还需要进一步的探索与研究。
(4)设计合理的容错机制。容错冗余机制是保障无人机系统运行安全的重要环节。当前没有对避障算法核心以及薄弱环节进行容错机制设计，一旦解脱环节失效，会造成不可预知后果。因此,在未来研究中要着重无人机机能失效时的容错机制设计，避免不可控事件发生。
(5)规划-控制一体化设计。当前学者将无人机避障路径规划与路径控制区分开，分别进行建模研究，而实际无人机是否精确跟踪无人机规划解脱路径是当前未解决的问题。因此需要将无人机控制制导律融合到解脱路径解算过程中，实现规划-控制一体化。
避障技术是反映无人机自主控制以及智能化水平的关键指标，同时作为无人机任务决策规划的核心模块，避障技术逐渐发挥其重要作用。分析结论表明：
(1)基于优化的避障方法可以处理异常复杂的非结构化约束以及各类难以近似处理的动力学约束等问题，其中数学优化算法计算繁杂，不易理解，但可综合考虑避障路径的可靠性、安全性与优化性能。启发式算法一般实时性较差，不适合在线避障规划场景，只适用于离线规划或者全局的初始规划等场景。
(2)基于势场和导航函数的避障方法可以快速生成避障路径，实时性好，且路径光滑，但不能将各类约束条件加入到避障过程，易陷入局部最优，因此,在局部规划器中可优先采用此类方法。
(3)基于机器学习的避障方法规划实时性与全局性均达到不错的效果，且不依赖于环境先验信息，但当无人机处于连续状态空间与动作空间场景时，模型离线学习训练耗时长，且不易收敛，甚至难以完成训练。
从当前发展现状来看，无人机避障工程实践滞后于理论发展，在下一步发展中，应致力于理论实践化。
参考文献：
[3]全权,李刚,柏艺琴,等.低空无人机交通管理概览与建议[J].航空学报,2020,41(1):023238.
QuanQuan,LiGang,BaiYiqin,etal.LowAltitudeUAVTrafficManagement:AnIntroductoryOverviewandProposal[J].ActaAeronauticaetAstronauticaSinica,2020,41(1):023238.(inChinese)
[4]LanicciJ,HalperinD,ShappellS,etal.GeneralAviationWeatherEncounterCaseStudies[R].WashingtonDC:OfficeofAerospaceMedicine,2012:1-12.
[5]杨健.无人机集群系统空域冲突消解方法研究[D].长沙:国防科学技术大学,2016:1-14.
YangJian.StudyontheAirspaceConflictResolutionProblemofUnmannedAerialVehicleSwarmSystems[D].Changsha:NationalUniversityofDefenseTechnology,2016:1-14.(inChinese)
[6]SolerM,KamgarpourM,LloretJ,etal.AHybridOptimalControlApproachtoFuel-EfficientAircraftConflictAvoidance[J].IEEETransactionsonIntelligentTransportationSystems,2016,17(7):1826-1838.
[7]陈伟锋,邵之江.基于析取关系直接变换的冲突解脱方法[J].航空学报,2014,35(4):1122-1133.
ChenWeifeng,ShaoZhijiang.DirectDisjunctionTranscriptionBasedConflictResolutionApproach[J].ActaAeronauticaetAstronauticaSinica,2014,35(4):1122-1133.(inChinese)
[8]付其喜,梁晓龙,张佳强,等.双层优化的多无人机合作式冲突探测与解脱[J].哈尔滨工业大学学报,2020,52(4):74-83.
FuQixi,LiangXiaolong,ZhangJiaqiang,etal.CooperativeConflictDetectionandResolutionforMultipleUAVsUsingTwo-LayerOptimization[J].JournalofHarbinInstituteofTechnology,2020,52(4):74-83.(inChinese)
[9]王祝,刘莉,龙腾,等.基于罚函数序列凸规划的多无人机轨迹规划[J].航空学报,2016,37(10):3149-3158.
WangZhu,LiuLi,LongTeng,etal.TrajectoryPlanningforMulti-UAVsUsingPenaltySequentialConvexProgramming[J].ActaAeronauticaetAstronauticaSinica,2016,37(10):3149-3158.(inChinese)
[10]RadmaneshM,KumarM,NematiA,etal.DynamicOptimalUAVTrajectoryPlanningintheNationalAirspaceSystemviaMixedIntegerLinearProgramming[J].ProceedingsoftheInstitutionofMechanicalEngineers,PartG:JournalofAerospaceEngineering,2016,230(9):1668-1682.
[11]TurnbullO,LawryJ,LowenbergM,etal.AClonedLinguisticDecisionTreeControllerforReal-TimePathPlanninginHostileEnvironments[J].FuzzySetsandSystems,2016,293:1-29.
[12]SarimM,RadmaneshM,DecheringM,etal.DistributedDetect-and-AvoidforMultipleUnmannedAerialVehiclesinNationalAirSpace[J].JournalofDynamicSystems,Measurement,andControl,2019,141(7):071014.
[13]Alonso-AyusoA,EscuderoLF,Martín-CampoFJ.AMixed0-1NonlinearOptimizationModelandAlgorithmicApproachfortheCollisionAvoidanceinATM[J].Computers&OperationsResearch，2012,39(12):3136-3146.
[14]张启钱,王中叶,张洪海,等.基于SMILO-VTAC模型的复杂低空多机冲突解脱方法[J].交通运输工程学报,2019,19(6):125-136.
ZhangQiqian,WangZhongye,ZhangHonghai,etal.SMILO-VTACModelBasedMulti-AircraftConflictResolutionMethodinComplexLow-AltitudeAirspace[J].JournalofTrafficandTransportationEngineering,2019,19(6):125-136.(inChinese)
[15]采俊玲,张宁.基于MINLP模型的飞机冲突解脱研究[J].重庆理工大学学报:自然科学,2020,34(2):188-195.
CaiJunling,ZhangNing.AircraftConflictResolutionStudyBasedonMixedIntegerNonlinearProgrammingModel[J].JournalofChongqingUniversityofTechnology:NaturalScience,2020,34(2):188-195.(inChinese)
[16]DentonRV,JonesJE.DemonstrationofanInnovationTechniqueforTerrainFollowing/TerrainAvoidance—TheDynapathAlgorithm[R].IEEENAECONConference,1985:522-529.
[17]SunbergZN,KochenderferMJ,PavoneM.OptimizedandTrustedCollisionAvoidanceforUnmannedAerialVehiclesUsingApproximateDynamicProgramming[C]∥IEEEInternationalConferenceonRoboticsandAutomation,2016:1455-1461.
[18]BoussonK.SingleGridpointDynamicProgrammingforTrajectoryOptimization[C]∥AIAAAtmosphericFlightMechanicsConferenceandExhibit,2005.
[19]薛敏，徐海成，王硕.基于粒子群优化算法的无人艇路径规划[J].中国科技信息,2018(24):69-70.
XueMin,XuHaicheng,WangShuo.PathPlanningofUnmannedSurfaceVehicleBasedonParticleSwarmOptimizationAlgorithm[J].ChinaScienceandTechnologyInformation,2018(24):69-70.(inChinese)
[20]TangXL,LiLM,JiangBJ.MobileRobotSLAMMethodBasedonMulti-AgentParticleSwarmOptimizedParticleFilter[J].TheJournalofChinaUniversitiesofPostsandTelecommunications,2014,21(6):78-86.
[21]ZhuangYF,SharmaS,SubudhiB,etal.EfficientCollision-FreePathPlanningforAutonomousUnderwaterVehiclesinDynamicEnvironmentswithaHybridOptimizationAlgorithm[J].OceanEngineering,2016,127:190-199.
[22]YanZP,LiJY,ZouJJ,etal.AHybridPSO-WGAlgorithmforAUVPathPlanninginUnknownOceanicEnvironment[C]∥IEEE8thInternationalConferenceonUnderwaterSystemTechnology:TheoryandApplications(USYS),2018:1-6.
[23]LimHS,FanSS,ChinCKH,etal.ConstrainedPathPlanningofAutonomousUnderwaterVehicleUsingSelectively-HybridizedParticleSwarmOptimizationAlgorithms[J].IFAC-PapersOnLine,2019,52(21):315-322.
[24]李平阳.基于遗传算法的无人机多目标路径规划[J].农业装备与车辆工程,2019,57(1):68-70.
LiPingyang.MultiobjectivePathPlanningofUnmannedAerialVehicleBasedonGeneticAlgorithm[J].AgriculturalEquipment&VehicleEngineering,2019,57(1):68-70.(inChinese)
[25]余文曌,佘航宇,欧阳子路.基于弹性网格的改进遗传算法在无人艇路径规划中的研究[J].中国航海,2018,41(4):101-105.
YuWenzhao,SheHangyu,OuyangZilu.PathPlanningofUnmannedSurfaceVehicleBasedonVariableMeshImprovedGeneticAlgorithm[J].NavigationofChina,2018,41(4):101-105.(inChinese)
[26]YanSK,PanF.ResearchonRoutePlanningofAUVBasedonGeneticAlgorithms[C]∥IEEEInternationalConferenceonUnmannedSystemsandArtificialIntelligence(ICUSAI),2019:184-187.
[27]何光勤,朱一飞,张才然.基于遗传算法的无人机三维航迹规划研究[J].价值工程,2020,39(7):215-218.
HeGuangqin,ZhuYifei,ZhangCairan.Researchof3DFlightPathPlanningofUAVBasedonGeneticAlgorithm[J].ValueEngineering,2020,39(7):215-218.(inChinese)
[28]张宏宏,甘旭升,李双峰,等.复杂低空环境下考虑区域风险评估的无人机航路规划[J].仪器仪表学报,2021,42(1):257-266.
ZhangHonghong,GanXusheng,LiShuangfeng,etal.UAVRoutePlanningConsideringRegionalRiskAssessmentunderComplexLowAltitudeEnvironment[J].ChineseJournalofScientificInstrument,2021,42(1):257-266.(inChinese)
[29]WuXX,WeiGL,SongY,etal.ImprovedACO-BasedPathPlanningwithRollbackandDeathStrategies[J].SystemsScience&ControlEngineering,2018,6(1):102-107.
[30]JiaoZQ,MaK,RongYL,etal.APathPlanningMethodUsingAdaptivePolymorphicAntColonyAlgorithmforSmartWheelchairs[J].JournalofComputationalScience,2018,25:50-57.
[31]LuoQ,WangHB,ZhengY,etal.ResearchonPathPlanningofMobileRobotBasedonImprovedAntColonyAlgorithm[J].NeuralComputingandApplications,2020,32(6):1555-1566.
[32]KangF,LiJJ,MaZY.RosenbrockArtificialBeeColonyAlgorithmforAccurateGlobalOptimizationofNumericalFunctions[J].InformationSciences,2011,181(16):3508-3531.
[33]王渊,孙秀霞,刘树光,等.基于改进人工蜂群算法的多机飞行冲突解脱策略[J].空军工程大学学报:自然科学版,2014,15(3):10-14.
WangYuan,SunXiuxia,LiuShuguang,etal.ResearchonMulti-AircraftConflictionResolutionBasedonaModifiedArtificialBeeColonyAlgorithm[J].JournalofAirForceEngineeringUniversity:NaturalScienceEdition,2014,15(3):10-14.(inChinese)
[34]Contreras-CruzMA,Ayala-RamirezV,Hernandez-BelmonteUH.MobileRobotPathPlanningUsingArtificialBeeColonyandEvolutionaryProgramming[J].AppliedSoftComputing,2015,30:319-328.
[35]LiB,GongLG,YangWL.AnImprovedArtificialBeeColonyAlgorithmBasedonBalance-EvolutionStrategyforUnmannedCombatAerialVehiclePathPlanning[J].TheScientificWorldJournal,2014,2014:1-10.
[36]XieC,ZhengHQ.ApplicationofImprovedCuckooSearchAlgorithmtoPathPlanningUnmannedAerialVehicle[C]∥IntelligentComputingTheoriesandApplication,2016:722-729.
[37]WuJF,WangHL,LiN,etal.PathPlanningforSolar-PoweredUAVinUrbanEnvironment[J].Neurocomputing,2018,275:2055-2065.
[38]YaoP,WangHL.DynamicAdaptiveAntLionOptimizerAppliedtoRoutePlanningforUnmannedAerialVehicle[J].SoftComputing,2017,21(18):5475-5488.
[39]ZhangB,DuanHB.Three-DimensionalPathPlanningforUninhabitedCombatAerialVehicleBasedonPredator-PreyPigeon-InspiredOptimizationinDynamicEnvironment[J].IEEE/ACMTransactionsonComputationalBiologyandBioinformatics,2017,14(1):97-107.
[40]李凤玲,陈珊,范兴江,等.基于萤火虫算法动态未知环境的路径规划[J].自动化与仪表,2019,34(6):53-58.
LiFengling,ChenShan,FanXingjiang,etal.PathPlanningBasedonFireflyAlgorithminDynamicUnknownEnvironment[J].Automation&Instrumentation,2019,34(6):53-58.
[41]钱洲元,雷明.面向无人机航迹规划的自适应乌贼算法[J].哈尔滨工业大学学报,2019,51(10):37-46.
QianZhouyuan,LeiMing.AdaptiveCuttlefishAlgorithmforUAVPathPlanning[J].JournalofHarbinInstituteofTechnology,2019,51(10):37-46.(inChinese)
[42]马云红,张恒,齐乐融,等.基于改进A*算法的三维无人机路径规划[J].电光与控制,2019,26(10):22-25.
MaYunhong,ZhangHeng,QiLerong,etal.A3DUAVPathPlanningMethodBasedonImprovedA*Algorithm[J].ElectronicsOptics&Control,2019,26(10):22-25.(inChinese)
[43]祁玄玄,黄家骏,曹建安.基于改进A*算法的无人车路径规划[J].计算机应用,2020,40(7):2021-2027.
QiXuanxuan,HuangJiajun,CaoJian’an.PathPlanningforUnmannedVehicleBasedonImprovedA*Algorithm[J].JournalofComputerApplications,2020,40(7):2021-2027.(inChinese)
[44]宋雪倩,胡士强.基于Dubins路径的A*算法的多无人机路径规划[J].电光与控制,2018,25(11):25-29.
SongXueqian,HuShiqiang.Dual-UAVPathPlanningbyDubins-PathBasedA*Algorithm[J].ElectronicsOptics&Control,2018,25(11):25-29.(inChinese)
[45]GanapathyV,YunS,ChienT.EnhancedD*LiteAlgorithmforAutonomousMobileRobot[J].InternationalJournalofAppliedScienseandTechnology,2011,1(1):58-73.
[46]StentzA.OptimalandEfficientPathPlanningforPartially-KnownEnvironments[C]∥IEEEInternationalConferenceonRoboticsandAutomation,1994:3310-3317.
ZhuLongbiao,WangHui,WangJingliang,etal.ResearchonPathPlanningofParkingSystemBasedonDynamicTimeWindow[J].ChineseJournalofEngineeringDesign,2017,24(4):440-448.(inChinese)
[48]MainiP,SujitPB.PathPlanningforaUAVwithKinematicConstraintsinthePresenceofPolygonalObstacles[C]∥IEEEInternationalConferenceonUnmannedAircraftSystems,2016:62-67.
[49]BhattacharyaP,GavrilovaML.Roadmap-BasedPathPlanning-UsingtheVoronoiDiagramforaClearance-BasedShortestPath[J].IEEERobotics&AutomationMagazine,2008,15(2):58-66.
[50]HanT,WuWC,HuangCQ,etal.PathPlanningofUAVBasedonVoronoiDiagramandDPSO[J].ProcediaEngineering,2012,29:4198-4203.
[51]李寰宇,陈延龙,张振兴,等.基于Dubins的无人机自动避撞路径规划[J].飞行力学,2020,38(5):44-49.
LiHuanyu,ChenYanlong,ZhangZhenxing,etal.UAVCollisionAvoidancePathPlanningBasedonDubinsMethod[J].FlightDynamics,2020,38(5):44-49.(inChinese)
[52]ZhuMN,ZhangXH,LuoH,etal.OptimizationDubinsPathofMultipleUAVsforPost-EarthquakeRapid-Assessment[J].AppliedSciences,2020,10(4):1388.
[53]YanP,YanZ,ZhengHX,etal.AFixedWingUAVPathPlanningAlgorithmBasedonGeneticAlgorithmandDubinsCurveTheory[J].MATECWebofConferences,2018,179:03003.
[54]曾国奇,赵民强,刘方圆,等.基于网格PRM的无人机多约束航路规划[J].系统工程与电子技术,2016,38(10):2310-2316.
ZengGuoqi,ZhaoMinqiang,LiuFangyuan,etal.Multi-ConstraintsUAVPathPlanningBasedonGridPRM[J].SystemsEngineeringandElectronics,2016,38(10):2310-2316.(inChinese)
[55]UpadhyayA,ShrimaliKR,ShuklaA.UAV-RobotRelationshipforCoordinationofRobotsonaCollisionFreePath[J].ProcediaComputerScience,2018,133:424-431.
[56]管祥民,吕人力.基于混合人工势场与蚁群算法的多飞行器冲突解脱方法[J].武汉理工大学学报:交通科学与工程版,2020,44(1):28-33.
GuanXiangmin,LüRenli.ConflictResolutionMethodforMultipleAircraftBasedonHybridArtificialPotentialFieldandAntColonyAlgorithm[J].JournalofWuhanUniversityofTechnology:TransportationScience&Engineering,2020,44(1):28-33.(inChinese)
[57]YangX,YangW,ZhangHJ,etal.ANewMethodforRobotPathPlanningBasedArtificialPotentialField[C]∥IEEE11thConferenceonIndustrialElectronicsandApplications(ICIEA),2016:1294-1299.
[58]韩知玖,吴文江,李孝伟,等.一种改进的动力学约束人工势场法[J].上海大学学报:自然科学版,2019,25(6):879-887.
HanZhijiu,WuWenjiang,LiXiaowei,etal.AnImprovedArtificialPotentialFieldMethodConstrainedbyaDynamicModel[J].JournalofShanghaiUniversity:NaturalScienceEdition,2019,25(6):879-887.(inChinese)
[59]张宏宏,甘旭升,李昂,等.基于速度障碍法的无人机避障与航迹恢复策略[J].系统工程与电子技术,2020,42(8):1759-1767.
ZhangHonghong,GanXusheng,LiAng,etal.UAVObstacleAvoidanceandTrackRecoveryStrategyBasedonVelocityObstacleMethod[J].SystemsEngineeringandElectronics,2020,42(8):1759-1767.(inChinese)
[60]DurandN.ConstantSpeedOptimalReciprocalCollisionAvoi-dance[J].TransportationResearchPartC:EmergingTechnologies,2018,96:366-379.
[61]BareissD,vandenBergJ.GeneralizedReciprocalCollisionAvoidance[J].TheInternationalJournalofRoboticsResearch,2015,34(12):1501-1514.
[62]杨秀霞,张毅,周硙硙,等.基于空间障碍球冠的UAV保角映射避碰决策[J].华中科技大学学报:自然科学版,2019,47(2):127-132.
YangXiuxia,ZhangYi,ZhouWeiwei,etal.SpatialOptimalCollisionAvoidanceDecisionforUAVBasedonSpatialObstacleSphericalCap[J].JournalofHuazhongUniversityofScienceandTechnology:NaturalScienceEdition,2019,47(2):127-132.(inChinese)
[63]梁宵,王宏伦,李大伟,等.基于流水避石原理的无人机三维航路规划方法[J].航空学报,2013,34(7):1670-1681.
LiangXiao,WangHonglun,LiDawei,etal.Three-DimensionalPathPlanningforUnmannedAerialVehiclesBasedonPrinciplesofStreamAvoidingObstacles[J].ActaAeronauticaetAstronauticaSinica,2013,34(7):1670-1681.(inChinese)
[64]DailyR,BevlyDM.HarmonicPotentialFieldPathPlanningforHighSpeedVehicles[C]∥IEEEAmericanControlConference,2008:4609-4614.
[65]王宏伦,姚鹏,梁宵,等.基于流水避石原理的无人机三维航路规划[J].电光与控制,2015,22(10):1-6.
WangHonglun,YaoPeng,LiangXiao,etal.Three-DimensionalPathPlanningforUAVsBasedonTheoryofFluidAvoidingObstacles[J].ElectronicsOptics&Control,2015,22(10):1-6.(inChinese)
[66]FloreanoD,MondadaF.EvolutionaryNeurocontrollersforAuto-nomousMobileRobots[J].NeuralNetworks,1998,11(7/8):1461-1478.
[67]方旭,刘金琨.四旋翼无人机三维航迹规划及跟踪控制[J].控制理论与应用,2015,32(8):1120-1128.
FangXu,LiuJinkun.Three-DimensionPathPlanningandTrajectoryTrackingControlforQuadrotorUnmannedAerialVehicle[J].ControlTheory&Applications,2015,32(8):1120-1128.(inChinese)
[68]王延祥,王宏伦,吴健发,等.基于流体扰动算法与深度神经网络的无人机自适应路径规划[J].无人系统技术,2020,3(6):50-58.
WangYanxiang,WangHonglun,WuJianfa,etal.AdaptivePathPlanningforUAVBasedonInterferedFluidAlgorithmandDeepNeuralNetwork[J].UnmannedSystemsTechnology,2020,3(6):50-58.(inChinese)
[69]ZhangYY,LiS,GuoHL.ATypeofBiasedConsensus-BasedDistributedNeuralNetworkforPathPlanning[J].NonlinearDynamics,2017,89(3):1803-1815.
[70]ChoiYJ，JimenezH，MavrisDN.Two-LayerObstacleCollisionAvoidancewithMachineLearningforMoreEnergy-EfficientUnmannedAircraftTrajectories[J].RoboticsandAutonomousSystems，2017，98：158-173.
[71]邴丽媛,刘智,蒋余成.基于模糊神经网络的电力巡线无人机避障技术研究[J].长春理工大学学报:自然科学版,2017,40(3):98-102.
BingLiyuan,LiuZhi,JiangYucheng.ResearchonObstacleAvoidanceTechnologyofUnmannedAerialVehicleinPowerLineInspection[J].JournalofChangchunUniversityofScienceandTechnology:NaturalScienceEdition,2017,40(3):98-102.(inChinese)
[72]ChangY,WangYQ,AlsaadiFE,etal.AdaptiveFuzzyOutput-FeedbackTrackingControlforSwitchedStochasticPure-FeedbackNonlinearSystems[J].InternationalJournalofAdaptiveControlandSignalProcessing,2019,33(10):1567-1582.
[73]MichelsJ,SaxenaA,NgAY.HighSpeedObstacleAvoidanceUsingMonocularVisionandReinforcementLearning[C]∥The22ndInternationalConferenceonMachineLearning,2005:593-600.
[75]VamvoudakisKG,VrabieD,LewisFL.OnlineAdaptiveAlgorithmforOptimalControlwithIntegralReinforcementLearning[J].InternationalJournalofRobustandNonlinearControl,2014,24(17):2686-2710.
[76]邹启杰,刘世慧,张跃,等.基于强化学习的快速探索随机树特殊环境中路径重规划算法[J].控制理论与应用,2020,37(8):1737-1748.
ZouQijie,LiuShihui,ZhangYue,etal.Rapidly-ExploringRandomTreeAlgorithmforPathRe-PlanningBasedonReinforcementLearningunderthePeculiarEnvironment[J].ControlTheory&Applications,2020,37(8):1737-1748.(inChinese)
[77]KulkarniTD.NarasimhanKR,SaeediA,etal.HierarchicalDeepReinforcementLearning:IntegratingTemporalAbstractionandIntrinsicMotivation[C]∥30thInternationalConferenceonNeuralInformationProcessingSystems,2016:3675-3683.
[78]YangSL,XuZG,WangJY.IntelligentDecision-MakingofSchedulingforDynamicPermutationFlowshopviaDeepReinforcementLearning[J].Sensors,2021,21(3):1019.
[79]MnihV,KavukcuogluK,SilverD,etal.Human-LevelControlthroughDeepReinforcementLearning[J].Nature,2015,518(7540):529-533.
[80]LüL,ZhangSJ,DingDR,etal.PathPlanningviaanImprovedDQN-BasedLearningPolicy[J].IEEEAccess,2019,7:67319-67330.
[81]刘庆杰,林友勇,李少利.面向智能避障场景的深度强化学习研究[J].智能物联技术,2018,1(2):18-22.
LiuQingjie,LinYouyong,LiShaoli.ResearchonDeepReinforcementLearningforIntelligentObstacleAvoidanceScenarios[J].TechnologyofIoT&AI,2018,1(2):18-22.(inChinese)
[83]FanLQ,ZhangJ,HeY,etal.OptimalSchedulingofMicrogridBasedonDeepDeterministicPolicyGradientandTransferLearning[J].Energies,2021,14(3):584.
[84]DuJY,FuJ,LiC.GuidedPolicySearchMethods:AReview[J].JournalofPhysics:ConferenceSeries,2021,1748:022039.
ZhangHonghong1,2，GanXusheng1,2*，MaoYi1，YangChunlin1，XieXiaowei3
(1.AirTrafficControlandNavigationCollege,AirForceEngineeringUniversity,Xi’an710051,China;2.NationalKeyLaboratoryofAirTrafficCollisionPrevention,Xi’an710051,China;3.EquipmentManagementandUAVEngineeringCollege,AirForceEngineeringUniversity,Xi’an710051,China)
Abstract:Alongwiththeadvancementoflow-altitudeairspacereform,ithasbecomeadevelopingtrendthatUAVleavestheisolationairspaceandgetsintothefusionlow-altitudeairspacetoperformdiversemissions.AseriousthreatisbroughttoUAVinthelowdynamiccomplexfusionairspace,sotheobstacleavoidancetechnologyhasbecomeakeyprocessinUAVmissiondecision-makingsystem,toensurethesafeoperationoftheUAVandtoimproveworkingefficiency.Firstly,therelevantconcepts,pathevaluationindexesandkeytechnologiesofUAVobstacleavoidancearedescribed.Then,theconceptsofobstacleavoidancealgorithmsbasedonoptimization,potentialfieldandmachinelearningaredescribed,andtheadvantagesanddisadvantagesofthesealgorithmsarecompared.Finally,thecurrentchallengesthatrestrictthedevelopmentofUAVobstacleavoidanceandthefutureresearchdirectionsareproposed.
Keywords:UAV；obstacleavoidance；optimization；potentialfield；machinelearning;artificialintelligence;autonomouscontrol
中图分类号：V279;V249;TP18
文献标识码：A
收稿日期：2021-01-11
基金项目：国家自然科学基金项目(61601497)
作者简介：张宏宏(1995-)，男，安徽阜阳人，硕士研究生，研究方向是无人机冲突解脱与安全评估。
*通讯作者：甘旭升(1971-)，男，黑龙江海伦人，副教授，博士，研究方向是航空管制。
引用格式：张宏宏,甘旭升,毛亿,等.无人机避障算法综述[J].航空兵器，2021,28(5)：53-63.
ZhangHonghong,GanXusheng,MaoYi,etal.ReviewofUAVObstacleAvoidanceAlgorithms[J].AeroWeaponry，2021,28(5)：53-63.(inChinese)