(1.国家能源集团煤炭产业中心,北京市东城区,100011;2.中国神华能源股份有限公司煤炭产业中心,北京市东城区,100011)
摘要分析了国内外露天矿山用卡车无人驾驶技术发展现状,详细介绍了露天矿山卡车无人驾驶关键技术;通过分析对比前装线控和后装线控两种技术路线的优缺点以及超声波雷达、毫米波雷达、激光雷达、4D光场智能感知系统、红外传感器、视觉传感器等环境感知技术的优缺点;提出多传感器高度融合将是露天矿山卡车实现全天候环境感知的发展方向。通过分析对比惯性导航系统、GNSS差分定位技术、车联网定位技术、电子地图定位技术、视觉传感器等定位导航技术的差异,指出多定位技术融合是露天矿山无人驾驶卡车定位方式的必然选择。结合露天煤矿的生产实际,提出将现有的无人驾驶各种技术算法与露天矿山标准作业流程有机融合是实现卡车无人驾驶的必由之路。最后指出无人驾驶卡车应用5G技术是露天矿山安全生产的关键和核心,是无人驾驶的必备技术。
关键词露天矿山矿用卡车无人驾驶4D光场环境感知导航定位
露天矿山无人驾驶技术由驾驶环境感知、路径规划和车辆控制等技术集合而成。无人驾驶车辆的功能总体结构可以分为感知层、任务规划层、行为执行层和运动规划层等[1]。首先通过装备感知传感器实现矿用卡车对环境感知,再由基于GPS定位的卡车调度系统为每辆车指定装载点及卸料点的位置和规划运输路线,然后卡车通过接收无线指令到达装有GPS的挖掘机装载点进行装载,最后卡车按照规划路线运行至卸料点进行卸料。露天煤矿卡车无人驾驶流程如图1所示。
图1露天煤矿卡车无人驾驶流程
矿用卡车无人驾驶技术始于20世纪70年代,由于受到当时信息化和自动化技术的限制,进展相对缓慢。进入21世纪,以卡特公司的“MineStar”系统和小松公司的“AHS”系统为代表的卡车无人驾驶技术进展加快,并在巴西淡水河谷公司、澳大利亚所罗门铁矿等矿山进行了无人驾驶卡车的试验和应用情况。
1.2.1“MineStar”系统
1.2.2“AHS”系统
小松公司的卡车无人驾驶主要通过自动化运输系统(AutonomousHaulageSystem,AHS)实现,系统用控制装置、GPS卫星、无线通信技术和软件来取代原来坐在驾驶室内的司机。
1996年,小松公司研制了第一辆无人驾驶卡车,2005年,小松公司研制了无人运输系统。2016年,小松公司研制了首款无驾驶的矿用卡车。目前,小松公司在运行的无人驾驶卡车总数超过100辆。
2018年8月,北方重型MT3600自卸卡车在白云鄂博矿区进行了国内第一辆无人驾驶卡车试验。2019年7月,航天重工与神宝能源合作将两辆在用的航天重工HT3110矿用车进行了无人化升级改造,目前已实现了固定道路无人驾驶、自动避障等功能,并在江西铜业集团公司城门山矿开展了1辆110t无人驾驶矿用车工业试验运行。
目前,湘电重装、徐工矿山等国内矿用卡车生产厂家都在开展无人驾驶系统研发。
根据无人驾驶卡车的功能需求,可将无人驾驶技术分为矿用卡车的线控技术、环境感知技术、定位导航技术、路径规划技术和决策控制技术[2]等几项关键技术。
线控技术是实现矿用卡车无人驾驶的基础,它是将驾驶员操纵的转向、制动、档位、油门、货箱举升等动作经过传感器转换为电信号,通过电缆直接控制执行机构,目前矿用卡车线控技术主要有前装线控和后装线控两种技术路线。
2.1.1前装线控
前装线控就是在矿用卡车出厂前,由主机厂基于自身矿用卡车的技术基础对自己品牌、自己生产的矿用卡车转向、制动、档位、油门、货箱举升等功能进行线控化升级改装,这种技术路线优点是实施较为容易且车辆出厂时就具备线控能力,缺点是无法应用于不同品牌和不同车型的矿用卡车,适用面小且不能规模化推广复制,目前北方重工、三一重装、徐工矿山、航天重工、湘电重装等国内矿用卡车主机厂都具备前装线控的能力。
2.1.2后装线控
后装线控就是在矿用卡车出厂后,对矿用卡车的转向、制动、档位、油门、货箱举升等功能进行线控化升级改造,这种技术路线要求能适用于不同品牌主机厂的矿用卡车。目前国内航天重工在该技术路线中处于领先地位,其自主专有的矿用车线控核心技术能够对现有不同厂家、不同品牌的矿用卡车进行智能无人化升级改造,完整保留原车的操作控制装置和功能,车辆操作和维护不受任何影响。一是安全性高,除了设计有“有人驾驶/无人驾驶”模式切换开关外,改造方案还确保了人工操作的最高优先级;二是信息化、智能化程度高,将原车的报警信息、仪表信息完整采集到控制系统,使车辆运行参数能够实时远程监控,实现整车远程健康管理。后装线控的技术路线能够对大量现存的矿用车进行线控化升级改造,能够实现规模化复制和推广,极大节省了成本,避免了已有资源的浪费。
露天矿山卡车无人驾驶环境感知系统是实现无人驾驶的关键技术之一,目前无人驾驶感知系统已由单一传感器感知周围环境的检测算法发展为利用相机融合激光雷达感知周围环境的检测算法。
目前,露天矿山卡车无人驾驶感知系统主要有超声波雷达、毫米波雷达、激光雷达、4D光场智能感知系统、视觉传感器以及红外传感器等[3-5]。矿用卡车在行驶过程中采用安装的感知系统传感器实时收集数据,实时感知周围环境,对动静态物体进行识别和检测。
2.2.1超声波雷达
(1)工作原理。超声波雷达通过超声波发射装置向外发出超声波,通过接收器接收到发送过来的超声波的间差来测算距离。
(2)优点。超声波雷达能量消耗较缓慢,在介质中传播的距离较远,频率低,穿透性较强,购置成本低,测距的方法简单,角度测量能力最优。
(3)缺点。超声波的传播速度很容易受天气情况的影响,在不同天气情况下,超声波的传输速度不同,而且传播速度较慢,当卡车高速行驶时,使用超声波测距无法跟上卡车的车距实时变化,误差较大;超声波散射角大,方向性较差,在测量较远距离的目标时,其回波信号会比较弱,影响测量精度;测量物体距离、卡车运行速度对其测量精度影响较大;很难获取目标速度信息。
(4)用途。主要用于卡车装载倒车入位、卸载倒车入位及起停车时的安全辅助,能有效帮助驾驶员解决倒车入位、起停车时存在的视野盲区。
2.2.2毫米波雷达
(1)工作原理。毫米波雷达通过天线辐射,在毫米波波段(24GHz、77GHz或79GHz)通过电磁波实现目标有无检测、检测相对距离、检测相对速度以及检测目标方位。
(2)优点。同厘米波导引头相比,毫米波引头具有体积小、质量轻和空间分辨率高的特点;与红外、激光、电视等光学导引头相比,毫米波导引头穿透雾、烟、灰尘的能力强,具有全天候(大雨天除外)和全天时的特点。
(3)缺点。探测距离受到频段损耗的直接制约(想要探测的远,就必须使用高频段雷达),对周边所有障碍物无法进行精准的建模。
(4)用途。长距毫米波雷达多用于自动巡航系统,针对前方物体与卡车的相对距离与速度主动调整自身的车速,保证在安全车距范围内。中距离毫米波雷达多用于防碰撞系统,可以快速准确无模糊地获取车身周围的物体信息,一般在卡车前后均会安装防碰撞雷达。
2.2.3激光雷达
(2)优点。激光雷达体积小、质量轻。激光雷达可以获得极高的角度、距离和速度分辨率。自然界中能对激光雷达起干扰作用的信号源不多,因此激光雷达抗有源干扰的能力较强。激光雷达只有对被照射的目标才会产生反射,完全不存在地物回波的影响,因此可以“零高度”工作。
(3)缺点。激光雷达工作时受天气和大气影响较大,在坏天气中激光的衰减是晴天的6倍,大气环流还会使激光束发生畸变、抖动,直接影响激光雷达的测量精度。激光雷达的波束极窄,在空间搜索目标非常困难,直接影响对非合作目标的截获概率和探测概率,只能在较小的范围内搜索、捕获目标。激光雷达对目标信息的获取依赖于稀疏的激光雷达点,在采集的过程中会损失目标的轮廓和纹理等信息,无法实现多目标探测。
2.2.44D光场智能感知系统
(1)工作原理。光场用来描述空间中的若干条矢量光线,每条矢量光线包含光强、颜色以及方向等信息。4D光场智能感知系统可以通过特殊的光学设计和算法,采集和还原4D光场信息。这些4D信息能够进一步解析成为普通的2D视觉图像和3D点云信息,从而既可对区域内的目标进行高效的识别和分类,也能够获取目标的距离、高度、结构信息,从而计算目标的运动方向、速度、姿态等信息。
(2)优点。能够同步采集和结算设备三维位置和色彩信息,同时具备激光雷达+视觉传感器的能力。在低光及影像高速移动的情况下,仍能准确获取目标场景数据。二三维数据一体化采集,无需进行数据的融合,无匹配误差,提升了数据获取速度和可靠性,降低了成本。结合AI算法对场景进行的识别和分割的能力,远超普通视觉传感器。三维数据具备超高密度,与激光雷达相比具备数量级上的提升。设备间相互无干扰,恶劣天气适应性强,受雨雪雾粉尘等影响低,在矿业环境下适应能力强。
(3)缺点。光学采集设备在绝对遮挡的情况下,无法像毫米波雷达一样穿透目标。
(4)用途。直接获取彩色点云数据,能够高速、有效、完整地获取场景信息,能够对车道线、交通标志、障碍物、行人、车灯、绿化带等环境进行更大范围、更精准的识别和分类,可为无人驾驶提供更完整的决策信息。能够判断周围运动物体的速度、方向、姿态、加速情况等,为应急、避障、实时规划等提供更有力的保障。
2.2.5红外传感器
(3)缺点。径向运动测量能力差,易受环境温度等影响,距离和速度测量信息基本不可用。
(4)用途。能够识别视觉传感器、雷达等无法识别的物体。
2.2.6视觉传感器
(1)工作原理。通过摄像头从一整幅图像捕获光线的百万级像素。
(2)优点。能够获取目标的类别以及图像中的位置,识别道路目标具有高度的灵活性,可识别不同物体。
(3)缺点。对目标在现实世界中的位置估计不精确,受光线干扰较大,无法准确获取速度和距离信息。
(4)用途。应用于识别车道线、交通标识、障碍物、行人。
2.3.1惯性导航系统
(2)优点。由于惯性导航系统是不依赖于任何外部信息、也不向外部辐射能量的自主式系统,因此隐蔽性好,也不受外界电磁干扰的影响;可全天候、全时段工作于空中、地球表面乃至水下;能提供位置、速度、航向和姿态角数据,所产生的导航信息连续性好而且噪声低;数据更新率高、短期精度和稳定性好。
2.3.2GNSS差分定位技术
GNSS系统主要由导航卫星、地面监控检测站以及GNSS卫星接收机组成。GNSS系统具有全天候、全方位、抗干扰能力强、简便易行以及实时连续不间断等特点,民用导航定位系统精度一般可达10m以内,GNSS差分定位[6]技术可实时改正定位误差,其定位精度达厘米级,从而为矿用自卸卡车无人驾驶系统安全运行提供有力保障。
2.3.3车联网定位技术
2.3.4电子地图定位技术
基于电子地图匹配的矿用卡车定位就是通过获取矿用卡车不同源位置参数基础上,利用软件技术将矿用自卸卡车与数字地图中的信息对应起来,从而确定矿用自卸卡车位置的定位方法。使用电子地图匹配技术需要具有高精度位置坐标的数字地图,且被测矿用自卸卡车正在此道路信息网中行驶,通过定位信息与数字化地图所提供的道路信息进行比较,使用最优匹配方式来确定[11]。
2.4.1基于图搜索的路径规划技术
基于图搜索的路径规划算法的基本思想是将状态空间通过确定的方式离散成搜索图,并用各种启发式搜索算法计算其可行解。Dijkstra[12]算法是一种经典的最短路径搜索算法,但其广度优先的性质会导致搜索太多无关节点。因此,在此基础上又对算法进行了改进,提出了A*算法[13]、ARA*算法[14]、HMA*算法[15]、DMHA*算法[16]等自适应能力更强的算法。
2.4.2基于采样的路径规划算法
与基于搜索的路径规划算法不同,基于采样的路径规划算法通过均匀随机采样的方法来探索高维状态空间的连通性。此类算法的最大特点有两个:一是无需对状态空间的自由区域进行建模;二是由于其随机采样的特点,搜索速度快、规划效率高,缺陷在于不能处理非完整约束动力学问题。典型的基于随机采样的算法是RRT算法[17],该算法不要求状态之间精确连接,适合解决无人驾驶车辆在复杂环境下的路径规划问题。
2.4.3智能优化算法
随着对各个交叉学科的研究,各类智能优化算法也被引入到路径规划领域,通过模拟自然界生物行为规律实现优化的目的,智能优化算法具有自学习、自决定功能。近年来,典型的智能优化算法包括蚁群算法(AntColonyOptimization,ACO)[18]、触须算法(TentacleAlgorithm,TA)[19]和智能水滴算法(IntelligentWaterDrops,IWD)[20]。
2.4.4基于强化学习的算法
强化学习[21]指无人驾驶车辆利用自身传感器不断与环境相互作用来获取未知环境的知识。强化学习的优势在于通过和环境交互试错进行在线学习,在行动和评价的环境中获得知识,对行动方案进行改进适应环境,以获得最优动作。常用的强化学习算法有瞬时差分法、Sarsa算法和Q-learning算法[22]。其中Q-learning算法是最有效的与环境模型无关的算法,具有在线学习的特点。
2.5.1横向决策模型
2.5.2纵向决策模型
部分可观测马尔科夫过程(POMDP)[24]将其他车辆的驾驶意图作为隐藏变量,建立贝叶斯概率模型,可求解出自车在规划路径上的最优加速度。在复杂交叉路口的仿真测试下,能够较好地根据其他车辆的驾驶行为调整自车的最优加速度,保证安全性与行车效率,从而控制矿用卡车按照期望的速度行驶,即控制油门的开度和制动踏板的制动量,根据轮速传感器反馈以及惯导的当前车速信息,完成矿用卡车行驶速度的闭环控制。
一方面,激光雷达、超声波雷达、毫米波雷达等主动式传感器通过处理自身发出和返回的时变信号感知环境,从而获取被检测目标的速度、位置等信息,目前在矿用卡车防碰撞系统中占主导地位,但该类传感器受车与车之间同类传感器的干扰,同时污染环境;另一方面,以视觉传感器为代表的被动传感器由于硬件成本降低,在矿用卡车无人驾驶环境感知系统中应用越来越广泛,多用于识别矿用卡车运输道路挡墙、路面撒料、坑凹等。但在矿山夜间或煤尘较大时容易失效。此外,红外传感器能够获取被动传感器、其他主动传感器不能识别的物体信息。因此,基于单一传感器的目标检测算法有各种各样的弊端,将多传感器高度融合,传感器之间取长补短,将是露天矿用卡车实现全天候环境感知的发展方向。可以将多个传感器获取的信息投影到同一个坐标系下,对同一个目标,将不同传感器获取的信息进行求并集,从而提高目标检测的精度,提高露天矿山卡车无人驾驶的安全性。
随着技术水平的发展及安全生产的需求,目前在露天矿山卡车运输中,使用单一定位技术无论是从定位精度还是从安全生产角度来讲,都无法满足对行驶在矿山道路中的矿用无人驾驶卡车精确定位。多定位技术融合就是使用惯性导航定位技术、GNSS定位技术、地图定位技术、V2V定位技术等多种定位方法组合起来的多元定位系统,利用各定位技术的优点,对多源定位信息进行计算确定无人驾驶卡车定位信息最优估计量,在提高无人驾驶卡车定位精度的同时,增强定位系统的抗干扰和防故障能力,保证定位系统安全稳定运行。因此,多定位技术融合是露天无人驾驶卡车定位方式的必然选择。
基于图搜索的路径规划算法、基于采样的路径规划算法和智能优化算法以及基于强化学习的算法在一定程度上都可实现无人驾驶车辆的路径规划,但每种算法都有其优点及局限性。难以采用单一算法实现动态环境下精准、安全可靠的路径规划。故结合多种算法,产生更加高效的优化算法是该领域研究的重点。在无人驾驶车辆路径规划技术的研究中,确定起始位置的点到点的路径规划以及已知环境下障碍物的路径规划问题的研究都已较为成熟,未知环境下有障碍物的路径规划也取得重大进展,但在每个具体规划算法中还存在一些不足,所以路径规划领域的重点依然是混合路径规划算法的研究。
一般的单一决策模型总是无法兼顾准确度与适用度,在某一方面好则会在另一方面较差,因此可以采用横向控制的有限状态机与纵向控制的部分可观测马尔科夫过程模型来组成复合决策模型。这样,通过复合的决策模型而非单一的决策模型,可以更好的兼顾模型的准确程度与使用程度。因此,复合决策模型是露天无人驾驶卡车定位方式的必然选择。
目前,国内矿用卡车无人驾驶技术主要是将公路无人驾驶技术应用到露天卡车上,研发团队不熟悉矿山工作环境以及现场管理经验。露天煤矿矿用自卸卡车标准作业流程是国家能源集团露天矿山生产作业系统多年工作经验的沉淀,是对卡车司机各种作业环境及操作动作的总结提炼。因此,将现有的无人驾驶各种技术算法与露天矿山标准作业流程有机融合是实现卡车无人驾驶的必由之路。
5G技术最显著的特点是高速率、低时延、大容量,5G超高速网络能实现无人卡车大量数据实时传输,5G毫秒级超低时延是无人驾驶决策执行系统安全运行的保证,5G稳定网络连接能根据优先级分配网络,帮助无人卡车高效收集、处理信息,高效做出决策,提升无人卡车安全性。因此,无人驾驶卡车应用5G技术是露天安全生产的关键和核心,是无人驾驶的必备技术。
随着计算机视觉技术、电子技术、人工智能、互联网+等学科快速发展,两化融合战略以及公路运输无人驾驶技术的不断推进,露天矿山卡车已安装应用了毫米波雷达防碰撞系统、车辆超速管理系统、卡车防碰撞预警系统、驾驶员防疲劳预警系统、驾驶员行为及周边环境视频监控系统、GPS卡车调度系统、车载对讲系统、倒车影像等辅助驾驶技术,加之精细化感知、多源数据融合、5G等国家互联网和两化融合战略的关键技术升级,露天矿山道路运输环境下的矿用卡车无人驾驶技术必将早日实现。
参考文献:
[1]陈慧岩,熊光明,龚建伟等.无人驾驶汽车概论[M].北京:北京理工大学出版社,2014.
[2]赵阳.无人驾驶汽车关键技术[J].中国科技博览,2011(26):272.
[3]沈垣.智能车辆视觉环境感知技术的研究[D].南京:南京航空航天大学,2010.
[4]陈晓伟.汽车前方车辆识别的雷达和视觉信息融合算法开发[D].吉林:吉林大学,2016.
[5]ArakiH,YamadaK,HimshimaY,etal.Development0frear-endcollisionavoidancesystem[C].IntelligentVehiclessymposiumProceedingsIEEE,2002:224-229.
[6]丁震.露天煤矿边坡实时监测技术应用对比分析[J].煤炭科学技术,2017(S1):189-192.
[7]VehicularAdhocNetwork,Vanettoory,MuhlethalerP,etal.VehicleAdHocnetworks:applicationsandrelatedtechnicalissues[J].IEEECommunicationsSurveys&Tutorials,2008,10(3):74-88.
[8]王建强,吴辰文,李晓军.车联网架构与关键技术研究[J].微计算机信息,2011,27(4):156-158.
[9]JiangD,DelgrossiL.IEEE802.11p:Towardsaninternationalstandardforwirelessaccessinvehicularenvironments[C]//Proceedingsofthe67thIEEEVehicularTechnologyConference(VTCSpring2008).Singapore:IEEE,2008:2036-2040.
[10]StanicaR,ChaputE,BeylotAL.PropertiesoftheMAClayerinsafetyvehicularAdHocnetworks[J].IEEECommunicationsMagazine,2012,50(5):192-200.
[11]李睿.基于多传感器信息融合的铁路信号试验车综合定位系统研究[D].北京:北京交通大学,2006.
[12]DijkstraEW.Anoteontwoproblemsinconnexionwithgraphs[J].NumerischeMathematik,1959,1(1):269-271.
[13]HartPE,NilssonNJ,PaphaelB.AFormalbasisfortheheuristicdeterminationofminimumcostpaths[J].AcmSigartBulletin,1972,4(37):28-29.
[14]赵鑫,胡广地.平滑ARA*算法在智能车辆路径规划的应用[J].机械科学与技术,2017,36(8):1272-1275.
[15]WagnerG,ChosetH.M*:Acompletemulti-robotpathplanningalgorithmwithoptimalitybounds[J].RedundancyinRobotManipulatorsandMulti-RobotSystems,2011,57(1):3260-3267.
[16]IslamF,NarayananV,LikhachevM.Dynamicmulti-heuristicA*[C].IEEEInternationalConferenceonRoboticsandAutomation,2015:2376-2382.
[17]LavalleSM,KuffnerJJJ.Randomizedkino-dynamicplanning[J].InternationalJournalofRobotic&Research,1999,15(5):378-400.
[18]DorigoM,ManiezzoV,ColorniA.Antsystem:Optimizationbyacolonyofcooperatingagents[J].IEEETransactiononSystemsMan&CyberneticsPartBCyberneticsAPublicationoftheIEEESystemsMan&CyberneticsSociety,1996,26(1):29.
[19]Bbonnafousd,LacroixS,SimeIonT.Motiongenerationforaroveronroughterrains[C].IEEE/rsjInternationalConferenceonIntelligentRobotsandSystems,2001:784-789.
[20]Shan-hosseiniH.Theintelligentwaterdropsalgorithm:anature-inspiredswarm-basedoptimizationalgorithm[J].InternationalJournalofBio-InspiredComputation,2009,1(2):71-79.
[21]BartoAG.Reinforcementlearning[J].ABradfordBook,1998,15(7):665-685.
[22]ArnoldB.Reinforcementleaning:Anintroduction(adaptivecomputationandmachinelearning)[J].IEEETransactionsonNeuralNetworks,1998,9(5):1054.
[23]GuT,AtwoodJ,DongC,etal.Tunableandstablereal-timetrajectoryplanningforurbanautonomousdriving[C].IEEE/RSJInternationalConferenceonIntelligentRobotsandSystems.2015:250-256.
[24]ThrunS.Probabilisticrobotics[J].CommunicationsoftheACM,2002,45(3):52-57.
DingZhen1,2,MengFeng1,2
(1.CoalIndustryCenter,ChinaEnergyInvestmentGroup,Dongcheng,Beijing100011,China;2.CoalIndustryCenter,ChinaShenhuaEnergyCo.,Ltd.,DongchengBeijing100011,China)
KeywordsOpenpitmine,unmannedminetruck,unmanneddriving,4Dlightfield,environmentalperception,navigation&positioning
中图分类号TD67
文献标识码A
引用格式:丁震,孟峰.矿用无人卡车国内外研究现状及关键技术[J].中国煤炭,2020,46(2):42-49.
DingZhen,MengFeng.Domesticandoverseasresearchstatusandkeytechnologiesofunmannedminetrucks[J].ChinaCoal,2020,46(2):42-49.
作者简介:丁震(1980-),男,山西万荣人,高级工程师,现就职于国家能源集团煤炭产业中心,主要从事煤矿机电技术研究及管理工作。E-mail:zhen.ding@chnenergy.com.cn。