汽车电子激光雷达和相机的自动在线外参标定技术汽车电子

传统的手动校准方法需要专门设计对象,如标定板或手动选择点,这导致校准过程繁琐。

本文主要贡献:

提出了一种点云线提取方法,利用点云处理方法过滤噪声数据,准确提取线特征。

引入自适应优化方法和结果置信度估计方法,实现了向正确方向优化和高效计算标定结果。

提出的方法分为三个步骤:

在图像和点云的特征提取之前进行一系列的预处理

从图像和点云中提取线特征,通过特征滤波进行细化

最后,通过对初始外部参数添加小扰动,将点云线特征投影到像素帧上,并对每个扰动的得分进行计算和优化

本文的算法框架如下:

3算法框架

3.1问题表述

激光雷达与相机的外参标定问题在于确定两者之间正确的变换矩阵。将问题定义为求旋转角向量θ=(θx;θy;θz),平移向量t=(tx,ty,tz);点云记为,图像记为,表示点I和像素ij在第t帧的值。通过将LiDAR点投影到图像上计算成本分数,目标函数定义为:

其中每个LiDAR点分别迭代水平特征和垂直特征。系数α对水平和垂直线特征赋予不同的权重。本文将α赋值为0.65,以增强对水平误差的约束。另外,w是滑动窗口的大小。考虑之前的w帧,计算第t帧的分数。

3.2图像处理

在图像处理中,首先将RGB图像转换为灰度图像;然后通过[1]中的线特征提取算法进行线特征提取;然后对灰度图像进行距离变换。

下图展示了这个过程。

图(b)中的白色边缘和图(c)中的白色线条分别代表聚类的边缘特征和线特征。如图(b)所示,应用距离变换模型后,聚类后的边缘特征更加无序。相反,图(c)中的线特征组织得更好,产生的灰度变化更小。它可以允许更大的搜索步长,从而防止优化过程进入局部解决方案。

3.3雷达处理

在激光雷达处理中,其原理是利用距离不连续性来获得更多的边线特征。为了实现这一目标,采用局部映射的方法,将三帧点云合并为一帧,使一帧能呈现更多的点。具体来说,利用NDT方法计算当前帧和前两帧之间的变换矩阵。

在单帧和三合一帧中提取的边界线点对比如下图所示。图(a)显示了通过将三帧点云转换为一帧点云得到的更密集的点云,与图(b)中的另一帧点云相比,可以显示更多的点。这可以提高提取性能,特别是在应用低光束激光雷达时。

3.4特征过滤

在上面的处理之后,得到了无序的线特征。下面采用两步过滤方法来消除异常值。

第一步:由于点云已经转换成图像形式,因此设计了一个卷积核来过滤掉距离所有八个相邻点超过一定阈值的点。这种过滤方法可以去除所有的异常点以及与地面对应的点。剩余的特征可以被识别为线特征。

过滤前后的线特征如下图所示。

第二步:使用聚类算法去除相邻点很少的线特征,剔除短于8像素的线特征。

以上两个过滤步骤可以提供更有条理的点云线特征,保证后续步骤的优化效果更好

3.5自适应优化

在优化之前,已经将LiDAR线特征提取到图像上,并计算投影到灰色区域的LiDAR点的比例。

为了准确地找到解,采用了两个搜索步骤。

首先,为了防止搜索陷入局部解,采用图像线特征宽、灰度变化小、步长相对较大的粗糙搜索,可以快速发现可能包含最佳解的区域。

然后,应用更细的图像线特征和更大的灰度变化,以及更小的步长,以获得更精确的校准结果。

当激光雷达点投射到灰色区域的比例超过一定阈值时,就会发生这两步大小和灰度变化之间的切换。

为了提高计算效率,提出了一种自适应优化方法,使优化向着正确的方向进行。

将当前像素得分与相邻的728个得分进行比较。在此过程中,如果搜索程序发现得分较高的参数,则停止当前搜索过程,并在得分较高的位置开始新的搜索过程。此外,当达到设定的迭代次数或找到最佳分数时,该搜索过程将停止,从而可以提高计算效率。另外,还使用滑动窗口来设置优化过程中需要考虑的帧。在本文中,为了防止从错误的方向进行优化搜索或陷入局部最优解,使用了三帧。因此,最终优化的外部参数应该在滑动窗口的所有帧中都超过其他参数。

4实验与结果

在KITTI数据集的不同场景下进行了两次实验。

4.1精度分析

图(a)和(b)给出了实验一的结果,图(c)和(d)给出了实验二的结果。在这两个实验中,在X、Y、Z轴上增加了1度的旋转偏置,并对地面真值参数增加了0.05米的变换偏置。然后,每10帧添加0.5度的旋转偏差。需要指出的是,1度旋转偏置是正还是负是随机的。实验将标定误差与地面真实值进行了比较。此外,还测试了检测误校准的能力和纠正偏差的速度。

在不计算人为误差的情况下,横摇、俯仰、偏航的最大误差始终在0.5度以内。由于激光雷达具有较高的水平分辨率,偏航的校准结果最为精确。尽管激光雷达在垂直方向上的分辨率要低得多,并且该方向上的3D特征呈现频率较低,但由于采用了自适应优化算法,并且该方向的权重较高,因此所提出方法仍然可以达到较高的精度。总体而言,在所有维度上的平均旋转误差为0.12度,低于大多数离线校准技术。

4.2纠错速度分析

5总结

本文提出了一种在线自动标定激光雷达和相机外部参数的方法。与以前的自动化方法不同,这种新的校准方法不需要在场景中放置标记。作者证明了点云和图像的线特征是校正校准偏差的鲁棒特征。人为添加的偏置可以在一到两帧内得到纠正,比其他方法更快。此外,文中还说明了当前校准结果的置信度可以计算,并进一步用于提高计算效率和精度。

未来的工作希望评估提取的线特征的准确性,以减少特征较少的场景中的校准偏差。利用蒙特卡罗方法可以提供初始参数。

THE END
1.针对稀疏激光雷达扫描点云的快速稳健法线估计激光雷达(LiDAR)技术已被证明是许多机器人系统的重要组成部分,从LiDAR数据估计表面法线通常用于这些系统中的各种任务。由于当前的大多数机械LiDAR传感器生成稀疏数据,从单次扫描点云中稳健地估计法线存在困难。本文解决了从稀疏LiDAR数据中估计法线的问题,避免了在高曲率区域平滑法线的典型问题,机械LiDAR通过旋转一组刚性安装https://zhuanlan.zhihu.com/p/710050575
2.激光雷达点云处理详解:从预处理到3D目标检测随着激光雷达的上车数量的不断攀升,如何用好激光雷达成为了重中之重,而用好激光雷达的关键点之一就在于处理好点云数据。 激光点云指的是由三维激光雷达设备扫描得到的空间点的数据集,每一个点云都包含了三维坐标(XYZ)和激光反射强度(Intensity),其中强度信息会与目标物表面材质与粗糙度、激光入射角度、激光波长以及https://blog.csdn.net/xhtchina/article/details/129215458
3.千里眼”&“火眼金睛”?多激光雷达外参自动标定立大功!多激光外参标定是个啥? 多激光雷达外参标定的核心在于调整雷达坐标系的位姿变换来实现点云匹配,一般选择顶置的激光雷达作为基准雷达,将其他雷达的点云与基准雷达的点云拟合到一起完成标定。根据标定方式的不同可以将多激光雷达外参标定分为手动标定和自动标定,其中自动标定又分为离线标定和在线标定。 https://maimai.cn/article/detail?fid=1755850761&efid=8q92_gkwNGxkaDhTsD3AFQ
4.激光雷达与相机融合标定技术研究进展红外与激光工程单传感器存在采集数据信息不完整的缺点,比如激光雷达缺乏纹理色彩信息,相机缺乏深度信息。激光雷达和相机数据融合可实现传感器之间信息互补,感知空间精准的彩色三维数据,被广泛应用于自动驾驶、移动机器人等领域。针对现阶段激光雷达和相机外参标定文献多、杂、乱等问题,文中系统地梳理了校准流程和归纳了校准方法。首先介绍了https://www.opticsjournal.net/Articles/OJ3a20b649fc9e5f7a/FullText
5.激光雷达距离标定(激光雷达在线标定)3、单激光雷达离线外参标定是将激光雷达的几何和传感器参数与相机的参数矩阵进行标定,以便将激光点对应到RGB三维空间中的像素位置,从而实现深度信息的可视化。首先需要收集激光雷达与相机的标定数据,包括激光雷达点云数据和 4、我现在是给大卡车上的相机和激光雷达做联合标定,2个设备的距离有1米以上这估计是位移标定的http://ltlidar.51sole.com/companynewsdetail_260589872.htm
6.基于目标的激光雷达与相机外参标定方法汇总基于目标的激光雷达与相机外参标定方法汇总 对于自动驾驶、机器人技术、导航系统和三维场景重建等应用,通常使用激光雷达和相机传感器捕获同一场景的数据。为了准确地重建场景中的对象,有必要将激光雷达和相机输出融合在一起,激光雷达相机外参估计出刚性变换矩阵,旋转+平移、6自由度,该矩阵建立三维激光雷达平面中的点与图像https://cloud.tencent.com/developer/article/1909218
7.二维激光雷达与相机数据融合标定鉴于单线激光雷达扫描线的有限性和相机标定所需数据量大,加之外参标定任务复杂、耗时[18],根据相机与激光雷达传感器自身特点,设计1种特殊的标靶,在相机采集图像的过程中同时采集激光雷达的点云数据,快速得到单个传感器的参数;在此基础上,提出1种基于特征点的融合标定方法,通过激光雷达和相机之间的数据融合实现外参标定,https://xuebaozk.ahut.edu.cn/cn/article/doi/10.12415/j.issn.1671-7872.24039?viewType=HTML
8.论文阅读激光雷达与相机融合标定技术研究进展(综述)title: 激光雷达与相机融合标定技术研究进展 date: 2023-09-07 14:17:46 tags: 论文精读 综述 作者 王世强,孟召宗,高楠,张宗华* 单位 河北工业大学 关键词 传感器表达、激光雷达、点云处理、相机标定、数据融合 期刊/会议 红外与激光工程 关键词 2023 摘要https://www.cnblogs.com/chesstime/articles/17687694.html
9.智能驾驶之激光雷达算法详解在标定算法部分(第3章和第4章),介绍了有代表性的激光雷达与车体的外参标定算法以及激光雷达和相机间的外参标定算法,涵盖了基于标定物、无标定物、离线标定和在线标定等多种标定模式。 在感知算法部分(第5章和第6章、第8~10章),介绍了基于激光雷达进行地面检测、障碍物聚类、目标检测、多目标跟踪、路沿检测的代https://labs.epubit.com/bookDetails?id=UB88a85966888f8
10.福建船政交通职业学院汽车学院智能网联汽车实训中心——智能网联9.2投标人应在投标截止时间前按照福建省政府采购网上公开信息系统设定的操作流程将电子投标文件上传至福建省政府采购网上公开信息系统,同时将投标人的CA证书连同密封的纸质投标文件送达招标文件第一章第10条载明的地点,否则投标将被拒绝。 10、开标时间及地点:详见招标公告或更正公告(若有),若不一致,以更正公告(若有)http://www.ccgp-fujian.gov.cn/upload/document/20210929/269d538f0edc400db3823794cdf6087c.html