3D激光雷达和相机融合

标定

相机内参标定

主要看重投影误差，cv的标定识别率也太低了。。。原因是找到了，相机给的曝光时间5ms,增大曝光时间成功率大大提升，但曝光时间给打了，影响实时性，头疼。。

livox_lidar_camera_calibration外参标定

主要是3D-2D的标定

采集标定数据

参照以下采集标定数据和处理标定数据，pcd角点选取和图像角点选取：

https://zhaohailong.blog.csdn.net/article/details/125736088pm=1001.2014.3001.5502

遇到livox_lidar_camera_calibration无法批处理转pcd：

原因查出来是src/pcdTransfer.cpp 60多行不正常，无法运行这个for循环，读不到数据存出来的数据为空，可能是ubuntu20+ros melodic不好使

最后通过livox_camera_calib里的包使用bag_to_pcd.launch一个个转的，非常不友好。

uptdate:

最后发现是因为rosbag::TypeQuery输入的是数据类型，而不是话题名。。。

题外话：我使用360度的激光雷达，使用livox_camera_calib这个包会有视角问题（投影三维点到相机），效果不好，果断放弃，还是通过标定板来操作。

遇到livox_lidar_camera_calibration的第二个坑就是src/corner_photo.cpp，看代码是要手动标注选去畸变后的图片像素，但是相片太大，通过resizeWindow或者nameWindow都无法缩小显示对话框，不知道是不是ubuntu 20还是cv4.2版本，是真坑。。。最后在代码里把去畸变后的图片保存下来，放到windows上使用[画图]软件一个像素一个像素描，真心尼吗的坑。。。

遇到 livox_lidar_camera_calibration第三个坑是要求一行大于10，因为我是手动量的图片像素，一行不够10个，所以最后在图片像素加上小数点后几位即可。

标定

getExt1.launch

计算结果

标定精度对比

livox_camera_calib

据说要采集多个场景比较好，我在室内采集多个场景，效果比较差，室外没法供电，暂时没测；

推荐用楼梯间这种，可是没有楼梯间。。。

livox_lidar_camera_calibration

误差：2个像素，我自己测出来外参重投影误差3-4个像素，上色结果比较差

livox_lidar_camera_calibration学习–标定外参求解_qq_38650944的博客-CSDN博客

Autoware

我是在尝试livox_lidar_camera_calibration和livox_camera_calib两个标定包后，再使用autoware标定包，使用比之前好很多，精度也高不少，有人给出精度是1cm，我的标定数据如下：

 附上我改写的开发包和标定中遇到的一些问题和解决办法：

传送门：autoware标定包使用_妄想出头的工业炼药师的博客-CSDN博客

lidar_camera_calibration

还不知道精度怎么样，gitlab打星比较多

3D雷达与相机的标定方法详细教程_敢敢のwings的博客-CSDN博客_标定找相机yaw pitch roll

比较自动的标定流程

附录

比较全的标定汇总：

雷达与相机的时空标定工具 – 知乎

静态上色

https://zhaohailong.blog.csdn.net/article/details/125737021pm=1001.2014.3001.5502

动态上色

GitHub – johannes-graeter/limo: Lidar-Monocular Visual Odometry

使用标定直接使用最新图片着色

Livox Lidar+海康Camera实时生成彩色点云_lucky li的博客-CSDN博客

文章知识点与官方知识档案匹配，可进一步学习相关知识Python入门技能树人工智能机器学习工具包Scikit-learn212702 人正在系统学习中

来源：妄想出头的工业炼药师