博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
SLAM学习 | 单目相机标定(附代码实测可用)
阅读量:2054 次
发布时间:2019-04-28

本文共 6497 字,大约阅读时间需要 21 分钟。

SLAM学习 | 单目相机标定(附代码实测可用)

概要:
这篇文章介绍如何解决做SLAM过程中遇到的相机标定问题。关于针孔相机模型及其畸变的问题,高博在其《视觉SLAM十四讲》第五章中有详细的介绍。书中提到的相机内部参数包括内参矩阵和畸变系数,其中内参矩阵有4个待定参数,畸变分为径向畸变和切向畸变,径向畸变用k表示,一般用2-3个即可,切向畸变用p表示,一般用2个表示,相机标定的目的就是为了估计这些参数。本文使用张正友标定法进行相机标定,并进行相关实验。
关键字:
单目相机; 张正友标定法
 

1 针孔相机模型

   针孔相机模型在《视觉SLAM十四讲》中有详细介绍,我在这里不打算再赘述,这里只介绍其中最关键的一张图:

图1 针孔相机模型

 

   相机在成像过程中涉及四种坐标系,分别是:世界坐标系、相机坐标系、归一化成像平面坐标系和像素坐标系。这其中的相机坐标系和归一化成像平面坐标系的XYZ三轴方向已经在图1中给出,相机坐标系的三轴方向是:

X、Y、Z三轴分别指向相机右侧、下侧和沿着光轴指向正前方

   尤其需要注意的是,ORB-SLAM2中的相机坐标也是按照图1给出的,相机校正过程中计算得到的内参矩阵也是在这一坐标系下得出的。

2 张正友标定法

   在SLAM领域,绝大部分情况下都是用的张正友标定法来做相机标定。“张正友标定”是指张正友教授1998年提出的单平面棋盘格的摄像机标定方法。文中提出的方法介于传统标定法和自标定法之间,但克服了传统标定法需要的高精度标定物的缺点,而仅需使用一个打印出来的棋盘格就可以。同时也相对于自标定而言,提高了精度,便于操作。因此张氏标定法被广泛应用于计算机视觉方面。

   文章引用如下:

  

   网上有很多实现张正友标定法的公开代码,这里选用其中用C++实现的一种,实测可以使用。记录如下:

#include "opencv2/core/core.hpp"#include "opencv2/imgproc/imgproc.hpp"#include "opencv2/calib3d/calib3d.hpp"#include "opencv2/highgui/highgui.hpp"#include 
#include
using namespace cv;using namespace std;void main(){
ifstream fin("calibration_MI9_image.txt"); /* 标定所用图像文件的路径 */ ofstream fout("calibration_MI9_result.txt"); /* 保存标定结果的文件 */ //读取每一幅图像,从中提取出角点,然后对角点进行亚像素精确化 cout << "开始提取角点………………"<
image_points_buf; /* 缓存每幅图像上检测到的角点 */ vector
> image_points_seq; /* 保存检测到的所有角点 */ string filename; //int count = -1;//用于存储角点个数。 while (getline(fin, filename)) {
image_count++; // 用于观察检验输出 cout << "image_count = " << image_count << ", and image_name = " << filename << endl; /* 输出检验*/ //cout << "-->count = " << count << endl; Mat imageInput = imread(filename); if (image_count == 1) //读入第一张图片时获取图像宽高信息 {
image_size.width = imageInput.cols; image_size.height = imageInput.rows; cout << "image_size.width = " << image_size.width << endl; cout << "image_size.height = " << image_size.height << endl; } /* 提取角点 */ if (0 == findChessboardCorners(imageInput, board_size, image_points_buf)) {
cout << "can not find chessboard corners!\n"; //找不到角点 exit(1); } else {
Mat view_gray; cvtColor(imageInput, view_gray, CV_RGB2GRAY); /* 亚像素精确化 */ find4QuadCornerSubpix(view_gray, image_points_buf, Size(5, 5)); //对粗提取的角点进行精确化 image_points_seq.push_back(image_points_buf); //保存亚像素角点 /* 在图像上显示角点位置 */ drawChessboardCorners(view_gray, board_size, image_points_buf, true); //用于在图片中标记角点 imshow("Camera Calibration", view_gray);//显示图片 waitKey(500);//暂停0.5S } } int total = image_points_seq.size(); cout << "total = " << total << endl; int CornerNum = board_size.width*board_size.height; //每张图片上总的角点数 for (int ii = 0; ii
第 " << j << "图片的数据 --> : " << endl; } if (0 == ii % 3) // 此判断语句,格式化输出,便于控制台查看 { cout << endl; } else { cout.width(10); } //输出所有的角点 cout << " -->" << image_points_seq[ii][0].x; cout << " -->" << image_points_seq[ii][0].y; } cout << "角点提取完成!\n"; //以下是摄像机标定 cout << "开始标定………………"; /*棋盘三维信息*/ Size square_size = Size(10, 10); /* 实际测量得到的标定板上每个棋盘格的大小 */ vector
> object_points; /* 保存标定板上角点的三维坐标 */ /*内外参数*/ Mat cameraMatrix = Mat(3, 3, CV_32FC1, Scalar::all(0)); /* 摄像机内参数矩阵 */ vector
point_counts; // 每幅图像中角点的数量 Mat distCoeffs = Mat(1, 5, CV_32FC1, Scalar::all(0)); /* 摄像机的5个畸变系数:k1,k2,p1,p2,k3 */ vector
tvecsMat; /* 每幅图像的旋转向量 */ vector
rvecsMat; /* 每幅图像的平移向量 */ /* 初始化标定板上角点的三维坐标 */ int i, j, t; for (t = 0; t
tempPointSet; for (i = 0; i
image_points2; /* 保存重新计算得到的投影点 */ cout << "\t每幅图像的标定误差:\n"; fout << "每幅图像的标定误差:\n"; for (i = 0; i
tempPointSet = object_points[i]; /* 通过得到的摄像机内外参数,对空间的三维点进行重新投影计算,得到新的投影点 */ projectPoints(tempPointSet, rvecsMat[i], tvecsMat[i], cameraMatrix, distCoeffs, image_points2); /* 计算新的投影点和旧的投影点之间的误差*/ vector
tempImagePoint = image_points_seq[i]; Mat tempImagePointMat = Mat(1, tempImagePoint.size(), CV_32FC2); Mat image_points2Mat = Mat(1, image_points2.size(), CV_32FC2); for (int j = 0; j < tempImagePoint.size(); j++) { image_points2Mat.at
(0, j) = Vec2f(image_points2[j].x, image_points2[j].y); tempImagePointMat.at
(0, j) = Vec2f(tempImagePoint[j].x, tempImagePoint[j].y); } err = norm(image_points2Mat, tempImagePointMat, NORM_L2); total_err += err /= point_counts[i]; std::cout << "第" << i + 1 << "幅图像的平均误差:" << err << "像素" << endl; fout << "第" << i + 1 << "幅图像的平均误差:" << err << "像素" << endl; } std::cout << "总体平均误差:" << total_err / image_count << "像素" << endl; fout << "总体平均误差:" << total_err / image_count << "像素" << endl << endl; std::cout << "评价完成!" << endl; //保存定标结果 std::cout << "开始保存定标结果………………" << endl; Mat rotation_matrix = Mat(3, 3, CV_32FC1, Scalar::all(0)); /* 保存每幅图像的旋转矩阵 */ fout << "相机内参数矩阵:" << endl; fout << cameraMatrix << endl << endl; fout << "畸变系数:\n"; fout << distCoeffs << endl << endl << endl; for (int i = 0; i

   注意,上述代码中一般来说有3处需要根据自己的情况修改:

   1-main函数开头的一句话:

ifstream fin("calibration_MI9_image.txt"); /* 标定所用图像文件的路径 */

   中的calibration_MI9_image.txt是将拍摄黑白格得到的图像名按行排列在一个txt文件中,该文件名以及文件的内容都需要根据自己的实际内容修改。

   2-main函数开头的一句话:

ofstream fout("calibration_MI9_result.txt");  /* 保存标定结果的文件 */

   中的calibration_MI9_result.txt是相机校正的结果所存放在的一个txt文件中,该文件名需要根据自己的实际内容修改,文件内容由代码产生,无需用户处理。

   3-main函数开头的一句话:

Size board_size = Size(4, 6);    /* 标定板上每行、列的角点数 */     // 注意!这里得参数因图像而异

   其中的4和6分别是打印的黑白格点图中横竖角点的数目。例如在图2中,横竖角点的数目分别是4和6(只有两块黑色方格对角分布构成的才算角点),因此图2中一共有24个角点:

图2 黑白格点图中的角点

3 VS2013下配置openCV

   由于选用的相机标定代码是C++写的,因此选择在Windows系统下配置VS2013和openCV。关于Windows系统下配置VS2013和openCV的资料和博客网上非常多,就不再赘述了,这里就只记录几点我在配环境时踩过的坑。

   1-在往系统中添加环境变量时记得把64位和32位的都添加进去;

   2-在VS软件中需要配置的地方有:(1)属性-VC++目录-包含目录,(2)属性-VC++目录-库目录,(3)属性-链接器-输入-附加依赖项;
   3-保险起见,在配置“属性-链接器-输入-附加依赖项”时,最好不要把debug版本的lib和release版本的lib同时添加进去,因为在大多数情况下我们只会用到debug版本。即使要添加,也应该将所有的debug版本的lib和release版本的lib分开写,千万不能一个XXX.lib,一个XXXd.lib交替着写(根据我的经验,交替写会报出莫名其妙的错误);
   4-VS的版本和openCV中cv文件夹的版本是这样对应的:VS2010—vc10,VS2012—vc11,VS2013—vc12,不同的VS版本应该选用不同的vc文件夹;
   5-其他……想起来再说。

4 标定过程与结果

   首先,从不同角度拍摄黑白格点图,并依次命名,如图3所示:

图3 从不同角度拍摄黑白格点图并依次命名

 

   然后,将这些图片的名字集中到一个txt文件中,如图4所示:

图4 将这些图片的名字集中到一个txt文件中

 

   最后,就可以运行代码了。效果如图5和图6所示:

图5 对某一张拍摄图像的标记
图6 运行过程及结果命令行显示

 

   最终得到的结果可以在同路径下对应txt文件中查看,如图7所示:

图7 运行结果的txt文件部分内容

 

   从图7中可以看出,张正友标定法不仅可以得到相机的内参,包括内参矩阵和畸变系数,也就是图中红色方框标记出来的部分;还可以得到相机的外参,包括旋转矩阵和旋转向量,也就是图7中txt文件没有完全显示出来的下文。

   最后,得到相机的内参后,将其带入SLAM的配置文件,就可以进行后续的工作了。

5 经验总结与注意事项

   相机标定的过程虽然简单(事实上确实很简单,别人把代码都给出来了),但是我也是踩了不少坑(事实上我经常踩坑,就相机标定这个事儿也是别人5分钟我要弄上个两天才好)。因此在这里把遇到的一些坑和解决方案记录下来。

   1-VS2013下配置openCV时,一定要注意在配置“属性-链接器-输入-附加依赖项”时,debug版本的lib和release版本的lib不能交叉添加

   2-黑白格数量不要太多,形成4*6个交叉点是比较合适的;
   3-确保打印机墨盒存量足够,不要打出来的黑色格子不够黑;往板子上贴的之后要平整;
   4-拍摄时务必注意不要在格纸上有反光;
   5-拍摄角度要不同,但是也别过于倾斜,会造成算法识别不出来。

转载地址:http://yqclf.baihongyu.com/

你可能感兴趣的文章
Leetcode C++《热题 Hot 100-49》399.除法求值
查看>>
Leetcode C++《热题 Hot 100-51》152. 乘积最大子序列
查看>>
[Kick Start 2020] Round A 1.Allocation
查看>>
[Kick Start 2020] Round A 2.Plates
查看>>
Leetcode C++ 《第181场周赛-1》 5364. 按既定顺序创建目标数组
查看>>
Leetcode C++ 《第181场周赛-2》 1390. 四因数
查看>>
阿里云《云原生》公开课笔记 第一章 云原生启蒙
查看>>
阿里云《云原生》公开课笔记 第二章 容器基本概念
查看>>
阿里云《云原生》公开课笔记 第三章 kubernetes核心概念
查看>>
阿里云《云原生》公开课笔记 第四章 理解Pod和容器设计模式
查看>>
阿里云《云原生》公开课笔记 第五章 应用编排与管理
查看>>
阿里云《云原生》公开课笔记 第六章 应用编排与管理:Deployment
查看>>
阿里云《云原生》公开课笔记 第七章 应用编排与管理:Job和DaemonSet
查看>>
阿里云《云原生》公开课笔记 第八章 应用配置管理
查看>>
阿里云《云原生》公开课笔记 第九章 应用存储和持久化数据卷:核心知识
查看>>
linux系统 阿里云源
查看>>
国内外helm源记录
查看>>
牛客网题目1:最大数
查看>>
散落人间知识点记录one
查看>>
Leetcode C++ 随手刷 547.朋友圈
查看>>