本文共 6497 字,大约阅读时间需要 21 分钟。
针孔相机模型在《视觉SLAM十四讲》中有详细介绍,我在这里不打算再赘述,这里只介绍其中最关键的一张图:
相机在成像过程中涉及四种坐标系,分别是:世界坐标系、相机坐标系、归一化成像平面坐标系和像素坐标系。这其中的相机坐标系和归一化成像平面坐标系的XYZ三轴方向已经在图1中给出,相机坐标系的三轴方向是:
X、Y、Z三轴分别指向相机右侧、下侧和沿着光轴指向正前方
尤其需要注意的是,ORB-SLAM2中的相机坐标也是按照图1给出的,相机校正过程中计算得到的内参矩阵也是在这一坐标系下得出的。
在SLAM领域,绝大部分情况下都是用的张正友标定法来做相机标定。“张正友标定”是指张正友教授1998年提出的单平面棋盘格的摄像机标定方法。文中提出的方法介于传统标定法和自标定法之间,但克服了传统标定法需要的高精度标定物的缺点,而仅需使用一个打印出来的棋盘格就可以。同时也相对于自标定而言,提高了精度,便于操作。因此张氏标定法被广泛应用于计算机视觉方面。
文章引用如下:
网上有很多实现张正友标定法的公开代码,这里选用其中用C++实现的一种,实测可以使用。记录如下:
#include "opencv2/core/core.hpp"#include "opencv2/imgproc/imgproc.hpp"#include "opencv2/calib3d/calib3d.hpp"#include "opencv2/highgui/highgui.hpp"#include#include using namespace cv;using namespace std;void main(){ ifstream fin("calibration_MI9_image.txt"); /* 标定所用图像文件的路径 */ ofstream fout("calibration_MI9_result.txt"); /* 保存标定结果的文件 */ //读取每一幅图像,从中提取出角点,然后对角点进行亚像素精确化 cout << "开始提取角点………………"< image_points_buf; /* 缓存每幅图像上检测到的角点 */ vector > image_points_seq; /* 保存检测到的所有角点 */ string filename; //int count = -1;//用于存储角点个数。 while (getline(fin, filename)) { image_count++; // 用于观察检验输出 cout << "image_count = " << image_count << ", and image_name = " << filename << endl; /* 输出检验*/ //cout << "-->count = " << count << endl; Mat imageInput = imread(filename); if (image_count == 1) //读入第一张图片时获取图像宽高信息 { image_size.width = imageInput.cols; image_size.height = imageInput.rows; cout << "image_size.width = " << image_size.width << endl; cout << "image_size.height = " << image_size.height << endl; } /* 提取角点 */ if (0 == findChessboardCorners(imageInput, board_size, image_points_buf)) { cout << "can not find chessboard corners!\n"; //找不到角点 exit(1); } else { Mat view_gray; cvtColor(imageInput, view_gray, CV_RGB2GRAY); /* 亚像素精确化 */ find4QuadCornerSubpix(view_gray, image_points_buf, Size(5, 5)); //对粗提取的角点进行精确化 image_points_seq.push_back(image_points_buf); //保存亚像素角点 /* 在图像上显示角点位置 */ drawChessboardCorners(view_gray, board_size, image_points_buf, true); //用于在图片中标记角点 imshow("Camera Calibration", view_gray);//显示图片 waitKey(500);//暂停0.5S } } int total = image_points_seq.size(); cout << "total = " << total << endl; int CornerNum = board_size.width*board_size.height; //每张图片上总的角点数 for (int ii = 0; ii 第 " << j << "图片的数据 --> : " << endl; } if (0 == ii % 3) // 此判断语句,格式化输出,便于控制台查看 { cout << endl; } else { cout.width(10); } //输出所有的角点 cout << " -->" << image_points_seq[ii][0].x; cout << " -->" << image_points_seq[ii][0].y; } cout << "角点提取完成!\n"; //以下是摄像机标定 cout << "开始标定………………"; /*棋盘三维信息*/ Size square_size = Size(10, 10); /* 实际测量得到的标定板上每个棋盘格的大小 */ vector > object_points; /* 保存标定板上角点的三维坐标 */ /*内外参数*/ Mat cameraMatrix = Mat(3, 3, CV_32FC1, Scalar::all(0)); /* 摄像机内参数矩阵 */ vector point_counts; // 每幅图像中角点的数量 Mat distCoeffs = Mat(1, 5, CV_32FC1, Scalar::all(0)); /* 摄像机的5个畸变系数:k1,k2,p1,p2,k3 */ vector tvecsMat; /* 每幅图像的旋转向量 */ vector rvecsMat; /* 每幅图像的平移向量 */ /* 初始化标定板上角点的三维坐标 */ int i, j, t; for (t = 0; t tempPointSet; for (i = 0; i image_points2; /* 保存重新计算得到的投影点 */ cout << "\t每幅图像的标定误差:\n"; fout << "每幅图像的标定误差:\n"; for (i = 0; i tempPointSet = object_points[i]; /* 通过得到的摄像机内外参数,对空间的三维点进行重新投影计算,得到新的投影点 */ projectPoints(tempPointSet, rvecsMat[i], tvecsMat[i], cameraMatrix, distCoeffs, image_points2); /* 计算新的投影点和旧的投影点之间的误差*/ vector tempImagePoint = image_points_seq[i]; Mat tempImagePointMat = Mat(1, tempImagePoint.size(), CV_32FC2); Mat image_points2Mat = Mat(1, image_points2.size(), CV_32FC2); for (int j = 0; j < tempImagePoint.size(); j++) { image_points2Mat.at (0, j) = Vec2f(image_points2[j].x, image_points2[j].y); tempImagePointMat.at (0, j) = Vec2f(tempImagePoint[j].x, tempImagePoint[j].y); } err = norm(image_points2Mat, tempImagePointMat, NORM_L2); total_err += err /= point_counts[i]; std::cout << "第" << i + 1 << "幅图像的平均误差:" << err << "像素" << endl; fout << "第" << i + 1 << "幅图像的平均误差:" << err << "像素" << endl; } std::cout << "总体平均误差:" << total_err / image_count << "像素" << endl; fout << "总体平均误差:" << total_err / image_count << "像素" << endl << endl; std::cout << "评价完成!" << endl; //保存定标结果 std::cout << "开始保存定标结果………………" << endl; Mat rotation_matrix = Mat(3, 3, CV_32FC1, Scalar::all(0)); /* 保存每幅图像的旋转矩阵 */ fout << "相机内参数矩阵:" << endl; fout << cameraMatrix << endl << endl; fout << "畸变系数:\n"; fout << distCoeffs << endl << endl << endl; for (int i = 0; i
注意,上述代码中一般来说有3处需要根据自己的情况修改:
1-main函数开头的一句话:
ifstream fin("calibration_MI9_image.txt"); /* 标定所用图像文件的路径 */
中的calibration_MI9_image.txt是将拍摄黑白格得到的图像名按行排列在一个txt文件中,该文件名以及文件的内容都需要根据自己的实际内容修改。
2-main函数开头的一句话:
ofstream fout("calibration_MI9_result.txt"); /* 保存标定结果的文件 */
中的calibration_MI9_result.txt是相机校正的结果所存放在的一个txt文件中,该文件名需要根据自己的实际内容修改,文件内容由代码产生,无需用户处理。
3-main函数开头的一句话:
Size board_size = Size(4, 6); /* 标定板上每行、列的角点数 */ // 注意!这里得参数因图像而异
其中的4和6分别是打印的黑白格点图中横竖角点的数目。例如在图2中,横竖角点的数目分别是4和6(只有两块黑色方格对角分布构成的才算角点),因此图2中一共有24个角点:
由于选用的相机标定代码是C++写的,因此选择在Windows系统下配置VS2013和openCV。关于Windows系统下配置VS2013和openCV的资料和博客网上非常多,就不再赘述了,这里就只记录几点我在配环境时踩过的坑。
1-在往系统中添加环境变量时记得把64位和32位的都添加进去; 2-在VS软件中需要配置的地方有:(1)属性-VC++目录-包含目录,(2)属性-VC++目录-库目录,(3)属性-链接器-输入-附加依赖项; 3-保险起见,在配置“属性-链接器-输入-附加依赖项”时,最好不要把debug版本的lib和release版本的lib同时添加进去,因为在大多数情况下我们只会用到debug版本。即使要添加,也应该将所有的debug版本的lib和release版本的lib分开写,千万不能一个XXX.lib,一个XXXd.lib交替着写(根据我的经验,交替写会报出莫名其妙的错误); 4-VS的版本和openCV中cv文件夹的版本是这样对应的:VS2010—vc10,VS2012—vc11,VS2013—vc12,不同的VS版本应该选用不同的vc文件夹; 5-其他……想起来再说。
首先,从不同角度拍摄黑白格点图,并依次命名,如图3所示:
然后,将这些图片的名字集中到一个txt文件中,如图4所示:
最后,就可以运行代码了。效果如图5和图6所示:
最终得到的结果可以在同路径下对应txt文件中查看,如图7所示:
从图7中可以看出,张正友标定法不仅可以得到相机的内参,包括内参矩阵和畸变系数,也就是图中红色方框标记出来的部分;还可以得到相机的外参,包括旋转矩阵和旋转向量,也就是图7中txt文件没有完全显示出来的下文。
最后,得到相机的内参后,将其带入SLAM的配置文件,就可以进行后续的工作了。
相机标定的过程虽然简单(事实上确实很简单,别人把代码都给出来了),但是我也是踩了不少坑(事实上我经常踩坑,就相机标定这个事儿也是别人5分钟我要弄上个两天才好)。因此在这里把遇到的一些坑和解决方案记录下来。
1-VS2013下配置openCV时,一定要注意在配置“属性-链接器-输入-附加依赖项”时,debug版本的lib和release版本的lib不能交叉添加; 2-黑白格数量不要太多,形成4*6个交叉点是比较合适的; 3-确保打印机墨盒存量足够,不要打出来的黑色格子不够黑;往板子上贴的之后要平整; 4-拍摄时务必注意不要在格纸上有反光; 5-拍摄角度要不同,但是也别过于倾斜,会造成算法识别不出来。
转载地址:http://yqclf.baihongyu.com/