OpenCV实战案例——校正+切边[C++]

0.前言
本文以实战案例为背景,讲述如何使用计算机图形学知识完成需求,实现最终效果。本文包含实战案例素材以及过程代码讲解,方便读者理解。
1.案例需求
某公司打算开发一款用于提取学生作业本的程序,学生用手机拍摄自己的作业上传到程序,程序进行处理最终提取出作业本区域方便老师批改。
下图(图1-1)为某学生提交的作业本俯拍图片。

该公司希望该程序将图片裁剪校正使其达到方便教师批改的大小。最终效果图如下(图1-2)所示。

2.处理思想

  • 由于环境因素,学生上传的图片可能存在较多的噪点,不利于计算机处理,故可以采取高斯模糊进行降噪处理,方便后续提取特征。
  • 为了更方便提取图像特征,应将图像灰度化、二值化,使其尽可能显示出图片边缘纹理特征,对于处理期间的噪声点可以采用形态学操作消除。
  • 通过需求结果的特点,可以使用轮廓查找findContours()函数查找二值图中的轮廓,根据大小、型状等外显特征进行过滤。
  • 考虑到学生上传的图片可能存在倾斜情况,而普通的矩形查找(boundingRect函数)难以胜任该工作,所以应选择能够衡量角度特征的矩形查找函数,故本文选取minAreaRect()函数查找最小外接矩形。
  • 获取矩形大小、角度等特征后,可以通过仿射变换校正图片,ROI(感兴趣区域)提取获取最终结果。

3.代码实现

点击查看代码
//读取图像
Mat mSrc = imread(path1, ImreadModes::IMREAD_COLOR);
imshow("源图像", mSrc);
上述代码读取了图片加载到内存中并显示,显示结果如下图(图3-1)所示。

点击查看代码
//高斯模糊
Mat mGaussian;
GaussianBlur(mSrc, mGaussian, Size(3, 3), 1);

//转灰度
Mat mGray;
cvtColor(mGaussian, mGray, ColorConversionCodes::COLOR_BGR2GRAY);

//二值化
Mat mBin;
threshold(mGray, mBin, 244, 255, ThresholdTypes::THRESH_TOZERO);

//膨胀
Mat mDilateKernal = getStructuringElement(MorphShapes::MORPH_RECT, Size(3, 3));
dilate(mBin, mBin, mDilateKernal, Point(-1, -1));
imshow("二值图", mBin);
上述代码将源图像高斯模糊去噪,然后转为灰度图像,再通过阈值将灰度图像转变成二值图像,最后通过膨胀操作处理细节,使图像中特征不明显区域特征加强,方便提取轮廓。getStructuringElement函数用于获取核矩阵,常见的核矩阵有十字型、矩形、圆形等。最终显示结果如下图(图3-2)所示。

通过图3-2可以明显看到学生的作业本轮廓,但由于背景干扰,仍出现大量的噪点无法去除。

点击查看代码
//查找轮廓
vector<vector<Point>> vvContours;
vector<Vec4i> vHierarchy;
findContours(mBin, vvContours, vHierarchy, RetrievalModes::RETR_EXTERNAL, ContourApproximationModes::CHAIN_APPROX_SIMPLE);

//绘制轮廓
RNG rng(0);
Mat mContoursImg=mSrc.clone();
for (int a = 0; a < vvContours.size(); ++a)
{
	drawContours(mContoursImg, vvContours, a, Scalar(rng.uniform(0, 255), rng.uniform(0, 255), rng.uniform(0, 255)), 1, LineTypes::LINE_AA);
}
imshow("轮廓", mContoursImg);

上述代码使用findContours()函数查找出了所有的轮廓并绘制,每个轮廓的颜色随机生成,其中变量vHierarchy并没有使用到,显示结果如下图(图3-3)所示。

点击查看代码
//查找最小外接矩形
vector<RotatedRect> vRotatedRects;
for (int a = 0; a < vvContours.size(); ++a)
{
	vRotatedRects.emplace_back(minAreaRect(vvContours[a]));
}
对于每一个轮廓都生成一个最小外接矩形并保存在vRotatedRects向量中。
点击查看代码
//过滤不合格的
vector<RotatedRect> vGoodRotatedRects;
for (int a = 0; a < vRotatedRects.size(); ++a)
{
	Size2f sz_rect = vRotatedRects.at(a).size;
	if (sz_rect.width >= 100 && sz_rect.height>=100)
	{
		vGoodRotatedRects.push_back(vRotatedRects.at(a));
	}
}
通过minAreaRect()函数得到了大量的最小外接矩形,但是仅有少数是符合实际情况,所以需要对找到的轮廓进行过滤。上述代码根据轮廓的大小特征进行过滤,过滤掉宽度小于100且高度小于100的矩形,当然,仅设置阈值为100是比较随意的,读者也可以添加其他判断条件过滤,例如宽高比例等。
点击查看代码
//绘制矩形
Mat mRectsImg = mSrc.clone();
Point2f* p1 = new Point2f[4];
vGoodRotatedRects.front().points(p1);
Scalar color(rng.uniform(0, 255), rng.uniform(0, 255), rng.uniform(0, 255));
for (int a = 0; a < 4; ++a)
{
	line(mRectsImg, p1[a], p1[(a + 1) % 4], color,3);
}
delete p1;
p1 = nullptr;
imshow("最小外接矩形", mRectsImg);
上述代码绘制过滤后的最小外接矩形,其中(a + 1) % 4可以实现线条的首尾相连效果,最终显示效果如下图(图3-4)所示。

通过图3-4可以明显的看到学生上传的作业本轮廓被提出出来了,与最终预期结果又进一步。

点击查看代码
//绘制十字坐标系、方向
Mat mDirectionImg= mRectsImg.clone();
float fAngle = vGoodRotatedRects.front().angle;
Point2f p2fCenter = vGoodRotatedRects.front().center;
cout << "angle:" << fAngle << ",center:" << p2fCenter << endl;
//x轴
line(mDirectionImg, Point(p2fCenter.x - 200, p2fCenter.y), Point(p2fCenter.x + 200, p2fCenter.y), Scalar(0, 0, 255), 2);
//y轴
line(mDirectionImg, Point(p2fCenter.x, p2fCenter.y-200), Point(p2fCenter.x, p2fCenter.y+200), Scalar(0, 0, 255), 2);
imshow("坐标", mDirectionImg);
上述代码以作业本中心点为(0,0)点绘制直角坐标系(红线),绿色标注是笔者后期添加上的,用于后续分析理解,θ值就是控制台输出的angle度数。最终结果如下图(图3-5)所示。 控制台输出结果如下所示:

angle:41.3478,center:[365.829, 209.149]

具体angle的实际含义可以参考笔者的另一篇文章:https://www.cnblogs.com/hello-nullptr/p/18240905

对于图3-5,若将图像中的作业本校正(使黑色签字笔笔尖垂直向下),则需要将整幅图像逆时针旋转angle度即可,本文通过以下代码实现校正。

点击查看代码
//校正
Mat mRotationKernal= getRotationMatrix2D(p2fCenter, fAngle, 1.0);
Mat mCorrectionImg ;
warpAffine(mSrc, mCorrectionImg, mRotationKernal, mSrc.size());
imshow("校正", mCorrectionImg);
通过执行上述代码,输出结果如下图(图3-6)所示。

学生提交的作业图片成功被校正了,接下来仅需提取感兴趣区域(ROI)即可。

点击查看代码
//提取ROI区域
Size sz_rect=vGoodRotatedRects.front().size;
Rect rRoi(p2fCenter.x - (sz_rect.width / 2), p2fCenter.y - (sz_rect.height / 2), sz_rect.width, sz_rect.height);
Mat mRoiImg(mCorrectionImg, rRoi);
imshow("ROI", mRoiImg);
上述代码提取了作业本区域,输出结果如下图(图3-7)所示。

至此结束。

4.完整代码

点击查看代码
	//读取图像
	Mat mSrc = imread(path1, ImreadModes::IMREAD_COLOR);
	imshow("源图像", mSrc);

	//高斯模糊
	Mat mGaussian;
	GaussianBlur(mSrc, mGaussian, Size(3, 3), 1);

	//转灰度
	Mat mGray;
	cvtColor(mGaussian, mGray, ColorConversionCodes::COLOR_BGR2GRAY);

	//二值化
	Mat mBin;
	threshold(mGray, mBin, 244, 255, ThresholdTypes::THRESH_TOZERO);

	//膨胀
	Mat mDilateKernal = getStructuringElement(MorphShapes::MORPH_RECT, Size(3, 3));
	dilate(mBin, mBin, mDilateKernal, Point(-1, -1));
	imshow("二值图", mBin);

	//查找轮廓
	vector<vector<Point>> vvContours;
	vector<Vec4i> vHierarchy;
	findContours(mBin, vvContours, vHierarchy, RetrievalModes::RETR_EXTERNAL, ContourApproximationModes::CHAIN_APPROX_SIMPLE);

	//绘制轮廓
	RNG rng(0);
	Mat mContoursImg=mSrc.clone();
	for (int a = 0; a < vvContours.size(); ++a)
	{
		drawContours(mContoursImg, vvContours, a, Scalar(rng.uniform(0, 255), rng.uniform(0, 255), rng.uniform(0, 255)), 1, LineTypes::LINE_AA);
	}
	imshow("轮廓", mContoursImg);

	//查找最小外接矩形
	vector<RotatedRect> vRotatedRects;
	for (int a = 0; a < vvContours.size(); ++a)
	{
		vRotatedRects.emplace_back(minAreaRect(vvContours[a]));
	}

	//过滤不合格的
	vector<RotatedRect> vGoodRotatedRects;
	for (int a = 0; a < vRotatedRects.size(); ++a)
	{
		Size2f sz_rect = vRotatedRects.at(a).size;
		if (sz_rect.width >= 100 && sz_rect.height>=100)
		{
			vGoodRotatedRects.push_back(vRotatedRects.at(a));
		}
	}

	//绘制矩形
	Mat mRectsImg = mSrc.clone();
	Point2f* p1 = new Point2f[4];
	vGoodRotatedRects.front().points(p1);
	Scalar color(rng.uniform(0, 255), rng.uniform(0, 255), rng.uniform(0, 255));
	for (int a = 0; a < 4; ++a)
	{
		line(mRectsImg, p1[a], p1[(a + 1) % 4], color,3);
	}
	delete p1;
	p1 = nullptr;
	imshow("最小外接矩形", mRectsImg);

	//绘制十字坐标系、方向
	Mat mDirectionImg= mRectsImg.clone();
	float fAngle = vGoodRotatedRects.front().angle;
	Point2f p2fCenter = vGoodRotatedRects.front().center;
	cout << "angle:" << fAngle << ",center:" << p2fCenter << endl;
	//x轴
	line(mDirectionImg, Point(p2fCenter.x - 200, p2fCenter.y), Point(p2fCenter.x + 200, p2fCenter.y), Scalar(0, 0, 255), 2);
	//y轴
	line(mDirectionImg, Point(p2fCenter.x, p2fCenter.y-200), Point(p2fCenter.x, p2fCenter.y+200), Scalar(0, 0, 255), 2);
	imshow("坐标", mDirectionImg);

	//校正
	Mat mRotationKernal= getRotationMatrix2D(p2fCenter, fAngle, 1.0);
	Mat mCorrectionImg ;
	warpAffine(mSrc, mCorrectionImg, mRotationKernal, mSrc.size());
	imshow("校正", mCorrectionImg);

	//提取ROI区域
	Size sz_rect=vGoodRotatedRects.front().size;
	Rect rRoi(p2fCenter.x - (sz_rect.width / 2), p2fCenter.y - (sz_rect.height / 2), sz_rect.width, sz_rect.height);
	Mat mRoiImg(mCorrectionImg, rRoi);
	imshow("ROI", mRoiImg);

热门相关:女配她逆袭了   从港综签到成为传说   千夫斩   汉阙   独步仙尘