本文档尝试解答如下问题:
我们使用肤色直方图为例来解释反向投影的工作原理:
假设你已经通过下图得到一个肤色直方图(Hue-Saturation), 旁边的直方图就是 模型直方图 ( 代表手掌的皮肤色调).你可以通过掩码操作来抓取手掌所在区域的直方图:
下图是另一张手掌图(测试图像) 以及对应的整张图像的直方图:
我们要做的就是使用 模型直方图 (代表手掌的皮肤色调) 来检测测试图像中的皮肤区域。以下是检测的步骤
对测试图像中的每个像素 ( ),获取色调数据并找到该色调(
)在直方图中的bin的位置。
查询 模型直方图 中对应的bin - - 并读取该bin的数值。
将此数值储存在新的图像中(BackProjection)。 你也可以先归一化 模型直方图 ,这样测试图像的输出就可以在屏幕显示了。
通过对测试图像中的每个像素采用以上步骤, 我们得到了下面的 BackProjection 结果图:
使用统计学的语言, BackProjection 中储存的数值代表了测试图像中该像素属于皮肤区域的 概率 。比如以上图为例, 亮起的区域是皮肤区域的概率更大(事实确实如此),而更暗的区域则表示更低的概率(注意手掌内部和边缘的阴影影响了检测的精度)。
本程序做什么?
装载图像
转换原图像到 HSV 格式,再分离出 Hue 通道来建立直方图 (使用 OpenCV 函数 mixChannels)
显示反向投影图和直方图。
下载源码:
- 点击 这里 获取简单版的源码 (本教程使用简单版)。
- 要尝试更炫的代码 (使用 H-S 直方图和 floodFill 来定义皮肤区域的掩码)你可以点击 增强版演示
- 当然你也可以从实例库里下载经典的 camshiftdemo 示例。
代码一瞥:
#include "opencv2/imgproc/imgproc.hpp"
#include "opencv2/highgui/highgui.hpp"
#include <iostream>
using namespace cv;
using namespace std;
/// 全局变量
Mat src; Mat hsv; Mat hue;
int bins = 25;
/// 函数申明
void Hist_and_Backproj(int, void* );
/** @函数 main */
int main( int argc, char** argv )
{
/// 读取图像
src = imread( argv[1], 1 );
/// 转换到 HSV 空间
cvtColor( src, hsv, CV_BGR2HSV );
/// 分离 Hue 通道
hue.create( hsv.size(), hsv.depth() );
int ch[] = { 0, 0 };
mixChannels( &hsv, 1, &hue, 1, ch, 1 );
/// 创建 Trackbar 来输入bin的数目
char* window_image = "Source image";
namedWindow( window_image, CV_WINDOW_AUTOSIZE );
createTrackbar("* Hue bins: ", window_image, &bins, 180, Hist_and_Backproj );
Hist_and_Backproj(0, 0);
/// 现实图像
imshow( window_image, src );
/// 等待用户反应
waitKey(0);
return 0;
}
/**
* @函数 Hist_and_Backproj
* @简介:Trackbar事件的回调函数
*/
void Hist_and_Backproj(int, void* )
{
MatND hist;
int histSize = MAX( bins, 2 );
float hue_range[] = { 0, 180 };
const float* ranges = { hue_range };
/// 计算直方图并归一化
calcHist( &hue, 1, 0, Mat(), hist, 1, &histSize, &ranges, true, false );
normalize( hist, hist, 0, 255, NORM_MINMAX, -1, Mat() );
/// 计算反向投影
MatND backproj;
calcBackProject( &hue, 1, 0, hist, backproj, &ranges, 1, true );
/// 显示反向投影
imshow( "BackProj", backproj );
/// 显示直方图
int w = 400; int h = 400;
int bin_w = cvRound( (double) w / histSize );
Mat histImg = Mat::zeros( w, h, CV_8UC3 );
for( int i = 0; i < bins; i ++ )
{ rectangle( histImg, Point( i*bin_w, h ), Point( (i+1)*bin_w, h - cvRound( hist.at<float>(i)*h/255.0 ) ), Scalar( 0, 0, 255 ), -1 ); }
imshow( "Histogram", histImg );
}
申明图像矩阵,初始化bin数目:
Mat src; Mat hsv; Mat hue;
int bins = 25;
读取输入图像并转换到HSV 格式:
src = imread( argv[1], 1 );
cvtColor( src, hsv, CV_BGR2HSV );
本教程仅仅使用Hue通道来创建1维直方图 (你可以从上面的链接下载增强版本,增强版本使用了更常见的H-S直方图,以获取更好的结果):
hue.create( hsv.size(), hsv.depth() );
int ch[] = { 0, 0 };
mixChannels( &hsv, 1, &hue, 1, ch, 1 );
你可以看到这里我们使用 mixChannels 来抽取 HSV图像的0通道(Hue)。 该函数接受了以下的实参:
创建Trackbar方便用户输入bin数目。 Trackbar的任何变动将会调用函数 Hist_and_Backproj 。
char* window_image = "Source image";
namedWindow( window_image, CV_WINDOW_AUTOSIZE );
createTrackbar("* Hue bins: ", window_image, &bins, 180, Hist_and_Backproj );
Hist_and_Backproj(0, 0);
显示并等待用户突出程序:
imshow( window_image, src );
waitKey(0);
return 0;
Hist_and_Backproj 函数: 初始化函数 calcHist 需要的实参, bin数目来自于 Trackbar:
void Hist_and_Backproj(int, void* )
{
MatND hist;
int histSize = MAX( bins, 2 );
float hue_range[] = { 0, 180 };
const float* ranges = { hue_range };
计算直方图并归一化到范围
calcHist( &hue, 1, 0, Mat(), hist, 1, &histSize, &ranges, true, false );
normalize( hist, hist, 0, 255, NORM_MINMAX, -1, Mat() );
调用函数 calcBackProject 计算同一张图像的反向投影
MatND backproj;
calcBackProject( &hue, 1, 0, hist, backproj, &ranges, 1, true );
所有的实参都已经知道了(与计算直方图的实参一样), 仅仅增加了 backproj 矩阵,用来储存原图像(&hue)的反向投影。
显示 backproj:
imshow( "BackProj", backproj );
显示1维 Hue 直方图:
int w = 400; int h = 400;
int bin_w = cvRound( (double) w / histSize );
Mat histImg = Mat::zeros( w, h, CV_8UC3 );
for( int i = 0; i < bins; i ++ )
{ rectangle( histImg, Point( i*bin_w, h ), Point( (i+1)*bin_w, h - cvRound( hist.at<float>(i)*h/255.0 ) ), Scalar( 0, 0, 255 ), -1 ); }
imshow( "Histogram", histImg );
下面是对一张样本图像(猜猜是什么?又是一掌)进行的测试结果。 你可以改变bin的数目来观察它是如何影响结果图像的:
niesu@ OpenCV中文网站 <sisongasg@hotmail.com>