P2: Counting Pixels with Histograms

Goal: Histogram processing for image enhancement

了解如何通過直方圖處理來增強圖像
應用查找表來增強圖像
學習直方圖均衡化、直方圖反向傳播和均值偏移
通過直方圖匹配練習圖像檢索。

I. Histogram程式實做

histogram.cpp 程式碼與註解

II. Content Finder程式實做

contentFinder.cpp 程式碼與註解

VI.Object Tracking程式實做

tracking.cpp 程式碼與註解

作業環境

Window 11
Visual Studio 2019
OpenCV 4.5.5
CMake 3.24.3
CPU:11th Gen Intel(R) Core(TM) i5-1135G7 @ 2.40GHz 2.42 GHz

RAM:16.0 GB

I. Histogram程式實做

histogram.cpp 程式碼與註解

#include <iostream>

using namespace std;

#include <opencv2/core/core.hpp>

#include <opencv2/highgui/highgui.hpp>

#include <opencv2/imgproc/imgproc.hpp>

#include "histogram.h"

int main()

{

// Read input image

cv::Mat image= cv::imread("C:/Users/User/Desktop/CV_testimage/P2/woonwoodog.png",0);//灰階影像

if (!image.data)

return 0;

// save grayscale image

cv::imwrite("C:/Users/User/Desktop/CV_testimage/P2/Histogram/Gray_woonwoodog.png", image);

// Display the image

cv::namedWindow("Image");

cv::imshow("Image",image);

// The histogram object

Histogram1D h;

// 計算質方圖

cv::Mat histo= h.getHistogram(image);//histo是一維陣列，有256個entries

// 讀取每個bin(直方圖中儲存為float值) Loop over each bin

for (int i=0; i<256; i++)

cout << "Value " << i << " = " << histo.at<float>(i) << endl;

// Display a histogram as an image

//顯示直方圖

cv::namedWindow("Histogram");

cv::imshow("Histogram",h.getHistogramImage(image));

// re-display the histagram with chosen threshold indicated

cv::Mat hi = h.getHistogramImage(image);

cv::line(hi, cv::Point(70, 0), cv::Point(70, 255), cv::Scalar(128));

cv::namedWindow("Histogram with threshold value");

cv::imshow("Histogram with threshold value", hi);

// creating a binary image by thresholding at the valley

cv::Mat thresholded; // 輸出 binary image

cv::threshold(image,thresholded,

70, // threshold value

255, // 超過threshold value的值->255

cv::THRESH_BINARY); // thresholding type

// Display the thresholded image

cv::namedWindow("Binary Image");

cv::imshow("Binary Image",thresholded);

thresholded = 255 - thresholded;

cv::imwrite("C:/Users/User/Desktop/CV_testimage/P2/Histogram/Binary_woonwoodog.bmp",thresholded);

// Show the new histogram

cv::namedWindow("Binary Image");

cv::imshow("Binary Image", h.getHistogramImage(thresholded));

// Equalize the image

//直方圖均衡化

cv::Mat eq= h.equalize(image);

// Show the result

cv::namedWindow("Equalized Image");

cv::imshow("Equalized Image",eq);

// Show the new histogram

cv::namedWindow("Equalized H");

cv::imshow("Equalized H",h.getHistogramImage(eq));

// Stretch the image, setting the 1% of pixels at black and 1% at white

//延展直方圖以提高影像對比度

cv::Mat str= h.stretch(image,0.01f);

// Show the result

cv::namedWindow("Stretched Image");

cv::imshow("Stretched Image",str);

// Show the new histogram

cv::namedWindow("Stretched H");

cv::imshow("Stretched H",h.getHistogramImage(str));

// 創建一個圖像反轉的table Create an image inversion table

cv::Mat lut(1,256,CV_8U); // 1x256 matrix

// Or:

// int dim(256);

// cv::Mat lut(1, // 1 dimension

// &dim, // 256 entries

// CV_8U); // uchar

//0變成255、1變成254...

for (int i=0; i<256; i++) {

lut.at<uchar>(i)= 255-i;

}

// Apply lookup and display negative image

cv::namedWindow("Negative image");

cv::imshow("Negative image",h.applyLookUp(image,lut));

cv::Mat neg = h.applyLookUp(image, lut);

// Show the new histogram

cv::namedWindow("Negative image");

cv::imshow("Negative image", h.getHistogramImage(neg));

cv::waitKey();

return 0;

}

直方圖：表示圖像中具有某個值的像素數量。灰階影像的直方圖有 256 個bin。如果把直方圖的所有bin進行累加，得到的結果是像素的總數。也可以把直方圖歸一化，即所有bin的累加和等於 1，每個bin的數值表示對應的像素數量佔總數的百分比。

在 OpenCV 中計算直方圖，可用 cv::calcHist 函數，一個通用的直方圖計算函數，可處理包含任何值類型和範圍的多通道圖像。histogram.cpp指定一個專門用於處理單通道灰階影像的class。

histogram.h

創建灰階影像的直方圖，設定初始值。

histogram.h

用左圖的方法計算灰階直方圖

histogram.h

用getImageOfHistogram可以得到直方圖影像。
以柱狀圖形式顯示。

histogram.h

查找表(lookup table)

histogram.h

Stretch the image
重新映射強度值

使 imin 的值變成強度值 0，imax 的值變成強度值 255。

兩者之間的 i 進行線性映射： 255.0*(i-imin)/(imax-imin);

histogram.cpp

延展1%

imgproc.hpp

(左上)equalizeHist的定義

histogram.h

(左下)直方圖均衡化

程式輸出結果

原圖

灰階圖、灰階直方圖

Histogram with threshold value

cv::Mat hi = h.getHistogramImage(image);

cv::line(hi, cv::Point(70, 0), cv::Point(70, 255), cv::Scalar(128));

Binary

直方圖只有0、255

輸出反轉

thresholded = 255 - thresholded;

原binary直方圖 VS 反轉質方圖

可以看到0、255的值相反

直方圖均衡化(左)vs灰階原圖(右)

黑白較不明顯

Stretched(左) vs 灰階原圖(右)延展1%，對比度稍強

黑白反轉

黑白反轉直方圖(左)vs 原灰階直方圖(右)

可以看到直方圖完全相反

自己測試
threshold value 改成10

自己測試
threshold value 改成200
直方圖0的部分明顯變多

分析&感想：了解如何應用直方圖。

在執行過程中有遇到imshow的視窗跑偏的問題，且無法移動(有時候會，大部分不會)，但是我忘記截圖。解決方法是將cv2.namedWindow('image') 改成，cv2.namedWindow('image',cv2.WINDOW_NORMAL)，cv2.WINDOW_NORMAL也可以改成0，就可以移動視窗了。

II. Content Finder程式實做

contentFinder.cpp 程式碼與註解

#include <iostream>

using namespace std;

#include <opencv2/core/core.hpp>

#include <opencv2/highgui/highgui.hpp>

#include "histogram.h"

#include "contentFinder.h"

#include "colorhistogram.h"

int main()

{

// Read input image

cv::Mat image= cv::imread("C:/Users/User/Desktop/CV_testimage/P2/t3.jpg",0);

if (!image.data)

return 0;

// define image ROI

cv::Mat imageROI;

imageROI= image(cv::Rect(216,100,24,30)); // 雲的區域 Cloud region

// Display reference patch

cv::namedWindow("Reference");

cv::imshow("Reference",imageROI);

// Find histogram of reference

Histogram1D h;

cv::Mat hist= h.getHistogram(imageROI);

cv::namedWindow("Reference Hist");

cv::imshow("Reference Hist",h.getHistogramImage(imageROI));

// Create the content finder

//創建內容搜尋器

ContentFinder finder;

// set histogram to be back-projected

//設定用來back-projected的直方圖

finder.setHistogram(hist);

finder.setThreshold(-1.0f);

// Get back-projection

cv::Mat result1;

result1= finder.find(image);

// Create negative image and display result

cv::Mat tmp;

result1.convertTo(tmp,CV_8U,-1.0,255.0);//反色處理(提高可讀性)

cv::namedWindow("Backprojection result");

cv::imshow("Backprojection result",tmp);

// Get binary back-projection

finder.setThreshold(0.12f);

result1= finder.find(image);

// Draw a rectangle around the reference area

cv::rectangle(image, cv::Rect(216, 100, 24, 30), cv::Scalar(0, 0, 0));

// Display image

cv::namedWindow("Image");

cv::imshow("Image",image);

// 得到最有可能為目標的結果 Display result

cv::namedWindow("Detection Result");

cv::imshow("Detection Result",result1);

// Load color image

//裝載彩色圖像

ColorHistogram hc;

cv::Mat color= cv::imread("C:/Users/User/Desktop/CV_testimage/P2/t3.jpg");

// 提取ROI extract region of interest

imageROI= color(cv::Rect(0,0,100,45)); // 藍色天空區域 blue sky area

// Get 3D colour histogram (8 bins per channel)

//取得3D直方圖

hc.setSize(8); // 8x8x8

cv::Mat shist= hc.getHistogram(imageROI);

// set histogram to be back-projected

finder.setHistogram(shist);

finder.setThreshold(0.05f);

// Get back-projection of color histogram

result1= finder.find(color);

cv::namedWindow("Color Detection Result");

cv::imshow("Color Detection Result",result1);

// Second color image

cv::Mat color2= cv::imread("C:/Users/User/Desktop/CV_testimage/P2/t2.jpg");

cv::namedWindow("Second Image");

cv::imshow("Second Image",color2);

// Get back-projection of color histogram

cv::Mat result2= finder.find(color2);

cv::namedWindow("Result color (2)");

cv::imshow("Result color (2)",result2);

// Get ab color histogram

hc.setSize(256); // 256x256

cv::Mat colorhist= hc.getabHistogram(imageROI);

// display 2D histogram

colorhist.convertTo(tmp,CV_8U,-1.0,255.0);

cv::namedWindow("ab histogram");

cv::imshow("ab histogram",tmp);

// set histogram to be back-projected

finder.setHistogram(colorhist);

finder.setThreshold(0.05f);

// Convert to Lab space

cv::Mat lab;

cv::cvtColor(color, lab, cv::COLOR_BGR2Lab);

// Get back-projection of ab histogram

int ch[2]={1,2};

result1= finder.find(lab,0,256.0f,ch);

cv::namedWindow("Result ab (1)");

cv::imshow("Result ab (1)",result1);

// Second colour image

cv::cvtColor(color2, lab, cv::COLOR_BGR2Lab);

// Get back-projection of ab histogram

result2= finder.find(lab,0,256.0,ch);

cv::namedWindow("Result ab (2)");

cv::imshow("Result ab (2)",result2);

// Draw a rectangle around the reference sky area

cv::rectangle(color,cv::Rect(0,0,100,45),cv::Scalar(0,0,0));

cv::namedWindow("Color Image");

cv::imshow("Color Image",color);

// Get Hue colour histogram

hc.setSize(180); // 180 bins

colorhist= hc.getHueHistogram(imageROI);

// set histogram to be back-projected

finder.setHistogram(colorhist);

// Convert to HSV space

cv::Mat hsv;

cv::cvtColor(color, hsv, cv::COLOR_BGR2HSV);

// Get back-projection of hue histogram

ch[0]=0;

result1= finder.find(hsv,0.0f,180.0f,ch);

cv::namedWindow("Result Hue (1)");

cv::imshow("Result Hue (1)",result1);

// Second color image

color2= cv::imread("C:/Users/User/Desktop/CV_testimage/P2/t2.jpg");

// Convert to HSV space

cv::cvtColor(color2, hsv, cv::COLOR_BGR2HSV);

// Get back-projection of hue histogram

result2= finder.find(hsv,0.0f,180.0f,ch);

cv::namedWindow("Result Hue (2)");

cv::imshow("Result Hue (2)",result2);

cv::waitKey();

return 0;

}

如果圖像的某個區域含有特定的紋理或物體，這個區域的直方圖就可以看作一個函數，返回某個像素屬於這個特殊紋理或物體的機率。

希望在圖像中檢測出特定的內容。

cv::normalize(h,histogram,1.0);

back-projecting a histogram

此函數可以從歸一化後的直方圖中讀取機率值並把輸入圖像中的每個像素，替換成對應的機率值。

find 可以進行反向投影(使用圖像的三個通道)。

程式輸出結果

原圖

Reference(左) &Reference Hist(右)

Backprojection result

機率分佈圖，對圖像做反色處理提高可讀性，屬於該區域的機率從亮（低機率）到暗（高機率）

Detection Result

對上圖做Threshold

Image

Detection Result

Color Detection Result

Second Image

Result color (2)

ab histogram

Result ab (1)

Result ab (2)

Color Image

Result Hue (1)

Result Hue (2)

分析&感想：我覺得我用出來的效果沒有很好。

III.Finder程式實做

finder.cpp程式碼與註解

#include <iostream>

#include <vector>

using namespace std;

#include <opencv2/core/core.hpp>

#include <opencv2/highgui/highgui.hpp>

#include <opencv2/video/tracking.hpp>

#include "contentFinder.h"

#include "colorhistogram.h"

int main()

{

// Read reference image

cv::Mat image= cv::imread("C:/Users/User/Desktop/CV_testimage/P2/t9.jpg");

if (!image.data)

return 0;

// initial window position

//window初始位置

cv::Rect rect(75, 40, 110, 100);

cv::rectangle(image, rect, cv::Scalar(0, 0, 255));

// Baboon's face ROI

//目標區域的ROI

cv::Mat imageROI = image(rect);

cv::namedWindow("Image 1");

cv::imshow("Image 1",image);

// Get the Hue histogram of the Baboon's face

//得到目標區域的直方圖

int minSat=65;

ColorHistogram hc;

cv::Mat colorhist= hc.getHueHistogram(imageROI,minSat);

//把得到的直方圖傳給 ContentFinder

ContentFinder finder;

finder.setHistogram(colorhist);

finder.setThreshold(0.2f);

// Convert to HSV space (just for display)

cv::Mat hsv;

cv::cvtColor(image, hsv, cv::COLOR_BGR2HSV);

// Split the image

vector<cv::Mat> v;

cv::split(hsv,v);

// Eliminate pixels with low saturation

cv::threshold(v[1],v[1],minSat,255,cv::THRESH_BINARY);

cv::namedWindow("Saturation mask");

cv::imshow("Saturation mask",v[1]);

//--------------

// Second image

image= cv::imread("C:/Users/User/Desktop/CV_testimage/P2/t5.jpg");

cv::namedWindow("Image 2");

cv::imshow("Image 2",image);

// 轉換成HSV色彩空間 Convert to HSV space

cv::cvtColor(image, hsv, cv::COLOR_BGR2HSV);

// Get back-projection of hue histogram

//得到色調直方圖的back-projection

int ch[1]={0};

finder.setThreshold(-1.0f); // no thresholding

cv::Mat result= finder.find(hsv,0.0f,180.0f,ch);

// Display back projection result

cv::namedWindow("Backprojection on second image");

cv::imshow("Backprojection on second image",result);

// initial window position

cv::rectangle(image, rect, cv::Scalar(0,0,255));

// search objet with mean shift

//用mean shift方法搜索物體

cv::TermCriteria criteria(cv::TermCriteria::MAX_ITER | cv::TermCriteria::EPS,

10, // iterate max 10 times

1); // 或重心移動距離小於一個像素or until the change in centroid position is less than 1px

cout << "meanshift= " << cv::meanShift(result,rect,criteria) << endl;

// draw output window

cv::rectangle(image, rect, cv::Scalar(0,255,0));

// Display image

cv::namedWindow("Image 2 result");

cv::imshow("Image 2 result",image);

cv::waitKey();

return 0;

}

如果已知圖像中某個物體的大致位置，就可以用機率分佈圖找到物體的準確位置。窗口中機率最大的位置就是物體最可能出現的位置。因此，可從一個初始位置開始，在周圍反覆移動以提高局部匹配機率，也許就能找到物體的準確位置。

colorhistogram.h
獲得色調直方圖

finder.cpp
用mean shift方法搜索物體

程式輸出結果

原圖

Image 1

Saturation mask

Image 2

Backprojection on second image

Image 2 result

紅色框：初始位置

綠色框：新位置

分析&感想：如果圖像中需要辨識的物體，變成近距離或換個角度影像就不太能分辨出來

IV.Retrieve程式實做

retrieve.cpp 程式碼與註解

#include <iostream>

using namespace std;

#include <opencv2/core/core.hpp>

#include <opencv2/highgui/highgui.hpp>

#include "imageComparator.h"

int main()

{

// Read reference image

cv::Mat image= cv::imread("C:/Users/User/Desktop/CV_testimage/P2/t3.jpg");

if (!image.data)

return 0;

// Display image

cv::namedWindow("Query Image");

cv::imshow("Query Image",image);

ImageComparator c;

c.setReferenceImage(image);