OpenCV开发笔记(六十三):红胖子8分钟带你深入了解SIFT特征点(图文并茂+浅显易懂+程序源码)

若该文为原创文章,未经允许不得转载
原博主博客地址:https://blog.csdn.net/qq21497936
原博主博客导航:https://blog.csdn.net/qq21497936/article/details/102478062
本文章博客地址:https://blog.csdn.net/qq21497936/article/details/106755662
各位读者,知识无穷而人力有穷,要么改需求,要么找专业人士,要么自己研究
红胖子(红模仿)的博文大全:开发技术集合(包含Qt实用技术、树莓派、三维、OpenCV、OpenGL、ffmpeg、OSG、单片机、软硬结合等等)持续更新中…(点击传送门)

OpenCV开发专栏(点击传送门)

上一篇:《OpenCV开发笔记(六十二):红胖子8分钟带你深入了解亚像素角点检测(图文并茂+浅显易懂+程序源码)
下一篇:持续补充中…


前言

  红胖子,来也!
  识别除了传统的模板匹配之外就是体征点了,此篇介绍了SIFT特征点提取使用方法。


Demo

  在这里插入图片描述
  在这里插入图片描述
  在这里插入图片描述
  在这里插入图片描述


SIFT特征点

概述

  SIFT,即尺度不变特征变换(Scale-invariant feature transform,SIFT),是用于图像处理领域的一种描述。这种描述具有尺度不变性,可在图像中检测出关键点,是一种局部特征描述子。

SIFT算法特点

  • SIFT特征是局部特征,其对旋转、尺度缩放、亮度变化保持不变性,对视角变化、仿射变换、噪声也保持一定程度的稳定性;
  • 区分性(Distinctiveness)好,信息量丰富,适用于在海量特征数据库中进行快速、准确的匹配;
  • 多量性,即使少数的几个物体也可以产生大量的SIFT特征向量;
  • 高速性,经优化的SIFT匹配算法甚至可以达到实时的要求;
  • 可扩展性,可以很方便的与其他形式的特征向量进行联合;

特征检测步骤

步骤一:尺度空间极值检测

  搜索所有尺度上的图像位置。通过高斯微分函数来识别潜在的对于尺度和旋转不变的兴趣点。
  过程了解,知道实现的基本原理,如下图:

步骤二:关键点定位

  在每个候选的位置上,通过一个拟合精细的模型来确定位置和尺度。关键点的选择依据于它们的稳定程度。
  采用的方法是LoG近似DoG找到关键点<检测DOG尺度空间极值点>

步骤三:方向确定

  基于图像局部的梯度方向,分配给每个关键点位置一个或多个方向。所有后面的对图像数据的操作都相对于关键点的方向、尺度和位置进行变换,从而提供对于这些变换的不变性。

步骤四:关键点描述

  在每个关键点周围的邻域内,在选定的尺度上测量图像局部的梯度。这些梯度被变换成一种表示,这种表示允许比较大的局部形状的变形和光照变化。
每一个关键点,都拥有位置、尺度以及方向三个信息。为每个关键点建立一个描述符,用一组向量将这个关键点描述出来,使其不随各种变化而改变,比如光照变化、视角变化等等。这个描述子不但包括关键点,也包含关键点周围对其有贡献的像素点,并且描述符应该有较高的独特性,以便于提高特征点正确匹配的概率。

SiftFeatureDetector类

  该类是opencv中nonfree模块中的,之前没有勾选,需要需要重新勾选编译才会有的,所以按照3.4的最新版本为3.4.10,笔者重新编译了一个版本,带contrib模块,编译请参考博文《OpenCV开发笔记(三十四):红胖子带你小白式编译Qt+openCV3.4.1+opencv_contrib(全网最简单最强,可读性最高,没有之一)》,配置时,需要额外勾选下图显示的项:
  编译好后,头文件和库替换,重新连接到3.4.10版本,使用sift。
  需要添加头文件:

#include <opencv2/xfeatures2d.hpp>

SiftFeatureDetector类的使用

cv::Ptr<cv::xfeatures2d::SIFT> _pSift = cv::xfeatures2d::SiftFeatureDetector::create();
std::vector<cv::KeyPoint> keyPoints1;
//特征点检测
_pSift->detect(srcMat, keyPoints1);

SIFT宏定义

typedef SIFT SiftFeatureDetector;
typedef SIFT SiftDescriptorExtractor;

SIFT相关函数原型

static Ptr<xfeatures2d::SIFT> create(int nfeatures = 0,
                                int nOctaveLayers = 3,
                                double contrastThreshold = 0.04,
                                double edgeThreshold = 10,
                                double sigma = 1.6);
  • 参数一:int类型的nfeatures,默认值0,nfeatures要保留的最佳特征点数。这些特征是按分数排列的(用SIFT算法作为局部对比度);
  • 参数二:int类型的nOctaveLayers,默认值3,每八度音阶的层数。3是D.Lowe纸张中使用的值。这个八度音阶数是根据图像分辨率自动计算出来的;
  • 参数三:double类型的contrastThreshold,默认值0.04,用于半均匀滤除弱特征的对比度阈值(低对比度)区域。阈值越大,检测器产生的特征越少;
  • 参数四:double类型的edgeThreshold,默认值10,用于滤除边缘状特征的阈值。注意它的含义与对比度阈值不同,即边缘阈值越大,特征越少过滤掉(保留更多功能)。
  • 参数五:double类型的sigma,默认值1.6,高斯的sigma,应用于输入图像的标准偏差。
void xfeatures2d::SIFT::detect( InputArray image,
                          std::vector<KeyPoint>& keypoints,
                          InputArray mask=noArray() );
  • 参数一:InputArray类型的image,输入cv::Mat;
  • 参数二:std::Vector<KeyPoint>类型的keypoints,检测到的关键点;
  • 参数三:InputArray类型的mask,默认为空,指定在何处查找关键点的掩码(可选)。它必须是8位整数感兴趣区域中具有非零值的矩阵。
void xfeatures2d::SIFT::compute( InputArray image,
                            std::vector<KeyPoint>& keypoints,
                            OutputArray descriptors );
    • 参数一:InputArray类型的image,输入cv::Mat;
    • 参数二:std::Vector<KeyPoint>类型的keypoints,描述符不能为其已删除计算的。有时可以添加新的关键点,例如:SIFT duplicates keypoint有几个主要的方向(每个方向);
    • 参数三:OutputArray类型的descriptors,计算描述符;
    // 该函数结合了detect和compute,参照detect和compute函数参数
    void xfeatures2d::SIFT::detectAndCompute( InputArray image,
                                         InputArray mask,
                                         std::vector<KeyPoint>& keypoints,
                                         OutputArray descriptors,
                                         bool useProvidedKeypoints=false );

    绘制关键点函数原型

    void drawKeypoints( InputArray image,
                     const std::vector<KeyPoint>& keypoints,
                     InputOutputArray outImage,
                     const Scalar& color=Scalar::all(-1),
                     int flags=DrawMatchesFlags::DEFAULT );
    • 参数一:InputArray类型的image,;
    • 参数二:std::Vector<KeyPoint>类型的keypoints,原图的关键点;
    • 参数三:InputOutputArray类型的outImage,其内容取决于定义在输出图像。请参阅参数五的标志flag);
    • 参数四:cv::Scalar类型的color,绘制关键点的颜色,默认为Scalar::all(-1)随机颜色,每个点都是这个颜色,那么随机时,每个点都是随机的;
    • 参数五:int类型的flags,默认为DEFAULT,具体参照DrawMatchesFlags枚举如下:

      在这里插入图片描述


    相关博客

      本源码中包含了“透视变换”,请参照博文《OpenCV开发笔记(五十一):红胖子8分钟带你深入了解透视变换(图文并茂+浅显易懂+程序源码)


    Demo源码

    void OpenCVManager::testSiftFeatureDetector()
    {
        QString fileName1 = "16.jpg";
        int width = 400;
        int height = 300;
    
        cv::Mat srcMat = cv::imread(fileName1.toStdString());
        cv::resize(srcMat, srcMat, cv::Size(width, height));
    
        cv::String windowName = _windowTitle.toStdString();
        cvui::init(windowName);
    
        cv::Mat windowMat = cv::Mat(cv::Size(srcMat.cols * 2, srcMat.rows * 3),
                                    srcMat.type());
    
        cv::Ptr<cv::xfeatures2d::SIFT> _pSift = cv::xfeatures2d::SiftFeatureDetector::create();
    
        int k1x = 0;
        int k1y = 0;
        int k2x = 100;
        int k2y = 0;
        int k3x = 100;
        int k3y = 100;
        int k4x = 0;
        int k4y = 100;
        while(true)
        {
            windowMat = cv::Scalar(0, 0, 0);
    
            cv::Mat mat;
    
            // 原图先copy到左边
            mat = windowMat(cv::Range(srcMat.rows * 1, srcMat.rows * 2),
                            cv::Range(srcMat.cols * 0, srcMat.cols * 1));
            cv::addWeighted(mat, 0.0f, srcMat, 1.0f, 0.0f, mat);
    
            {
                std::vector<cv::KeyPoint> keyPoints1;
                std::vector<cv::KeyPoint> keyPoints2;
    
               cvui::printf(windowMat, 0 + width * 1, 10 + height * 0, "k1x");
               cvui::trackbar(windowMat, 0 + width * 1, 20 + height * 0, 165, &k1x, 0, 100);
               cvui::printf(windowMat, 0 + width * 1, 70 + height * 0, "k1y");
               cvui::trackbar(windowMat, 0 + width * 1, 80 + height * 0, 165, &k1y, 0, 100);
    
               cvui::printf(windowMat, width / 2 + width * 1, 10 + height * 0, "k2x");
               cvui::trackbar(windowMat, width / 2 + width * 1, 20 + height * 0, 165, &k2x, 0, 100);
               cvui::printf(windowMat, width / 2 + width * 1, 70 + height * 0, "k2y");
               cvui::trackbar(windowMat, width / 2 + width * 1, 80 + height * 0, 165, &k2y, 0, 100);
    
               cvui::printf(windowMat, 0 + width * 1, 10 + height * 0 + height / 2, "k3x");
               cvui::trackbar(windowMat, 0 + width * 1, 20 + height * 0 + height / 2, 165, &k3x, 0, 100);
               cvui::printf(windowMat, 0 + width * 1, 70 + height * 0 + height / 2, "k3y");
               cvui::trackbar(windowMat, 0 + width * 1, 80 + height * 0 + height / 2, 165, &k3y, 0, 100);
    
               cvui::printf(windowMat, width / 2 + width * 1, 10 + height * 0 + height / 2, "k4x");
               cvui::trackbar(windowMat, width / 2 + width * 1, 20 + height * 0 + height / 2, 165, &k4x, 0, 100);
               cvui::printf(windowMat, width / 2 + width * 1, 70 + height * 0 + height / 2, "k4y");
               cvui::trackbar(windowMat, width / 2 + width * 1, 80 + height * 0 + height / 2, 165, &k4y, 0, 100);
    
               std::vector<cv::Point2f> srcPoints;
               std::vector<cv::Point2f> dstPoints;
    
               srcPoints.push_back(cv::Point2f(0.0f, 0.0f));
               srcPoints.push_back(cv::Point2f(srcMat.cols - 1, 0.0f));
               srcPoints.push_back(cv::Point2f(srcMat.cols - 1, srcMat.rows - 1));
               srcPoints.push_back(cv::Point2f(0.0f, srcMat.rows - 1));
    
               dstPoints.push_back(cv::Point2f(srcMat.cols * k1x / 100.0f, srcMat.rows * k1y / 100.0f));
               dstPoints.push_back(cv::Point2f(srcMat.cols * k2x / 100.0f, srcMat.rows * k2y / 100.0f));
               dstPoints.push_back(cv::Point2f(srcMat.cols * k3x / 100.0f, srcMat.rows * k3y / 100.0f));
               dstPoints.push_back(cv::Point2f(srcMat.cols * k4x / 100.0f, srcMat.rows * k4y / 100.0f));
    
               cv::Mat M = cv::getPerspectiveTransform(srcPoints, dstPoints);
               cv::Mat srcMat2;
               cv::warpPerspective(srcMat,
                                   srcMat2,
                                   M,
                                   cv::Size(srcMat.cols, srcMat.rows),
                                   cv::INTER_LINEAR,
                                   cv::BORDER_CONSTANT,
                                   cv::Scalar::all(0));
    
               mat = windowMat(cv::Range(srcMat.rows * 1, srcMat.rows * 2),
                               cv::Range(srcMat.cols * 1, srcMat.cols * 2));
               cv::addWeighted(mat, 0.0f, srcMat2, 1.0f, 0.0f, mat);
    
               //特征点检测
               _pSift->detect(srcMat, keyPoints1);
               //绘制特征点(关键点)
               cv::Mat resultShowMat;
               cv::drawKeypoints(srcMat,
                                 keyPoints1,
                                 resultShowMat,
                                 cv::Scalar(0, 0, 255),
                                 cv::DrawMatchesFlags::DRAW_RICH_KEYPOINTS);
               mat = windowMat(cv::Range(srcMat.rows * 2, srcMat.rows * 3),
                               cv::Range(srcMat.cols * 0, srcMat.cols * 1));
               cv::addWeighted(mat, 0.0f, resultShowMat, 1.0f, 0.0f, mat);
    
               //特征点检测
               _pSift->detect(srcMat2, keyPoints2);
               //绘制特征点(关键点)
               cv::Mat resultShowMat2;
               cv::drawKeypoints(srcMat2,
                                 keyPoints2,
                                 resultShowMat2,
                                 cv::Scalar(0, 0, 255),
                                 cv::DrawMatchesFlags::DRAW_RICH_KEYPOINTS);
               mat = windowMat(cv::Range(srcMat.rows * 2, srcMat.rows * 3),
                               cv::Range(srcMat.cols * 1, srcMat.cols * 2));
               cv::addWeighted(mat, 0.0f, resultShowMat2, 1.0f, 0.0f, mat);
    
               cv::imshow(windowName, windowMat);
            }
            // 更新
            cvui::update();
            // 显示
            // esc键退出
            if(cv::waitKey(25) == 27)
            {
                break;
            }
        }
    }


    工程模板:对应版本号v1.57.0

      对应版本号v1.57.0

    上一篇:《OpenCV开发笔记(六十二):红胖子8分钟带你深入了解亚像素角点检测(图文并茂+浅显易懂+程序源码)
    下一篇:持续补充中…


    原博主博客地址:https://blog.csdn.net/qq21497936
    原博主博客导航:https://blog.csdn.net/qq21497936/article/details/102478062
    本文章博客地址:https://blog.csdn.net/qq21497936/article/details/106755662

    阅读 455

    推荐阅读