JavaCV的摄像头实战之八：人脸检测

欢迎访问我的GitHub

这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos

本篇概览

本文是《JavaCV的摄像头实战》的第八篇，前面的操作夯实了的帧和流处理的基本功，接下来开始实现一些常见的CV能力，就从本篇的人检测别开始吧
OpenCV中常用的人脸检测是基于Haar特征的级联分类器，本篇借助JavaCV来使用该分类器实现人脸检测
简单的设计
编码之前先把要做的事情梳理一下：
检测功能可能用在多个场景：窗口预览、推流、存文件都可能用到，所以检测功能的代码最好独立出来，不要和预览、推流这些代码写在一起，如下图，检测的接口DetectService会作为每个应用的成员变量存在：
检测服务不仅是人脸检测，今后还有人体检测、物体检测等等，所以设计一个检测服务接口DetectService，人脸检测、人体检测、物体检测这些类都是这个接口的实现，如下图所示，对于预览、推流、存文件这个应用的代码，直接使用接口的API即可，具体检测的实现类可以在初始化的时候确定
聪明的您应该会觉得欣宸的水平过于原始：上面的设计不就是Spring的依赖注入吗？为啥不用呢？其实这个系列的重点是JavaCV，所以保持代码简单吧，不引入Spring框架了
总的来说，今天的要写的代码如下图所示，绿色块的AbstractCameraApplication类已在《JavaCV的摄像头实战之一：基础》一文中完成，其余三个全部在本篇编写，包括两个java类、一个接口：
分析得差不多了，开始编码，先写接口DetectService
检测服务接口DetectService

新增接口DetectService.java，里面有三个方法定义：

  /**
   * 初始化操作，例如模型下载
   * @throws Exception
   */
  void init() throws Exception;

  /**
   * 得到原始帧，做检测，添加框选
   * @param frame
   * @return
   */
  Frame convert(Frame frame);

  /**
   * 释放资源
   */
  void releaseOutputResource();

另外还有两个静态方法，也放在DetectService.java中，第一个是buildGrayImage，该方法会根据入参Mat的尺寸新建一个Mat对象，新建的对象用于保存灰度图片，因为检测时用的是灰度图片而不是原图：

  /**
   * 根据传入的MAT构造相同尺寸的MAT，存放灰度图片用于以后的检测
   * @param src 原始图片的MAT对象
   * @return 相同尺寸的灰度图片的MAT对象
   */
  static Mat buildGrayImage(Mat src) {
      return new Mat(src.rows(), src.cols(), CV_8UC1);
  }

第二个方法是第一个是detect，该方法非常重要：将原图转为灰度图片，再用指定的分类器检测，将检测结果在原图上标注出来，标注后的Mat转为Frame对象返回：

  /**
   * 检测图片，将检测结果用矩形标注在原始图片上
   * @param classifier 分类器
   * @param converter Frame和mat的转换器
   * @param rawFrame 原始视频帧
   * @param grabbedImage 原始视频帧对应的mat
   * @param grayImage 存放灰度图片的mat
   * @return 标注了检测结果的视频帧
   */
  static Frame detect(CascadeClassifier classifier,
                      OpenCVFrameConverter.ToMat converter,
                      Frame rawFrame,
                      Mat grabbedImage,
                      Mat grayImage) {

      // 当前图片转为灰度图片
      cvtColor(grabbedImage, grayImage, CV_BGR2GRAY);

      // 存放检测结果的容器
      RectVector objects = new RectVector();

      // 开始检测
      classifier.detectMultiScale(grayImage, objects);

      // 检测结果总数
      long total = objects.size();

      // 如果没有检测到结果，就用原始帧返回
      if (total<1) {
          return rawFrame;
      }

      // 如果有检测结果，就根据结果的数据构造矩形框，画在原图上
      for (long i = 0; i < total; i++) {
          Rect r = objects.get(i);
          int x = r.x(), y = r.y(), w = r.width(), h = r.height();
          rectangle(grabbedImage, new Point(x, y), new Point(x + w, y + h), Scalar.RED, 1, CV_AA, 0);
      }

      // 释放检测结果资源
      objects.close();

      // 将标注过的图片转为帧，返回
      return converter.convert(grabbedImage);
  }

以上就是接口DetectService.java的全部：三个方法定义，两个静态方法，接下来就是接口的实现类了

人脸检测功能的实现类

前面的DetectService接口仅定义了三个方法：初始化(init)、检测(convert)、资源释放(releaseOutputResource)，现在开发这个接口的实现类HaarCascadeDetectService.java，实现真正的人脸检测功能

完整代码如下，核心是init方法中实例化的分类器classifier，以及负责处理每一帧的convert方法，这里面会中调用刚才写的静态方法DetectService.detect，把原始帧转换成标注了检测结果的帧：

package com.bolingcavalry.grabpush.extend;

import lombok.extern.slf4j.Slf4j;
import org.bytedeco.javacpp.Loader;
import org.bytedeco.javacv.Frame;
import org.bytedeco.javacv.OpenCVFrameConverter;
import org.bytedeco.opencv.opencv_core.Mat;
import org.bytedeco.opencv.opencv_objdetect.CascadeClassifier;
import java.io.File;
import java.net.URL;

/**
 * @author willzhao
 * @version 1.0
 * @description Haar检测的实现类
 * @date 2021/12/3 8:09
 */
@Slf4j
public class HaarCascadeDetectService implements DetectService {

  /**
   * 每一帧原始图片的对象
   */
  private Mat grabbedImage = null;

  /**
   * 原始图片对应的灰度图片对象
   */
  private Mat grayImage = null;

  /**
   * 分类器
   */
  private CascadeClassifier classifier;

  /**
   * 转换器
   */
  private OpenCVFrameConverter.ToMat converter = new OpenCVFrameConverter.ToMat();

  /**
   * 模型文件的下载地址
   */
  private String modelFileUrl;

  /**
   * 构造方法，在此指定模型文件的下载地址
   * @param modelFileUrl
   */
  public HaarCascadeDetectService(String modelFileUrl) {
      this.modelFileUrl = modelFileUrl;
  }
  
  /**
   * 音频采样对象的初始化
   * @throws Exception
   */
  @Override
  public void init() throws Exception {
      // 下载模型文件
      URL url = new URL(modelFileUrl);
      File file = Loader.cacheResource(url);
      
      // 模型文件下载后的完整地址
      String classifierName = file.getAbsolutePath();

      // 根据模型文件实例化分类器
      classifier = new CascadeClassifier(classifierName);

      if (classifier == null) {
          log.error("Error loading classifier file [{}]", classifierName);
          System.exit(1);
      }
  }

  @Override
  public Frame convert(Frame frame) {
      // 由帧转为Mat
      grabbedImage = converter.convert(frame);

      // 灰度Mat，用于检测
      if (null==grayImage) {
          grayImage = DetectService.buildGrayImage(grabbedImage);
      }

      // 进行人脸检测，根据结果做处理得到预览窗口显示的帧
      return DetectService.detect(classifier, converter, frame, grabbedImage, grayImage);
  }

  /**
   * 程序结束前，释放人脸检测的资源
   */
  @Override
  public void releaseOutputResource() {
      if (null!=grabbedImage) {
          grabbedImage.release();
      }

      if (null!=grayImage) {
          grayImage.release();
      }

      if (null==classifier) {
          classifier.close();
      }
  }
}

主程序PreviewCameraWithDetect

在《JavaCV的摄像头实战之一：基础》一文创建的simple-grab-push工程中已经准备好了父类AbstractCameraApplication，所以本篇继续使用该工程，创建子类实现那些抽象方法即可
编码前先回顾父类的基础结构，如下图，粗体是父类定义的各个方法，红色块都是需要子类来实现抽象方法，所以接下来，咱们以本地窗口预览为目标实现这三个红色方法即可：
新建文件PreviewCameraWithDetect.java，这是AbstractCameraApplication的子类，其代码很简单，接下来按上图顺序依次说明
先定义CanvasFrame类型的成员变量previewCanvas，这是展示视频帧的本地窗口：
```
protected CanvasFrame previewCanvas
```

还要定义DetectService类型的成员变量，用于稍后的检测操作，并在构造方法中对改成员变量赋值：

  /**
   * 检测工具接口
   */
  private DetectService detectService;
  
  /**
   * 不同的检测工具，可以通过构造方法传入
   * @param detectService
   */
  public PreviewCameraWithDetect(DetectService detectService) {
      this.detectService = detectService;
  }

然后是初始化操作，除了previewCanvas的实例化和参数设置，还要调用检测服务的初始化方法：

  @Override
  protected void initOutput() throws Exception {
      previewCanvas = new CanvasFrame("摄像头预览", CanvasFrame.getDefaultGamma() / grabber.getGamma());
      previewCanvas.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE);
      previewCanvas.setAlwaysOnTop(true);

      // 检测服务的初始化操作
      detectService.init();
  }

接下来是output方法，定义了拿到每一帧视频数据后做什么事情，这里会交给检测服务去处理，将处理结果在本地窗口显示：

  @Override
  protected void output(Frame frame) {
      // 原始帧先交给检测服务处理，这个处理包括物体检测，再将检测结果标注在原始图片上，
      // 然后转换为帧返回
      Frame detectedFrame = detectService.convert(frame);
      // 预览窗口上显示的帧是标注了检测结果的帧
      previewCanvas.showImage(detectedFrame);
  }

由于检测服务也会耗时，所以这里调整每帧输出后的等待时间，以免预览时卡顿，请依照自己电脑CPU性能调整，我这里改为原有时长的八分之一：
```
  @Override
  protected int getInterval() {
      return super.getInterval()/8;
  }
```

最后是处理视频的循环结束后，程序退出前要做的事情，即关闭本地窗口，另外还要调用检测服务的releaseOutputResource来释放其相关资源：

  @Override
  protected void releaseOutputResource() {
      if (null!= previewCanvas) {
          previewCanvas.dispose();
      }

      // 检测工具也要释放资源
      detectService.releaseOutputResource();
  }

至此，用本地窗口预览摄像头的功能已开发完成，再写上main方法，注意参数100表示预览持续时间是100秒，modelFileUrl是模型文件在GitHub上的地址（注释掉的那个是人体的，您也可以试试）：

  public static void main(String[] args) {
      String modelPath = "https://raw.github.com/opencv/opencv/master/data/haarcascades/haarcascade_frontalface_alt.xml";
//        String modelPath = "https://raw.github.com/opencv/opencv/master/data/haarcascades/haarcascade_upperbody.xml";
      new PreviewCameraWithDetect(new HaarCascadeDetectService(modelPath)).action(1000);
  }

运行main方法即可启动程序，如下图，预览窗口中如果有人像，人脸上就会出现红框（为了不侵犯群众演员的肖像权，手动对面部做了马赛克处理）：
至此，本地窗口预览集成人脸检测的功能就完成了，得益于JavaCV的强大，整个过程是如此的轻松愉快，接下来请继续关注欣宸原创，《JavaCV的摄像头实战》系列还会呈现更多丰富的应用；
本文涉及的所有代码都能在接下来的介绍的GitHub仓库中找到
源码下载
《JavaCV的摄像头实战》的完整源码可在GitHub下载到，地址和链接信息如下表所示(https://github.com/zq2599/blog_demos)：

名称	链接	备注
项目主页	https://github.com/zq2599/blog_demos	该项目在GitHub上的主页
git仓库地址(https)	https://github.com/zq2599/blog_demos.git	该项目源码的仓库地址，https协议
git仓库地址(ssh)	git@github.com:zq2599/blog_demos.git	该项目源码的仓库地址，ssh协议

这个git项目中有多个文件夹，本篇的源码在javacv-tutorials文件夹下，如下图红框所示：
javacv-tutorials里面有多个子工程，《JavaCV的摄像头实战》系列的代码在simple-grab-push工程下：
欢迎关注思否：程序员欣宸

学习路上，你不孤单，欣宸原创一路相伴...

JavaCV的摄像头实战之八：人脸检测

欢迎访问我的GitHub

本篇概览

简单的设计

检测服务接口DetectService

人脸检测功能的实现类

主程序PreviewCameraWithDetect

源码下载

欢迎关注思否：程序员欣宸

程序员欣宸

引用和评论

quarkus依赖注入之十二：禁用类级别拦截器

Jerry和您聊聊Chrome开发者工具

在Java程序中监听mysql的binlog

构建自定义Feign客户端demo

Bitmap 和布隆过滤器傻傻分不清？你这不应该啊

Just for fun——迅速写完快速排序

Spring 实现 3 种异步流式接口，干掉接口超时烦恼

JavaCV的摄像头实战之八：人脸检测

欢迎访问我的GitHub

本篇概览

简单的设计

检测服务接口DetectService

人脸检测功能的实现类

主程序PreviewCameraWithDetect

源码下载

欢迎关注思否：程序员欣宸

程序员欣宸

引用和评论

quarkus依赖注入之十二：禁用类级别拦截器

Jerry和您聊聊Chrome开发者工具

在Java程序中监听mysql的binlog

构建自定义Feign客户端demo

Bitmap 和 布隆过滤器傻傻分不清？你这不应该啊

Just for fun——迅速写完快速排序

Spring 实现 3 种异步流式接口，干掉接口超时烦恼

Bitmap 和布隆过滤器傻傻分不清？你这不应该啊