JavaCV 人脸识别三部曲之三：识别和预览

• @return 相同尺寸的灰度图片的 MAT 对象

*/

static Mat buildGrayImage(Mat src) {

return new Mat(src.rows(), src.cols(), CV_8UC1);

}

/**

• 初始化操作，例如模型下载

• @throws Exception

*/

void init() throws Exception;

/**

• 得到原始帧，做识别，添加框选

• @param frame

• @return

*/

Frame convert(Frame frame);

/**

• 释放资源

*/

void releaseOutputResource();

}

• 然后就是 DetectService 的实现类 DetectAndRecognizeService .java，功能是用摄像头的一帧图片检测人脸，再拿检测到的人脸给 RecognizeService 做识别，完整代码如下，有几处要注意的地方稍后提到：

package com.bolingcavalry.grabpush.extend;

import lombok.extern.slf4j.Slf4j;

import org.bytedeco.javacpp.Loader;

import org.bytedeco.javacv.Frame;

import org.bytedeco.javacv.OpenCVFrameConverter;

import org.bytedeco.opencv.opencv_core.*;

import org.bytedeco.opencv.opencv_objdetect.CascadeClassifier;

import java.io.File;

import java.net.URL;

import java.util.Map;

import static org.bytedeco.opencv.global.opencv_imgproc.*;

/**

• @author willzhao

• @version 1.0

• @description 音频相关的服务

• @date 2021/12/3 8:09

*/

@Slf4j

public class DetectAndRecognizeService implements DetectService {

/**

• 每一帧原始图片的对象

*/

private Mat grabbedImage = null;

/**

• 原始图片对应的灰度图片对象

*/

private Mat grayImage = null;

/**

• 分类器

*/

private CascadeClassifier classifier;

/**

• 转换器

*/

private OpenCVFrameConverter.ToMat converter = new OpenCVFrameConverter.ToMat();

/**

• 检测模型文件的下载地址

*/

private String detectModelFileUrl;

/**

• 处理每一帧的服务

*/

private RecognizeService recognizeService;

/**

• 为了显示的时候更加友好，给每个分类对应一个名称

*/

private Map<Integer, String> kindNameMap;

/**

• 构造方法

• @param detectModelFileUrl

• @param recognizeModelFilePath

• @param kindNameMap

*/

public DetectAndRecognizeService(String detectModelFileUrl, String recognizeModelFilePath, Map<Integer, String> kindNameMap) {

this.detectModelFileUrl = detectModelFileUrl;

this.recognizeService = new RecognizeService(recognizeModelFilePath);

this.kindNameMap = kindNameMap;

}

/**

• 音频采样对象的初始化

• @throws Exception

*/

@Override

public void init() throws Exception {

// 下载模型文件

URL url = new URL(detectModelFileUrl);

File file = Loader.cacheResource(url);

// 模型文件下载后的完整地址

String classifierName = file.getAbsolutePath();

// 根据模型文件实例化分类器

classifier = new CascadeClassifier(classifierName);

if (classifier == null) {

log.error("Error loading classifier file [{}]", classifierName);

System.exit(1);

}

}

@Override

public Frame convert(Frame frame) {

// 由帧转为 Mat

grabbedImage = converter.convert(frame);

// 灰度 Mat，用于检测

if (null==grayImage) {

grayImage = DetectService.buildGrayImage(grabbedImage);

}

// 进行人脸识别，根据结果做处理得到预览窗口显示的帧

return detectAndRecoginze(classifier, converter, frame, grabbedImage, grayImage, recognizeService, kindNameMap);

}

/**

• 程序结束前，释放人脸识别的资源

*/

@Override

public void releaseOutputResource() {

if (null!=grabbedImage) {

grabbedImage.release();

}

if (null!=grayImage) {

grayImage.release();

}

if (null==classifier) {

classifier.close();

}

}

/**

• 检测图片，将检测结果用矩形标注在原始图片上

• @param classifier 分类器

• @param converter Frame 和 mat 的转换器

• @param rawFrame 原始视频帧

• @param grabbedImage 原始视频帧对应的 mat

• @param grayImage 存放灰度图片的 mat

• @param kindNameMap 每个分类编号对应的名称

• @return 标注了识别结果的视频帧

*/

static Frame detectAndRecoginze(CascadeClassifier classifier,

OpenCVFrameConverter.ToMat converter,

Frame rawFrame,

Mat grabbedImage,

Mat grayImage,

RecognizeService recognizeService,

Map<Integer, String> kindNameMap) {

// 当前图片转为灰度图片

cvtColor(grabbedImage, grayImage, CV_BGR2GRAY);

// 存放检测结果的容器

RectVector objects = new RectVector();

// 开始检测

classifier.detectMultiScale(grayImage, objects);

// 检测结果总数

long total = objects.size();

// 如果没有检测到结果，就用原始帧返回

if (total<1) {

return rawFrame;

}

PredictRlt predictRlt;

int pos_x;

int pos_y;

int lable;

double confidence;

String content;

// 如果有检测结果，就根据结果的数据构造矩形框，画在原图上

for (long i = 0; i < total; i++) {

Rect r = objects.get(i);

// 核心代码，把检测到的人脸拿去识别

predictRlt = recognizeService.predict(new Mat(grayImage, r));

// 如果返回为空，表示出现过异常，就执行下一个

if (null==predictRlt) {

System.out.println("return null");

continue;

}

// 分类的编号（训练时只有 1 和 2，这里只有有三个值，1 和 2 与训练的分类一致，还有个-1 表示没有匹配上）

lable = predictRlt.getLable();

// 与模型中的分类的距离，值越小表示相似度越高

confidence = predictRlt.getConfidence();

// 得到分类编号后，从 map 中取得名字，用来显示

if (kindNameMap.containsKey(predictRlt.getLable())) {

content = String.format("%s, confidence : %.4f", kindNameMap.get(lable), confidence);

} else {

// 取不到名字的时候，就显示 unknown

content = "unknown(" + predictRlt.getLable() + ")";

System.out.println(content);

}

int x = r.x(), y = r.y(), w = r.width(), h = r.height();

rectangle(grabbedImage, new Point(x, y), new Point(x + w, y + h), Scalar.RED, 1, CV_AA, 0);

pos_x = Math.max(r.tl().x()-10, 0);

pos_y = Math.max(r.tl().y()-10, 0);

putText(grabbedImage, content, new Point(pos_x, pos_y), FONT_HERSHEY_PLAIN, 1.5, new Scalar(0,255,0,2.0));

}

// 释放检测结果资源

objects.close();

// 将标注过的图片转为帧，返回

return converter.convert(grabbedImage);

}

}

• 上述代码有几处要注意：

《一线大厂 Java 面试题解析+后端开发学习笔记+最新架构讲解视频+实战项目源码讲义》无偿开源 威信搜索公众号【编程进阶路】 1. 重点关注 detectAndRecoginze 方法，这里面先调用 classifier.detectMultiScale 检测出当前照片所有的人脸，然后把每一张人脸交个 recognizeService 进行识别，

2. 识别结果的 lable 是个 int 型的，看起来不够友好，因此从 kindNameMap 中根据 lable 找出对应的名称来

3. 最终给每个头像添加矩形框，还在左上角添加识别结果，以及 confidence 的值

4. 处理完毕后转为 Frame 对象返回，这样的帧显示在预览页面，效果就是视频中每个人被框选出来，并带有身份

• 现在核心代码已经写完，需要再写一些代码来使用 DetectAndRecognizeService

[](()编码：运行框架

• [《JavaCV 的摄像头实战之一：基础》](()创建的 simple-grab-push 工程中已经准备好了父类 AbstractCameraApplication，所以本篇继续使用该工程，创建子类实现那些抽象方法即可

• 编码前先回顾父类的基础结构，如下图，粗体是父类定义的各个方法，红色块都是需要子类来实现抽象方法，所以接下来，咱们以本地窗口预览为目标实现这三个红色方法即可：

• 新建文件 PreviewCameraWithIdentify.java，这是 AbstractCameraApplication 的子类，其代码很简单，接下来按上图顺序依次说明

• 先定义 CanvasFrame 类型的成员变量 previewCanvas，这是展示视频帧的本地窗口：

protected CanvasFrame previewCanvas

• 把前面创建的 DetectService 作为成员变量，后面检测的时候会用到：

/**

• 检测工具接口

*/

private DetectService detectService;

• PreviewCameraWithIdentify 的构造方法，接受 DetectService 的实例：

/**

• 不同的检测工具，可以通过构造方法传入

• @param detectService

*/

public PreviewCameraWithIdentify(DetectService detectService) {

this.detectService = detectService;

}

• 然后是初始化操作，可见是 previewCanvas 的实例化和参数设置，还有检测、识别的初始化操作：

@Override

protected void initOutput() throws Exception {

previewCanvas = new CanvasFrame("摄像头预览和身份识别", CanvasFrame.getDefaultGamma() / grabber.getGamma());

previewCanvas.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE);

previewCanvas.setAlwaysOnTop(true);

// 检测服务的初始化操作

detectService.init();

}

• 接下来是 output 方法，定义了拿到每一帧视频数据后做什么事情，这里调用了 detectService.convert 检测人脸并保存图片，然后在本地窗口显示：

@Override

protected void output(Frame frame) {

// 原始帧先交给检测服务处理，这个处理包括物体检测，再将检测结果标注在原始图片上，

// 然后转换为帧返回

Frame detectedFrame = detectService.convert(frame);

// 预览窗口上显示的帧是标注了检测结果的帧

previewCanvas.showImage(detectedFrame);

}

• 最后是处理视频的循环结束后，程序退出前要做的事情，先关闭本地窗口，再释放检测服务的资源：

@Override

protected void releaseOutputResource() {

if (null!= previewCanvas) {

previewCanvas.dispose();

}

// 检测工具也要释放资源

detectService.releaseOutputResource();

}

• 由于检测有些耗时，所以两帧之间的间隔时间要低于普通预览：

@Override

protected int getInterval() {

return super.getInterval()/8;

}

• 至此，功能已开发完成，再写上 main 方法，代码如下，有几处要注意的地方稍后说明：

public static void main(String[] args) {

String modelFileUrl = "https://raw.github.com/opencv/opencv/master/data/haarcascades/haarcascade_frontalface_alt.xml";

String recognizeModelFilePath = "E:\temp\202112\18\001\faceRecognizer.xml";

// 这里分类编号的身份的对应关系，和之前训练时候的设定要保持一致

Map<Integer, String> kindNameMap = new HashMap();

kindNameMap.put(1, "Man");

kindNameMap.put(2, "Woman");

// 检测服务

DetectService detectService = new DetectAndRecognizeService(modelFileUrl,recognizeModelFilePath, kindNameMap);

// 开始检测

new PreviewCameraWithIdentify(detectService).action(1000);

}

• 上述 main 方法中，有以下几处需要注意：

1. kindNameMap 是个 HashMap，里面放这每个分类编号对应的名称，我训练的模型中包含了两位群众演员的头像，给他们分别起名 Man 和 Woman

2. modelFileUrl 是人脸检测时用到的模型地址