写点什么

JavaCV 人脸识别三部曲之三:识别和预览

  • 2022 年 4 月 29 日
  • 本文字数:4286 字

    阅读完需:约 14 分钟

  • @return 相同尺寸的灰度图片的 MAT 对象


*/


static Mat buildGrayImage(Mat src) {


return new Mat(src.rows(), src.cols(), CV_8UC1);


}


/**


  • 初始化操作,例如模型下载

  • @throws Exception


*/


void init() throws Exception;


/**


  • 得到原始帧,做识别,添加框选

  • @param frame

  • @return


*/


Frame convert(Frame frame);


/**


  • 释放资源


*/


void releaseOutputResource();


}


  • 然后就是 DetectService 的实现类 DetectAndRecognizeService .java,功能是用摄像头的一帧图片检测人脸,再拿检测到的人脸给 RecognizeService 做识别,完整代码如下,有几处要注意的地方稍后提到:


package com.bolingcavalry.grabpush.extend;


import lombok.extern.slf4j.Slf4j;


import org.bytedeco.javacpp.Loader;


import org.bytedeco.javacv.Frame;


import org.bytedeco.javacv.OpenCVFrameConverter;


import org.bytedeco.opencv.opencv_core.*;


import org.bytedeco.opencv.opencv_objdetect.CascadeClassifier;


import java.io.File;


import java.net.URL;


import java.util.Map;


import static org.bytedeco.opencv.global.opencv_imgproc.*;


/**


  • @author willzhao

  • @version 1.0

  • @description 音频相关的服务

  • @date 2021/12/3 8:09


*/


@Slf4j


public class DetectAndRecognizeService implements DetectService {


/**


  • 每一帧原始图片的对象


*/


private Mat grabbedImage = null;


/**


  • 原始图片对应的灰度图片对象


*/


private Mat grayImage = null;


/**


  • 分类器


*/


private CascadeClassifier classifier;


/**


  • 转换器


*/


private OpenCVFrameConverter.ToMat converter = new OpenCVFrameConverter.ToMat();


/**


  • 检测模型文件的下载地址


*/


private String detectModelFileUrl;


/**


  • 处理每一帧的服务


*/


private RecognizeService recognizeService;


/**


  • 为了显示的时候更加友好,给每个分类对应一个名称


*/


private Map<Integer, String> kindNameMap;


/**


  • 构造方法

  • @param detectModelFileUrl

  • @param recognizeModelFilePath

  • @param kindNameMap


*/


public DetectAndRecognizeService(String detectModelFileUrl, String recognizeModelFilePath, Map<Integer, String> kindNameMap) {


this.detectModelFileUrl = detectModelFileUrl;


this.recognizeService = new RecognizeService(recognizeModelFilePath);


this.kindNameMap = kindNameMap;


}


/**


  • 音频采样对象的初始化

  • @throws Exception


*/


@Override


public void init() throws Exception {


// 下载模型文件


URL url = new URL(detectModelFileUrl);


File file = Loader.cacheResource(url);


// 模型文件下载后的完整地址


String classifierName = file.getAbsolutePath();


// 根据模型文件实例化分类器


classifier = new CascadeClassifier(classifierName);


if (classifier == null) {


log.error("Error loading classifier file [{}]", classifierName);


System.exit(1);


}


}


@Override


public Frame convert(Frame frame) {


// 由帧转为 Mat


grabbedImage = converter.convert(frame);


// 灰度 Mat,用于检测


if (null==grayImage) {


grayImage = DetectService.buildGrayImage(grabbedImage);


}


// 进行人脸识别,根据结果做处理得到预览窗口显示的帧


return detectAndRecoginze(classifier, converter, frame, grabbedImage, grayImage, recognizeService, kindNameMap);


}


/**


  • 程序结束前,释放人脸识别的资源


*/


@Override


public void releaseOutputResource() {


if (null!=grabbedImage) {


grabbedImage.release();


}


if (null!=grayImage) {


grayImage.release();


}


if (null==classifier) {


classifier.close();


}


}


/**


  • 检测图片,将检测结果用矩形标注在原始图片上

  • @param classifier 分类器

  • @param converter Frame 和 mat 的转换器

  • @param rawFrame 原始视频帧

  • @param grabbedImage 原始视频帧对应的 mat

  • @param grayImage 存放灰度图片的 mat

  • @param kindNameMap 每个分类编号对应的名称

  • @return 标注了识别结果的视频帧


*/


static Frame detectAndRecoginze(CascadeClassifier classifier,


OpenCVFrameConverter.ToMat converter,


Frame rawFrame,


Mat grabbedImage,


Mat grayImage,


RecognizeService recognizeService,


Map<Integer, String> kindNameMap) {


// 当前图片转为灰度图片


cvtColor(grabbedImage, grayImage, CV_BGR2GRAY);


// 存放检测结果的容器


RectVector objects = new RectVector();


// 开始检测


classifier.detectMultiScale(grayImage, objects);


// 检测结果总数


long total = objects.size();


// 如果没有检测到结果,就用原始帧返回


if (total<1) {


return rawFrame;


}


PredictRlt predictRlt;


int pos_x;


int pos_y;


int lable;


double confidence;


String content;


// 如果有检测结果,就根据结果的数据构造矩形框,画在原图上


for (long i = 0; i < total; i++) {


Rect r = objects.get(i);


// 核心代码,把检测到的人脸拿去识别


predictRlt = recognizeService.predict(new Mat(grayImage, r));


// 如果返回为空,表示出现过异常,就执行下一个


if (null==predictRlt) {


System.out.println("return null");


continue;


}


// 分类的编号(训练时只有 1 和 2,这里只有有三个值,1 和 2 与训练的分类一致,还有个-1 表示没有匹配上)


lable = predictRlt.getLable();


// 与模型中的分类的距离,值越小表示相似度越高


confidence = predictRlt.getConfidence();


// 得到分类编号后,从 map 中取得名字,用来显示


if (kindNameMap.containsKey(predictRlt.getLable())) {


content = String.format("%s, confidence : %.4f", kindNameMap.get(lable), confidence);


} else {


// 取不到名字的时候,就显示 unknown


content = "unknown(" + predictRlt.getLable() + ")";


System.out.println(content);


}


int x = r.x(), y = r.y(), w = r.width(), h = r.height();


rectangle(grabbedImage, new Point(x, y), new Point(x + w, y + h), Scalar.RED, 1, CV_AA, 0);


pos_x = Math.max(r.tl().x()-10, 0);


pos_y = Math.max(r.tl().y()-10, 0);


putText(grabbedImage, content, new Point(pos_x, pos_y), FONT_HERSHEY_PLAIN, 1.5, new Scalar(0,255,0,2.0));


}


// 释放检测结果资源


objects.close();


// 将标注过的图片转为帧,返回


return converter.convert(grabbedImage);


}


}


  • 上述代码有几处要注意:


《一线大厂 Java 面试题解析+后端开发学习笔记+最新架构讲解视频+实战项目源码讲义》无偿开源 威信搜索公众号【编程进阶路】 1. 重点关注 detectAndRecoginze 方法,这里面先调用 classifier.detectMultiScale 检测出当前照片所有的人脸,然后把每一张人脸交个 recognizeService 进行识别,


  1. 识别结果的 lable 是个 int 型的,看起来不够友好,因此从 kindNameMap 中根据 lable 找出对应的名称来

  2. 最终给每个头像添加矩形框,还在左上角添加识别结果,以及 confidence 的值

  3. 处理完毕后转为 Frame 对象返回,这样的帧显示在预览页面,效果就是视频中每个人被框选出来,并带有身份


  • 现在核心代码已经写完,需要再写一些代码来使用 DetectAndRecognizeService

[](()编码:运行框架

  • [《JavaCV 的摄像头实战之一:基础》](()创建的 simple-grab-push 工程中已经准备好了父类 AbstractCameraApplication,所以本篇继续使用该工程,创建子类实现那些抽象方法即可

  • 编码前先回顾父类的基础结构,如下图,粗体是父类定义的各个方法,红色块都是需要子类来实现抽象方法,所以接下来,咱们以本地窗口预览为目标实现这三个红色方法即可:



  • 新建文件 PreviewCameraWithIdentify.java,这是 AbstractCameraApplication 的子类,其代码很简单,接下来按上图顺序依次说明

  • 先定义 CanvasFrame 类型的成员变量 previewCanvas,这是展示视频帧的本地窗口:


protected CanvasFrame previewCanvas


  • 把前面创建的 DetectService 作为成员变量,后面检测的时候会用到:


/**


  • 检测工具接口


*/


private DetectService detectService;


  • PreviewCameraWithIdentify 的构造方法,接受 DetectService 的实例:


/**


  • 不同的检测工具,可以通过构造方法传入

  • @param detectService


*/


public PreviewCameraWithIdentify(DetectService detectService) {


this.detectService = detectService;


}


  • 然后是初始化操作,可见是 previewCanvas 的实例化和参数设置,还有检测、识别的初始化操作:


@Override


protected void initOutput() throws Exception {


previewCanvas = new CanvasFrame("摄像头预览和身份识别", CanvasFrame.getDefaultGamma() / grabber.getGamma());


previewCanvas.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE);


previewCanvas.setAlwaysOnTop(true);


// 检测服务的初始化操作


detectService.init();


}


  • 接下来是 output 方法,定义了拿到每一帧视频数据后做什么事情,这里调用了 detectService.convert 检测人脸并保存图片,然后在本地窗口显示:


@Override


protected void output(Frame frame) {


// 原始帧先交给检测服务处理,这个处理包括物体检测,再将检测结果标注在原始图片上,


// 然后转换为帧返回


Frame detectedFrame = detectService.convert(frame);


// 预览窗口上显示的帧是标注了检测结果的帧


previewCanvas.showImage(detectedFrame);


}


  • 最后是处理视频的循环结束后,程序退出前要做的事情,先关闭本地窗口,再释放检测服务的资源:


@Override


protected void releaseOutputResource() {


if (null!= previewCanvas) {


previewCanvas.dispose();


}


// 检测工具也要释放资源


detectService.releaseOutputResource();


}


  • 由于检测有些耗时,所以两帧之间的间隔时间要低于普通预览:


@Override


protected int getInterval() {


return super.getInterval()/8;


}


  • 至此,功能已开发完成,再写上 main 方法,代码如下,有几处要注意的地方稍后说明:


public static void main(String[] args) {


String modelFileUrl = "https://raw.github.com/opencv/opencv/master/data/haarcascades/haarcascade_frontalface_alt.xml";


String recognizeModelFilePath = "E:\temp\202112\18\001\faceRecognizer.xml";


// 这里分类编号的身份的对应关系,和之前训练时候的设定要保持一致


Map<Integer, String> kindNameMap = new HashMap();


kindNameMap.put(1, "Man");


kindNameMap.put(2, "Woman");


// 检测服务


DetectService detectService = new DetectAndRecognizeService(modelFileUrl,recognizeModelFilePath, kindNameMap);


// 开始检测


new PreviewCameraWithIdentify(detectService).action(1000);


}


  • 上述 main 方法中,有以下几处需要注意:


  1. kindNameMap 是个 HashMap,里面放这每个分类编号对应的名称,我训练的模型中包含了两位群众演员的头像,给他们分别起名 Man 和 Woman

  2. modelFileUrl 是人脸检测时用到的模型地址

用户头像

还未添加个人签名 2022.04.13 加入

还未添加个人简介

评论

发布
暂无评论
JavaCV人脸识别三部曲之三:识别和预览_Java_爱好编程进阶_InfoQ写作社区