OpenCV 在 Android 上的应用

用户头像
fengzhizi715
关注
发布于: 2020 年 04 月 28 日
OpenCV 在 Android 上的应用

一. OpenCV 介绍



OpenCV是一个基于BSD许可(开源)发行的跨平台计算机视觉库,可以运行在Linux、Windows、Android和Mac OS操作系统上。它轻量级而且高效——由一系列 C 函数和少量 C++ 类构成,同时提供了Python、Ruby、MATLAB等语言的接口,实现了图像处理和计算机视觉方面的很多通用算法。



在移动端上使用 OpenCV 可以完成一系列图像处理的工作。



二. OpenCV 在 Android 上的配置



我在项目中使用的 OpenCV 版本是 4.x。



在 Android Studio 中创建一个 Library,将官网下载的 OpenCV 导入后,就可以直接调用 OpenCV 中 Java 类的方法。



如果想调用 C++ 的类,也可以使用 CMake 创建环境,然后通过 include 文件放入指定路径。



下面是项目中使用的 CMakeLists.txt



cmakeminimumrequired(VERSION 3.6.0)
includedirectories(
${CMAKESOURCEDIR}/src/main/cpp/include
)
addlibrary(libopencvjava4 SHARED IMPORTED)
settargetproperties(
libopencvjava4
PROPERTIES IMPORTEDLOCATION
${CMAKESOURCEDIR}/src/main/jniLibs/libs/${ANDROIDABI}/libopencvjava4.so)
addlibrary(libc++shared SHARED IMPORTED)
settargetproperties(
libc++shared
PROPERTIES IMPORTEDLOCATION
${CMAKESOURCEDIR}/src/main/jniLibs/libs/${ANDROIDABI}/libc++shared.so)
addlibrary(
detect
SHARED
src/main/cpp/detect-lib.cpp
src/main/cpp/detect-phone.cpp
)
findlibrary(
log-lib
log
)
targetlinklibraries(
detect libopencvjava4 libc++_shared jnigraphics
${log-lib}
)



其中,detect-lib.cpp 和 detect-phone.cpp 是我创建的 C++ 类。打成 so 文件时,会包含这2个类。



三. 例子两则



3.1 作为二维码识别的兜底方案



在 Android 原生开发中,二维码识别有老牌的 zxing 等开源库。为何还要使用 OpenCV 呢?



因为 OpenCV 有自己的优势,借助它可以定位到二维码的位置,一般识别不到二维码的内容大多是因为找不到它的位置。要是能够找到位置,就可以快速识别二维码的内容。



这样一来,识别二维码时需要先拍一张照,从图像中找出二维码的位置。当然,还可以对图像进行预处理,以便能够更好地找到二维码的位置。



下面的代码,展示了在应用层拍完照之后,将图片的路径传到 jni 层将其转换成对应的 Mat 对象,再转换成灰度图像,然后找出二维码的位置,要是能够找到的话就识别出二维码的内容。



extern "C"
JNIEXPORT jstring JNICALL
JavacomxxxsdkutilsDetectUtilsqrDetect(JNIEnv env, jclass jc,jstring filePath) {
const char filepathstr = env->GetStringUTFChars(filePath, 0);
string path = filepathstr;
Mat src = imread(path);
Mat gray, qrcoderoi;
cvtColor(src, gray, COLORBGR2GRAY);
QRCodeDetector qrcodedetector;
vector<Point> pts;
string detectinfo;
bool detresult = qrcodedetector.detect(gray, pts);
if (detresult) {
detectinfo = qrcodedetector.decode(gray, pts, qrcoderoi);
return env->NewStringUTF(detectinfo.cstr());
} else {
detectinfo = "";
return env->NewStringUTF(detectinfo.c_str());
}
}



对应的 Java 代码,方便应用层调用 jni 层的 qrDetect()



public class DetectUtils {
static {
System.loadLibrary("detect");
}
/*
识别二维码
@param filePath
@return
*/
public static native String qrDetect(String filePath);
......
}



最后是应用层的调用



// 使用 OpenCV 进行二维码识别
val result = DetectUtils.qrDetect(filePath)
L.d("opencvs识别二维码: $result")



3.2 比对图像的差异



在我们的实际开发中遇到一个应用场景:需要判断我们的手机回收机里面是否存放了物体。(手机回收机是一个触摸屏设备,可以通过 Android 系统来操作内部的硬件设备。)



我们事先拍一张回收机内没有物体的图作为基准图像,等到需要判断是否存在物体时再拍一张图片。两幅图片对比看比例,比列超过阈值则认为回收机内存在着物体。



下面的代码,展示了在应用层拍完照之后,跟基准图片进行比对,并返回结果。



extern "C"
JNIEXPORT jboolean JNICALL
JavacomxxxsdkutilsDetectUtilscheckPhoneInMTA(JNIEnv env, jclass jc,jstring baseImgPath,jstring filePath) {
jboolean tRet = false;
const char filepathstr = env->GetStringUTFChars(filePath, 0);
string path = filepathstr;
Mat src = imread(path);
const char *baseimgpathstr = env->GetStringUTFChars(baseImgPath, 0);
string basePath = baseimgpathstr;
Mat baseImg = imread(basePath);
int result = checkPhoneInBox(baseImg,src,40,0.1);
LOGI("checkPhoneInBox result = %d",result);
if (result == 0) {
tRet = true;
}
return tRet;
}



两张图片真正的比对是在 checkPhoneInBox() 中完成的。其中,maxFilter() 是为了处理彩色的情况,然后使用高斯滤波进行降噪处理,再进行二值化处理,最后判断灰度差异区域占总图像的比列是否超过预先设定的阈值。



int checkPhoneInBox(cv::Mat baseImg, cv::Mat snapImg, int diffThresh, double threshRatio) {
cv::Mat baseMaxImg, snapMaxImg,baseGausImg, snapGausImg;
if (baseImg.empty()|| snapImg.empty())
{
return -1;
}
try {
maxFilter(baseImg, baseMaxImg);
maxFilter(snapImg, snapMaxImg);
} catch (...) {
return -1;
}
cv::GaussianBlur(baseMaxImg, baseGausImg, cv::Size(5, 5),0);
cv::GaussianBlur(snapMaxImg, snapGausImg, cv::Size(5, 5),0);
cv::Mat diff,diffBin;
cv::Mat noMax;
cv::absdiff(baseGausImg, snapGausImg, diff);
cv::threshold(diff, diffBin, diffThresh, 255, cv::THRESHBINARY);
float ratio = (float)cv::countNonZero(diffBin) / (long)diffBin.total();
LOGI("ratio = %f,%d,%ld",ratio,cv::countNonZero(diffBin),(long)diffBin.total());
if (ratio > threshRatio)
{
return 0;
}
else
{
return 1;
}
}
int maxFilter(cv::Mat baseImg, cv::Mat &maxImg)
{
if (baseImg.channels() <3)
{
maxImg = baseImg.clone();
}
else
{
maxImg.create(baseImg.size(), CV8UC1);
for (int r=0;r<baseImg.rows;r++)
{
for (int c = 0; c < baseImg.cols; c++)
{
uchar maxTmp=0;
cv::Vec3b s = baseImg.at<cv::Vec3b>(r, c);
maxTmp = (std::max)(s[0],s[1]);
maxTmp = (std::max)(maxTmp,s[2]);
maxImg.at<uchar>(r, c) = maxTmp;
}
}
}
return 0;
}



对应的 Java 代码,方便应用层调用 jni 层的 checkPhoneInMTA()



public class DetectUtils {
static {
System.loadLibrary("detect");
}
/*
判断MTA中是否有手机
@param baseImageFilePath 基准的图片
@param filePath 拍摄的图片
@return
/
public static native boolean checkPhoneInMTA(String baseImageFilePath, String filePath);
......
}



最后是应用层的调用



val result = DetectUtils.checkPhoneInMTA(Constants.OPENCVPHOTOPATH, it.absolutePath)



四. 总结



OpenCV 是一款功能强大的图像处理库。但是它本身体积也较大,在移动端使用至少会增加 Android Apk 包 10 M+ 的体积(主要取决于 App 要支持多少个 CPU 架构)。如果很介意的话,可以考虑自行裁剪 OpenCV,然后再进行编译。



我所在的部门隶属于中台部门,主要输出接口和 SDK。在 SDK 中使用 OpenCV 的确会给业务方造成困扰,未来也会考虑如何减少 SDK 的体积,以及把 SDK 做成模块化。



发布于: 2020 年 04 月 28 日 阅读数: 979
用户头像

fengzhizi715

关注

还未添加个人签名 2019.02.26 加入

《RxJava 2.x 实战》 作者

评论

发布
暂无评论
OpenCV 在 Android 上的应用