如何通过 Serverless 轻松识别验证码？
作者 | 江昱
来源 | Serverless 公众号
前言
Serverless 概念自被提出就倍受关注，尤其是近些年来 Serverless 焕发出了前所未有的活力，各领域的工程师都在试图将 Serverless 架构与自身工作相结合，以获取到 Serverless 架构所带来的“技术红利”。
验证码(CAPTCHA)是“Completely Automated Public Turing test to tell Computers and Humans Apart”（全自动区分计算机和人类的图灵测试）的缩写，是一种区分用户是计算机还是人的公共全自动程序。可以防止恶意破解密码、刷票、论坛灌水，有效防止某个黑客对某一个特定注册用户用特定程序暴力破解方式进行不断地登陆尝试。实际上验证码是现在很多网站通行的方式，我们利用比较简易的方式实现了这个功能。CAPTCHA 的问题由计算机生成并评判，但是这个问题只有人类才能解答，计算机是无法解答的，所以回答出问题的用户就可以被认为是人类。说白了，验证码就是用来验证的码，验证是人访问的还是机器访问的“码”。
那么人工智能领域中的验证码识别与 Serverless 架构会碰撞出哪些火花呢？本文将通过 Serverless 架构和卷积神经网络（CNN）算法，实现验证码识别功能。
浅谈验证码
验证码的发展，可以说是非常迅速的，从开始的单纯数字验证码，到后来的数字+字母验证码，再到后来的数字+字母+中文的验证码以及图形图像验证码，单纯的验证码素材已经越来越多了。从验证码的形态来看，也是各不相同，输入、点击、拖拽以及短信验证码、语音验证码……
Bilibili 的登录验证码就包括了多种模式，例如滑动滑块进行验证：
例如，通过依次点击文字进行验证：
而百度贴吧、知乎、以及 Google 等相关网站的验证码又各不相同，例如选择正着写的文字、选择包括指定物体的图片以及按顺序点击图片中的字符等。
验证码的识别可能会根据验证码的类型而不太一致，当然最简单的验证码可能就是最原始的文字验证码了：
即便是文字验证码，也是存在很多差异的，例如简单的数字验证码、简单的数字+字母验证码、文字验证码、验证码中包括计算、简单验证码中增加一些干扰成为复杂验证码等。
验证码识别
1. 简单验证码识别
验证码识别是一个古老的研究领域，简单说就是把图片上的文字转化为文本的过程。最近几年，随着大数据的发展，广大爬虫工程师在对抗反爬策略时，对验证码的识别要求也越来越高。在简单验证码的时代，验证码的识别主要是针对文本验证码，通过图像的切割，对验证码每一部分进行裁剪，然后再对每个裁剪单元进行相似度对比，获得最可能的结果，最后进行拼接，例如将验证码：
进行二值化等操作：
完成之后再进行切割：
切割完成再进行识别，最后进行拼接，这样的做法是，针对每个字符进行识别，相对来说是比较容易的。
但是随着时间的发展，在这种简单验证码逐渐无法满足判断“是人还是机器”的问题时，验证码进行了一次小升级，即验证码上面增加了一些干扰线，或者验证码进行了严重的扭曲，增加了强色块干扰，例如 Dynadot 网站的验证码：
不仅有图像扭曲重叠，还有干扰线和色块干扰。这个时候想要识别验证码，简单的切割识别就很难获得良好的效果了，这时通过深度学习反而可以获得不错的效果。
2. 基于 CNN 的验证码识别
卷积神经网络（Convolutional Neural Network，简称 CNN），是一种前馈神经网络，人工神经元可以响应周围单元，进行大型图像处理。卷积神经网络包括卷积层和池化层。
如图所示，左图是传统的神经网络，其基本结构是：输入层、隐含层、输出层。右图则是卷积神经网络，其结构由输入层、输出层、卷积层、池化层、全连接层构成。卷积神经网络其实是神经网络的一种拓展，而事实上从结构上来说，朴素的 CNN 和朴素的 NN 没有任何区别（当然，引入了特殊结构的、复杂的 CNN 会和 NN 有着比较大的区别）。相对于传统神经网络，CNN 在实际效果中让我们的网络参数数量大大地减少，这样我们可以用较少的参数，训练出更加好的模型，典型的事半功倍，而且可以有效地避免过拟合。同样，由于 filter 的参数共享，即使图片进行了一定的平移操作，我们照样可以识别出特征，这叫做 “平移不变性”。因此，模型就更加稳健了。
1）验证码生成
验证码的生成是非常重要的一个步骤，因为这一部分的验证码将会作为我们的训练集和测试集，同时最终我们的模型可以识别什么类型的验证码，也是和这部分有关。
通过上述代码，可以生成简单的中英文验证码：
2）模型训练
模型训练的代码如下（部分代码来自网络）。
util.py 文件，主要是一些提取出来的公有方法：
model_train.py 文件，主要是进行模型训练。在该文件中，定义了模型的基本信息，例如该模型是三层卷积神经网络，原始图像大小是 60160，在第一次卷积后变为 60160， 第一池化后变为 3080；第二次卷积后变为 3080 ，第二次池化后变为 1540；第三次卷积后变为 1540 ，第三次池化后变为 720。经过三次卷积和池化后，原始图片数据变为 720 的平面数据，同时项目在进行训练的时候，每隔 100 次进行一次数据测试，计算一次准确度：
当完成了这部分之后，我们可以通过本地机器对模型进行训练，为了提升训练速度，我将代码中的 accRate 部分设置为：
也就是说，当准确率超过 90% 之后，系统就会自动停止，并且保存模型。
接下来可以进行训练：
训练时间可能会比较长，训练完成之后，可以根据结果绘图，查看随着 Step 的增加，准确率的变化曲线：
横轴表示训练的 Step，纵轴表示准确率
3. 基于 Serverless 架构的验证码识别
将上面的代码部分进行进一步整合，按照函数计算的规范进行编码：
在这个函数部分，主要包括两个接口：
• 获取验证码：用户测试使用，生成验证码
• 获取验证码识别结果：用户识别使用，识别验证码
这部分代码，所需要的依赖内容如下：
另外，为了更加简单的来体验，提供测试页面，测试页面的后台服务使用 Python Web Bottle 框架：
该后端服务，所需依赖：
前端页面代码：
准备好代码之后，开始编写部署文件：
整体的目录结构：
完成之后，我们可以在项目目录下，进行项目的部署：
部署完成之后，打开返回的页面地址：
点击获取验证码，即可在线生成一个验证码：
此时点击识别验证码，即可进行验证码识别：
由于模型在训练的时候，填写的目标准确率是 90%，所以可以认为在海量同类型验证码测试之后，整体的准确率在 90% 左右。
总结
Serverless 发展迅速，通过 Serverless 做一个验证码识别工具，我觉得这是一个非常酷的事情。在未来的数据采集等工作中，有一个优美的验证码识别工具是非常必要的。当然验证码种类很多，针对不同类型的验证码识别，也是一项非常有挑战性的工作。
版权声明: 本文为 InfoQ 作者【Serverless Devs】的原创文章。
原文链接:【http://xie.infoq.cn/article/73db42b085c270d2a9047a7c1】。文章转载请联系作者。
还未添加个人签名 2018.09.12 加入
还未添加个人简介
评论