金融交易行为监测方法——利用 CNN 模型实现行为识别

2023-03-10
吉林
本文字数：3354 字
阅读完需：约 11 分钟

背景介绍

在证劵交易所领域，曾经发生用户证券账号被盗事件，导致客户资产损失，例如：黑客获得了用户 A 的证券账号密码，利用多次的低买高卖将资产转移。本文中针对此类对敲欺诈的场景，采用将用户交易数据转换为图片，进而利用 Amazon SageMaker 图像分类算法 ResNet 进行模型训练和推理，在此类欺诈行为识别上得到了很好的效果。这种将交易数据转换为图像分类的方式简化了通常的特征提取的复杂度，可以作为防欺诈或者交易行为特征识别的方式的新的尝试。

亚马逊云科技开发者社区为开发者们提供全球的开发技术资源。这里有技术文档、开发案例、技术专栏、培训视频、活动与竞赛等。帮助中国开发者对接世界最前沿技术，观点，和项目，并将中国优秀开发者或技术推荐给全球云社区。如果你还没有关注/收藏，看到这里请一定不要匆匆划过，点这里让它成为你的技术宝库！

1. 数据准备

整个数据准备过程包括用户特征分析，样本数据构造，样本数据格式转换几个步骤。

项目包下载 Link

本机安装 python3.9 版本环境。并且提前准备如下几个依赖包的安装

python -m pip install requestspython -m pip install matplotlibpython -m pip install numpy

复制代码

1.1 数据行为分析

对敲欺诈的交易行为特征比较突出，会出现集中的低买高卖的特点，此类特点也会与老鼠仓行为类似。根据用户的交易行为与股票当日的 5 分钟 k 线图合并表示如下图：

红色点表示买入，绿色点表示卖出。用户的行为呈现为多次的连续低卖高卖。

1.2 数据集准备

在金融欺诈的场景中，大多数情况下实际发生的欺诈样本是少量的，因此要得到好的模型训练效果，我们需要分析用户行为的特征，在此基础上进行数据的模拟。

1.2.1 获取 K 线

执行 K 线生成脚本 generateKline.py ，生成某日的 K 线数据，本案例从 alphavantage 获取美股最新的 Coinbase(股票代码 COIN) 80 条 5 分钟 k 线。免费 APIkey 请自行从alphavantage官网申请。

1.2.2 生成黑客用户交易记录

执行脚本 genRandomHackerTrades.py ，生成模拟黑客交易记录表格。模拟逻辑为：

– 找到 Top 10 的 COIN 的 5 分钟 k 线数据中超过 5%波幅的 k 线数据。

– 随机选择 3-5 个 5 分钟 k 线，生成低价买入的成交价格。生成高价卖出的成交价格。

– 生成 csv 文件，分别存放到 ./buy/ 和./sell/目录。生成文件样例

1.2.3 生成用户交易记录

执行脚本 genNormal.py,生成模拟正常用户交易记录数据。在实际的证券交易所风控可获取实际用户数据生成记录。本案例中的模拟逻辑是：随机获取 COIN 的 5 分钟 k 线，生成 1-2 个买卖记录。

执行脚本 genRandomHackerTrades.py 生成模拟的黑客交易记录数据。模拟逻辑是：获取 COIN 日 k 线中的 top 10 价格振幅最大的 k 线单元，然后随机从 top10 中选择 3 个单元，模拟生成低买高卖的点位。

1.2.4 将交易记录转换为图像

采用 matplotlib 库，绘制 k 线图像，把用户交易为圆点，绿色表示卖，红色表示买。黑客行为生成图像脚本为 generateHackerImg.py，获取黑客交易记录文件，绘制 K 线，如图-1 所示，黑客行为的特点是出现短时间内集中的低买高卖行为，经过多轮测试，我们需要对图像进行处理，去掉与用户行为不想关的信息。

– 去掉 k 线展示

– 去掉 x，y 轴刻度显示

– 将图像尺寸缩小到 2.5 英寸*1.5 英寸，dpi 调整为 100.

生成效果图如下：

2. 模型训练与发布

经过以上的步骤，在 traindata 目录下，我们获得了 hacker 和 normal 两个类别的图像训练数据。下面就可以采用 Amazon Sagemaker 的内置算法 resNet 进行图像分类模型训练了。

2.1 数据集准备

使用RecordIO tool(im2rec)创建两个 .lst 文件。一个文件是用于训练的数据集（75%）。另一个文件是用于验证的数据集（25%）将.lst 文件和 jpg 图片文件上传到一个 S3 bucket。

2.2 数据训练与模型发布

1.在 sagemaker 中创建一台 Jupyter Notebook 实例，创建过程参考官方文档：https://docs.aws.amazon.com/sagemaker/latest/dg/howitworks-create-ws.html

2.下载实验所需训练步骤脚本：/jupter/image-classify-jpg.ipynb，上传至 Notebook 环境。

3.按照步骤执行 notebook，完成模型训练，模型发布。关于图像分类训练的详细说明可参考link。

脚本运行完成后，会输出模型的训练结果，获取更多的交易对来生成训练样本会得到更好的效果，在 2000 hacker 样本和 2000 normal 样本的数据规模下,得到的模型效果：

train:accuracy = 0.9850000143051147validation:accuracy = 0.9962120056152344train:accuracy:epoch = 0.9850000143051147validation:accuracy:epoch = 0.9962120056152344

复制代码

模型部署为实时访问端点：antiFraud-imageclassification-ep–2022-05-14-08-14-04。可在后面的反欺诈业务流程中通过 Amazon SDK 实时调用，获得推理结果。

3. 业务流程设计参考：

在证券交易所，可以选择合适的触发时机来触发用户是否有欺诈行为的推理过程。例如在每天用户出金时实时推理或者每天晚上批量推理的方式。我们按照实时推理的方式实现如下的业务流程。

从业务测发送触发消息到 Amazon SQS，消息体接口中具备基本的用户 id 信息。
Lambda 接收到 SQS 消息，从交易数据库获取用户的 24 小时交易信息，获取涉及的交易对的 5 分钟 k 线数据，生成此用户的交易行为图像，图像的格式也采用相同的处理：去掉 k 线显示；去掉 x，y 轴刻度显示；图像尺寸缩小到 5 英寸*2.1 英寸，dpi=100。
生成的用户交易图像调用实时推理接口，我们就可以获得推理结果，此用户行为是否是欺诈行为，如果概率超过 90%，我们写入风控表。

4. Amazon Lambda 如何支持 python 图形库

在此业务流程的实现中，lambda 函数引用了 matplotlib，numpy 等库，具备生成图片的能力，要实现此能力需要采用如下几个步骤。

理解 Lambda 的运行时环境，选择不同的 CPU 架构，在安装 Python 库是需要下载不同的 WHL 包

创建 Lambda Layer，用于存放几个公共类库，创建 Layer 的指导参见Link

因为 Python 的类库是需要区分安装的平台。windows，mac，linux 会有不同的安装包，同时 CPU 的架构不同也有区分。ARM 架构与 X86_64 架构。从https://pypi.org 搜索需要下载的包，跳转到下载页面。我们需要下载的是https://pypi.org/project/matplotlib/#files, 因为我创建的 lambda 是使用了 python3.9 运行环境，在 X86_64 架构下。因此我会选择下图中红线的 WHL 包

mkdir layercd layermkdir pylibscd pylibswget https://files.pythonhosted.org/packages/e1/81/0a73fe71098683a1f73243f18f419464ec109acae16811bf29c5d0dc173e/matplotlib-3.5.2-cp39-cp39-manylinux_2_5_x86_64.manylinux1_x86_64.whlwget https://files.pythonhosted.org/packages/8d/d6/cc2330e512936a904a4db1629b71d697fb309115f6d2ede94d183cdfe185/numpy-1.23.1-cp39-cp39-manylinux_2_17_x86_64.manylinux2014_x86_64.whl
unzip '*.whl'pip3 install -t . pyparsing==2.4.7pip3 install -t . cycler==0.10.0pip3 install -t . pytzpip3 install -t . packagingrm *.whlrm -rf __pycache__cd ..zip -r lambdalayer.zip pylibs

复制代码

以上完成 layer zip 包的制作，参照创建 Lambda Layer 的步骤，将 zip 包部署为 Lambda Layer 即可。

此解决方案中的 Lambda 函数请参见

https://github.com/aws-samples/amazon-sagemaker-antifraud-in-capitalmarket-imageclassify/blob/main/lambda/imageClassify.py

5. 总结

本文介绍了在证券领域，采用将用户时间序列类行为转换为图像，进而利用成熟的 AI 图像分类算法来实现用户异常行为识别的方法。并且在连续对敲获利的场景中获得较好的效果。在解决方案中采用了 AMAZON SageMaker ，AMAZON Lambda，AMAZON SQS 快速完成了模型的训练，部署及业务流程的构建。期望能够给大家带来启发。