看火山引擎 DataLeap 如何做好电商治理（二）：案例分析与解决方案

接上篇，以短视频优质项目为例，火山引擎 DataLeap 平台治理团队会去对每天发布的这种挂购物车车短视频打上标签，识别这些短视频它是优质的还是低质的，以及具体原因。一个视频经过这个模型识别之后，会给到奖惩中心去做相应的奖惩策略。简单来说，如果它是优质视频，会去做这种流量的扶持，是低质，直接通过奖惩中心去做这种流量的打压。

算法开发阶段，数据预处理产出训练数据集

以前因为模型的测试集量级很大，处理起来会很慢，平台治理团队现在使用 火山引擎 DataLeap 的 Notebook 任务，做这种数据的一些预处理。在预处理完这些数据之后会把数据放到 Hive 表，或者是放到 HDFS 上面去，这些数据在 HDFS 上可以设置长久保存。这就很好的满足了在实际应用场景中需要收集很长一段数据的需求，不必受存储的有效期只有 7 天时间的限制。

（图：DataLeap 数据开发平台）

之后平台治理团队再离线地去处理这些数据，产出训练集合，比如把在 HDFS 上存储的路径下载到自己的的开发机里面，就可以去进行模型训练了。因为 Notebook 任务可以支持任务的每天运行，不必人工去搭建 Notebook 环境去训练数据，这样可以大大节省人力成本，提升数据处理和统计效率。

算法上线，验证模型效果

训练好了模型，需要去评估它的效果好不好，这个时候我们通过火山引擎 DataLeap 把线上的 Kafka 数据写到 Hive 里面，再离线地分析对应的落的 Hive 表来看模型的效果是怎么样的，发现有哪些是漏放，有哪些是误伤等等不同的模型平台治理团队看的指标不一样，通常的话主要看准确和召回，还会看一些比如说 AUC 或者是 ACC 这样的一些数据，总的来说不同的模型关注的指标是不太一样的。

与风神（Aeolus）结合，进行监控看板的搭建

关于如何做好监控，可以与 Aeolus 结合搭建监控看板，具体来看通过火山引擎 DataLeap hsql 任务分析这种落好的 Hive 表，然后产出统计指标（比如召回率 漏放率 审出率 驳回率 ），把指标做成数据集，在 Aeolus 上面去建立这样的一些看板。这种看板每天也能够例行的给到监控人员一些结果，对于上线之后的数据监控是有极大帮助的。同时也会对 badcase，进行深入的分析，进而优化算法模型。

平台治理效果

据了解，火山引擎 DataLeap 平台治理团队去年全年累计挖掘优质短视频超 147 万条，助力超 26 万名电商作者平均流量增长 56%；累计处罚违规低质短视频超 3280 万条、违规低质直播超 1500 万场。整体内容质量有明显改观，消费者好感度上升 7.2%。

此外，平台还持续强化直播内容真实可信，通过构建商品信息清晰、真实可信的直播生态，规范达人带货行为。882 名电商作者因在直播中虚假营销受罚，消费者推荐度提升 11.85%。