10w+ 训练标签？成本太高！PaddleNLP 情感分析赋能消费“回暖”
随着餐饮行业进入线上线下、堂食外卖并重的“双主场”时代，面对铺天盖地的用户评论数据，如何用数字化手段优化经营成为餐饮企业降本增效的关键。今天带来的分享案例是黑蚁资本如何借助 PaddleNLP 情感分析技术开发了用户评论洞察系统，实现降本增效的例子。一起来看看吧！
黑蚁资本，是一家来自上海的深耕消费领域投资的企业，成立之初就决心让“投后服务”成为机构的核心能力之一，而“数字化”正是黑蚁服务被投企业的重要内容。为了帮助被投企业提升评价数据的处理效率，黑蚁投后数字化团队基于 PaddleNLP 情感分析技术，开发了用户评论洞察系统，帮助品牌高效深入了解用户反馈，自动抽取出高价值信息，实现量化统计分析，从而降低经营成本，优化产品和服务，提升市场竞争力。
据悉，情感分析技术（Sentiment Analysis Technology）是一种当前流行的旨在对带有情感色彩的主观性文本进行分析、处理、归纳和推理的技术，在消费决策、舆情分析、个性化推荐等领域都拥有广泛的应用前景。
情感分析示意图
初衷：想以更低成本，聆听用户声音
正如哈勃望远镜，哈勃舆情取“哈勃”二字是希望通过工具看见别人所看不到的东西，其开发的最初灵感来源于黑蚁投后团队对消费行业数字化的洞察。
2021 年初，黑蚁资本运营董事 Jeru 刘湛带领黑蚁投后数字化团队在对被投品牌做调研时发现，用户的反馈对驱动产品迭代、改进服务非常重要，但是聆听用户声音的成本却很高。
Jeru 介绍，过去一个品牌想获取用户评论情况，如 NPS 净推荐值，包括推荐意愿和复购意愿，需要经过一系列的调研分析：请第三方公司采用问卷调查、实地拦截、线下采访等方式进行调研；完成调研后再找打标签的公司，人工在产品用户评论下抽取约 2000 条评论，在 Excel 表格里打标签标记。
上述这种方式存在明显的问题。一方面，调研采集到的样本的数据量有限且真实性有待考证，大大影响后续分析的客观性和准确性；另一方面，人工打标签的方式不仅标注不统一，主观性强，而且操作成本非常高。
Jeru 回忆到，当时市场上大多数的产品只是单纯用陈旧的技术做评论分析，精准度和精细度并不是很高。他就思考，如何将用户评论洞察自动化，让非结构化的评论数据变成结构化的数据呢？因为只有结构化的数据才方便量化统计分析，使经营者更直观快捷地了解用户，获得科学的指引，从而实现精准的产品运营决策。
瓶颈： PaddleNLP 解研发燃眉之急
在经过半年的市场调研后，Jeru 迅速组织技术专家投入到研发中，在团队共同努力下，历经两年时间，黑蚁终于自主研发出用户评论洞察系统哈勃舆情，截止到目前，黑蚁已经发布了 30 多个系统版本，基本上每周都会更新迭代一次。
哈勃舆情类似于一个智能化“顾客情感温度计”，它能从不同的维度来感知顾客在不同指标上的情绪并进行分析，比如，用户会对某一种品牌的评价经常提到某一项（提及率，代表用户的心智），在一句评论中可能会表达多个“观点”，这些“观点”往往包含三要素：维度、观点词、情感。维度一般是名词（比如菜品、价格），观点词一般是形容词（比如辣、丰富），两者合在一起表达的是一种某东西怎么样的观点，哈勃舆情可以判断顾客所表达观点情感是正向还是负向，最后将情绪指标得分以量化的形式呈现给经营管理者，从而帮助品牌商找到问题。
哈勃舆情系统图研发过程并非一帆风顺。哈勃舆情刚开始研发模型做情感预测时，他们只能判断整句评论（粗粒度）的好坏，而无法对多观点独立（细粒度）做预测情感，致使情感预测结论数据准确率不高，研发进入了瓶颈。
2022 年 5 月，一次偶然的机会，Jeru 在 GitHub 上看到 PaddleNLP 开源了通用信息抽取技术 UIE，他当时感觉 UIE 非常适合哈勃舆情的研发，或许可以解决困扰他们已久的难题。
据了解，UIE 是一个大一统诸多任务的开放域信息抽取技术方案，开创了基于 Prompt 的信息抽取多任务统一建模方式。PaddleNLP 结合文心大模型中的知识增强 NLP 大模型文心 ERNIE 3.0，发挥了 UIE 在中文任务上的强大潜力，推出面向通用信息抽取的产业级技术方案。
由于 PaddleNLP 在情感分析能力上表现优异，能够完成涉及句子级情感极性分类、属性抽取、观点抽取、属性级情感极性分类等多项情感任务，并提供可视化能力，帮助用户快速分析业务数据，这极大帮助了黑蚁投后数字化团队开发哈勃舆情，也帮他们节省了大量的训练成本。
“没有出现通用模型之前，开发者需要分行业去训练模型，要知道一个行业要用到 10 万以上量级的标签来训练模型，才会取得比较好的效果。”Jeru 感慨到训练成本太高。
Jeru 进一步解释说，在预训练大模型出来之前，传统的技术方案下，几乎所有的 NLP 公司都倾向于找打标签的人员通过打标签的方式来训练自己的模型。但有了预训练大模型后，整个行业的玩法发生了改变。现在大家只需要使用一个通用的大模型，无需标注，或仅需少量标注，就能对独立观点进行精准情感预测，这样就极大降低了开发成本。同时基于 UIE 的技术方案不限定行业领域和抽取目标，可零样本快速冷启动各类信息抽取任务，加上强悍的小样本微调能力，使得观点抽取查全率与精准率大幅提升。
具体来说，在 UIE-base 和 fp32 精度下，相较人工至少需要一天时间来统计 1000 条样本的情况，该系统的细粒度抽取观点效率约为 30 条/分钟，粗粒度情感判定约为 135 条/分钟，经过行业微调后的数据准确率达到了 85%以上。
终极：希望以交互方式回答人类问题
据了解，哈勃舆情系统不仅供黑蚁的投资团队用于行业分析报告研究，还帮助黑蚁投资的诸多品牌倾听用户的声音，实现降本增效。
例如，黑蚁为被投企业某区域火锅品牌做菜品分析时，系统针对菜品建立专门指标体系，进行评估量化，逐月分析菜品的变化，帮助品牌找出了可优化的菜品，调整更新了口味、配方和原料，最终让火锅店用户对菜品的评分从 60 分提高到 90 分。
此外，黑蚁团队在开展县域中青年消费需求研究时，将田野和定量调研回收的数据交由哈勃舆情来处理，凭借其强大的语义解析 AI 模型帮助团队更高效地了解具体品类下县域消费者心智。
关于未来的产品规划，黑蚁将花更多时间精力针对不同行业进行样本微调，不断完善模型的识别能力。
Jeru 谈到，“我们希望系统未来能以交互的方式给出回答。当我问系统‘为什么某品牌的用户忠诚度更高‘的问题时，它不再是以词语的方式给出答案，而是以人类语言的方式组织观点，更直观地告诉我答案，我认为这是一个终极。”
如今，利用人工智能技术促进经营转型已经在消费行业获得越来越多的认可与推崇。餐饮、电商、零售……新消费浪潮下的各个品牌正在新品开发、品牌建设、销售服务等方面推进智能化升级，通过 AI 优化业务场景，努力与用户建立更有温度的联接，不断提升企业的市场竞争力。
未来，飞桨将携手更多金融投资机构持续助力消费行业，在情感分析能力方面，通过情感倾向分析、评论观点抽取、对话情绪识别等场景化能力，以 AI 技术赋能消费行业数字化转型，共同探索“深度学习+”消费的创新之路，为消费行业智能化升级注入更强大动力。
参考
PaddleNLP 情感分析方案
https://github.com/PaddlePaddle/PaddleNLP/tree/develop/applications/sentiment_analysis
PaddleNLP 项目地址
还未添加个人签名 2022-12-26 加入
还未添加个人简介
评论