亚马逊 AI 模型评估产品评论中的实用建议有效性

产品评论中的实用建议验证模型

电子商务网站的产品评论是消费者购物决策的重要参考，其中常包含"首次使用相机前充电 8 小时"等非显而易见的实用建议（product tips）。为帮助消费者免于海量评论的筛选，研究者开发了自动提取技巧的方法，但消费者仍需判断这些建议的可信度。

在 ACM 信息检索特别兴趣小组(SIGIR)会议上，我们提出了一种量化评估产品所有评论对某条建议支持程度的方法。核心是一个能判断两句话支持/反对/中立关系的模型，例如"建议使用前充电"支持充电建议，而"电池已预充电"则构成反对。

三阶段验证流程

1. 相似句检索：通过句向量最近邻搜索，从数千条评论中筛选数百条相关句子

2. 支持度分类：基于人工标注数据训练的神经网络模型，计算每对句子的支持/反对/中立概率

3. 全局评分：聚合所有相关句子的评分，生成建议的总体支持度与反对度指标

实验数据显示：

• 50%覆盖率时，支持关系检测准确率 72%，反对关系 58%

• 25%高置信度覆盖时，准确率提升至 79%和 67%

• 服装品类 43%的建议存在争议（如"选大一号"与"尺码标准"的冲突）

建议可信度分类

• 高度支持：大量佐证，几乎无反对

• 高度反对：大量反驳，几乎无支持

• 争议性：支持与反对证据均较多

• 个案性：缺乏相关佐证或反驳

该技术可集成至电商平台，通过可视化支持度指标和相关评论链接，帮助消费者评估建议可靠性。研究表明，至少 50%的提取建议存在支持证据，1/3 存在反对证据，验证了该技术的实用价值。更多精彩内容 请关注我的个人公众号 公众号（办公 AI 智能小助手）公众号二维码

办公AI智能小助手