写点什么

【JAVA】助力数字化营销:基于协同过滤算法实现个性化商品推荐

作者:智在碧得
  • 2024-04-23
    广东
  • 本文字数:4533 字

    阅读完需:约 15 分钟

【JAVA】助力数字化营销:基于协同过滤算法实现个性化商品推荐

周松杰:碧桂园服务后台开发高/级工程师,拥有 8 年开发经验。

1 前言

本文主要介绍基于协同过滤的推荐算法。在了解实践应用之前,我们先对推荐系统、Mahout 学习框架以及算法进行简单介绍,然后再结合实践进行深入探讨。

  • 第一部分概述了推荐系统的产生背景、作用和工作原理,并介绍了 Mahout 学习框架的算法。

  • 第二部分则基于 Mahout 框架-协调过滤算法,实现个性化商品推荐。

2 推荐系统、智能推荐算法 

2.1 推荐系统--基本流程讲解

2.1.1 推荐系统的意义


用户角度:推荐系统解决在“信息过载”的情况下,用户如何高效地获得感兴趣的物品的问题。例如在淘宝、京东、亚马逊等。

公司角度:推荐系统解决了产品如何最大限度地吸引用户、留存用户、增加用户黏性,从而达到公司的营收目的。

2.1.2 简洁系统的推荐



如果每次都随机给用户推荐物品,则无法将平台独特的优质物品展现出来。例如在凤凰会商城中,我们可以根据用户的收藏数、评论数、销量等数据对内容进行排序,按倒序依次推荐给用户。此外,还可以设置一个运营池和热点池,由运营人员在后台进行手动更新,确保实时热点展示。

根据以上想法,我们画一下推荐系统架构:  

2.1.3 个性化(千人千面)推荐系统

基于以上的推荐系统,除了随机策略外,不同用户看到的商品是一致的,但每个用户感兴趣的物品不同。因此,推荐系统需要根据不同用户进行个性化推荐。为了解决这个问题,可以采用不同的推荐算法。常用的推荐算法分为以下三种:


从图中可以看出,协同过滤分为 ItemCF(基于物品的协同过滤)和 UserCF(基于用户的协同过滤),也是本文要讲的内容。基于 Mahout 一个分布式机器学习算法框架来实现协同过滤推荐。

2.2 Mahout-Collaborative Filtering(CF)

2.2.1 Mahout 简介

Mahout 是一个分布式机器学习算法的集合和数据挖掘工具,它集成了包括聚类、分类、推荐过滤和频繁子项挖掘等算法。本文提到 Mahout,是因为它提供了丰富的算法实现,有兴趣的同学可以进行深入研究。


从上图可以看出,Mahout 的定位是基于原数据生成推荐商品数据。

2.2.2 什么是协同过滤

协同过滤的基本概念是将推荐方式变成自动化流程它主要基于属性或兴趣相近的用户经验和建议,提供个性化推荐。通过协同过滤,可以收集具有类似偏好或属性的用户,并将其意见提供给同一集群中的其他用户作为参考,以满足人们在做决策时参考他人意见的心态。

2.2.3 ItemCF(基于商品的协同过滤)

  1. 算法思想:基于用户对物品的偏好找到相似物品,然后根据用户历史偏好,推荐相似物品。

  2. 计算方法:将所有用户对某个物品的偏好作为一个向量,利用这些向量计算物品之间的相似度。得到相似物品后,根据用户历史偏好预测当前用户还未涉及的物品偏好,最终计算出一个排序的物品列表作为推荐。


判断两个物品是否相似以及相似度为多少是协同过滤算法的难点。对于物品来说,相似度计算往往与业务本身有关。在这里,我们使用最通用的计算规则:如果喜欢两个物品的用户重合度越高,则证明物品越相似。


为了便于观看,我们把上图转成矩阵形式,用户作为矩阵行坐标,物品作为列坐标。


假设两物品 A 和 B,判断相似度则通过用户的重合度比例进行计算,如上图协同过滤矩阵所示,要判断「苹果」与「橙子」的相似程度。

利用向量中余弦相似度进行计算,公式为:

向量点积:


向量的长度:

向量的夹角:

将喜欢权重设置为 1,不喜欢权重设置为-1,则「苹果」向量为 (1, 1, 1, 1),「橙子」向量为 (1, 1, -1, 1)。

两者向量点积:1 * 1 + 1 * 1 + 1 * -1 + 1 * 1 = 2

「苹果」向量长度:2

「橙子」向量长度:2

利用余弦相似度计算得出:

通过此方法以此类推可以将所有物品的相似度计算出来。

然而根据业务需求,「用户」对「商品」行为有喜欢、评论、收藏及购买等多种类型。每种用户行为都有不同的权重,例如喜欢是 1,评论是 2,收藏是 4,购买是 9(当前凤凰会商城就是使用该种业务规则计算),将上图换成对应的行为类型则为:

然后根据前面提到的公式进行套娃,则可以得出商品的相似度。在相似度计算上,任何合理的“向量相似度计算”都可以作为协同过滤的判断依据,根据自身业务进行算法迭代

2.2.4 UserCF(基于用户的协同过滤)

  1. 基本思想:基于用户对物品的偏好找到邻居用户(相似用户),然后将邻居用户喜欢的东西推荐给当前用户。

  2. 计算方法:将一个用户对所有物品的偏好作为一个向量,计算用户之间的相似度。找到邻居后,根据邻居的相似度权重以及他们对物品的偏好,预测当前用户未涉及的物品,计算得到一个排序的物品列表作为推荐。相似度即为两个向量之间的距离,距离越小相似度越大

判断两个用户是否相似以及相似度为多少也是协同过滤算法的难点。最常用的两种判断方式如下:

  • 用户购买商品有很大重合度。

  • 用户浏览商品有很大重合度。

在 ItemCF 我们已经说过,任何合理的判断方法都可以作为相似度计算规则,下面我们以 “用户喜欢的物品有很大重合度” 来作为相似度计算规则。


与 ItemCF 类似,我们也将有向图转变成矩阵,继续沿用 ItemCF 矩阵。

ItemCF 是以商品的维度进行得出向量,最后通过余弦相似得出商品相似度。UserCF 则以用户的维度进行得出向量,最后通过余弦相似得出商品相似度。

2.2.5 CF 推荐工程化

1、离线计算

建立「用户」到「商品」的索引,记录每个用户行为跟「商品」的列表,我们俗称为 LastN。给定一个「用户 ID」,能够快速查询到该用户最近互动过的 N 个「商品」列表。

建立「商品」到「商品」的索引,利用相似度计算规则,离线计算出每个「商品」最相似的「商品」列表。给定一个「商品 ID」,能够快速查询到最相似的 TopK「商品」。

2、在线召回

根据当前「用户 ID」,通过「用户」到「商品」索引查询用户行为-「商品」列表,再通过「商品」到「商品」索引,拿到最相似 TopK「商品」集合。

以 ItemCF 为例:

3、其他召回方式

例如,根据地址位置进行推荐或者结合系统标签用户的形式进行推荐等等。

很多人估计想吐槽,说了这么多,又是算法计算,又要考虑各种维度才能得出相应的相似度来进行推荐,太麻烦了。别急,Mahout 即将登场。

4、ItemCF、UserCF 如何选择

(1)基于用户的协同过滤

基于用户的协同过滤适用于物品数量多、时效性强的场景,但在其他情况下计算速度较慢。推荐结果个性化程度较弱,但具有广泛的适用性和较高的惊喜度。

(2)基于物品的协同过滤

  • 应用最广泛,尤其以电商行业为典型。

  • 适于用户多、物品少的场景,否则计算速度慢。

  • 在物品冷启动、数据稀疏时效果不佳。

  • 推荐精度高,更具个性化。

  • 倾向于推荐同类商品,推荐的多样性不足,形成信息闭环。

对于稀疏数据集(例如 delicious 书签、小众群体收藏等),基于物品的过滤方法通常要优于基于用户的过滤方法。而对于密集数据集而言,两种方法的效果几乎是一样的。

——摘自《集体智慧编程》

2.2.6 Mahout 推荐算法以及引擎

注意:以下只列本文涉及到的算法,更多算法有兴趣的可自行 Google。

//DataModel支持数据库以及文件作为数据源org.apache.mahout.cf.taste.impl.model.file.FileDataModel  基于文件的数据接口内,内部使用GenericDataModel 保存实际的用户评价数据,增加了压缩文件(.zip .gz)等文件类型的支持,支持动态更新(更新文件文件名必须保存为一定的格式 例如 foo.txt.gz 后续更新文件必须为foo.1.txt.gz)查了以下代码 好像是自定义时间间隔后可以更新,但是好像是全部更新(以后看代码)org.apache.mahout.cf.taste.impl.model.jdbc.MySQLJDBCDataModel  基于数据库的数据接口 //UserSimilarity 和 ItemSimilarity 相似度算法实现CityBlockSimilarity :基于曼哈顿距离相似度LogLikelihoodSimilarity :基于对数似然比的相似度                          原理:重叠的个数,不重叠的个数,都没有的个数                          范围:具体可去百度文库中查找论文《Accurate Methods for the Statistics of Surprise and Coincidence》                          说明:处理无打分的偏好数据,比Tanimoto系数的计算方法更为智能。//UserNeighborhood 主要实现NearestNUserNeighborhood:对每个用户取固定数量N个最近邻居ThresholdUserNeighborhood:对每个用户基于一定的限制,取落在相似度限制以内的所有用户为邻居
复制代码

3 商品推荐的实现

3.1 凤凰会商城引入智能推荐的背景前言

3.1.1 需求背景

为更好地了解用户需求,提高转化率、用户停留时间、浏览量和时长等指标,实现精准投放。

原业务流程:

通过运营后台推荐,每天/月/年的商品曝光量最多十几个(推荐策略不变的情况下),所有用户看到的商品都是一样。

新业务流程:

结合后台运营推荐策略、算法策略、销量策略进行推荐。

3.2 Mahout 结合实际落地应用流程

3.2.1 数据生命周期

数据完整得生命周期如上图所示,分为以下几个步骤:

  1. 数据源:用户的行为日志以及其他行为(如购买行为等,根据业务需要而定)。

  2. 数据采集:从客户端采集用户的行为日志。

  3. 数据存储:日志文件或 DB 方式存储。

  4. 数据计算:基于用户的行为数据进行生成推荐数据。

  5. 数据应用。

注:第 4 点中的推荐数据生成是基于 CachingItemSimilarity 商品相似,EuclideanDistanceSimilarity 基于欧几里德距离计算相似度的算法进行 ItemCF 协同过滤。

系统用户行为采集


3.2.2 实践案例

Mahout 推荐引擎提高效率的使用建议:

ReloadFromJDBCDataModel (这个很重要,占整体耗时一半左右) 包装DataModel的数据集
CachingUserSimilarity或者CachingItemSimilarity包装用户相似度或者物品相似度 //以cache方式保存相似度计算结果防止每次请求是重复计算//内部使用 Cache<LongPair,Double> similarityCache保存相似度//如基于用户推荐,则使用该类包装相似结果集合CachingUserNeighborhood
复制代码

效果展示:

假设商品推荐位最大为 12 个,根据以下逻辑优先级进行补位:推荐置顶 > 算法推荐 > 销量。

后台推荐置顶配置:

图示:某个用户所处同一个项目下推荐的商品:

结果期望:基于浏览记录,推荐同类商品。

关闭算法推荐后效果对比:

业务效果:



可以看出,自上线后,随着开放的试点项目越多,通过推荐商品栏目转化订单量,从每月十来单增长到目前的峰值几百单,增长了近二十倍(数据统计截至 2023.12.11 0 点)。

成交用户数方面,在去重的情况下,6 月份前成交人数是几千人,而在后半年(截至 12 月份),成交人数已经达到了几万人。

4 总结

  1. Mahout 是基于 Hadoop 的机器学习和数据挖掘的一个分布式框架,是一个强大的算法库,具有极高的可扩展性以及易用性。此外,Mahout 还提供了一些预处理和特征提取的方法,帮助用户快速构建机器学习模型,它还支持多种编程语言,如 Java、Python 等,方便不同背景的用户使用。

  2. 本文没有讨论混合方法。在许多情况下,结合协同过滤和基于内容的方法可以达到最优的结果,因此在许多大型推荐系统中使用。混合方法的组合主要有两种形式:一是可以独立训练两个模型(一个协同过滤模型和一个基于内容的模型),二是直接构建一个统一这两种方法的单一模型(通常是神经网络)。

  3. 可尝试使用向量数据库将商品数据向量化后,获得商品之间的相似性,结合用户画像行为进行推荐。

  4. 可以结合用户标签画像提高精准颗粒度。

  5. 针对提高推荐数据实时性,可采取缩短数据清洗周期(离线)、分布式(提高并发处理能力)或 Canal 监控,Flink 及队列等方式来消费用户行为,从而提高用户体验。

  6. 推荐方法的核心是基于历史数据,所以还需要考虑新物品和新用户存在的“冷启动”问题。

发布于: 刚刚阅读数: 4
用户头像

智在碧得

关注

还未添加个人签名 2024-04-08 加入

科创驱动智慧未来!碧桂园服务的创新引擎,物业数字化的开路先锋

评论

发布
暂无评论
【JAVA】助力数字化营销:基于协同过滤算法实现个性化商品推荐_机器学习_智在碧得_InfoQ写作社区