​​摘要：GaussDB(forRedis)轻松搞定推荐系统核心存储，为企业级应用保驾护航。

本文分享自华为云社区《GaussDB(for Redis)揭秘第13期：如何搞定推荐系统存储难题？》，作者：高斯 Redis 官方博客 。

一、推荐偏差引发的思考

七夕过后，笔者的一个朋友遇到了尴尬事：当女友点开他的购物 APP，竟然自动弹出一系列推荐：玫瑰包邮、感动哭了、浪漫小夜灯……回想七夕那天，礼物并没有出现，于是问题出现了：从实招来，你送谁了？

为了帮助友人重建信任，笔者进行了一番技术调研：这一定是“推荐系统”出了偏差。

推荐系统是一种信息过滤系统，它能够快速分析海量用户行为数据，预测出用户喜好，从而进行有效推荐。在商品推荐、广告投放等业务中，推荐系统责任重大。根据亚马逊 2019 年度报告，其 40%的营收来自内部稳定的推荐系统。

在本文开篇的例子中，正是由于推荐系统问题，才导致了尴尬的场面。笔者决定力挺友人，用可靠的知识让人信服！

二、推荐系统长什么样

通常来说，在一套成熟的推荐系统中，分布式计算、特征存储、推荐算法是关键的三大环节，缺一不可。

下面介绍一类完整的推荐系统，在系统中 GaussDB(for Redis)负责核心的特征数据存储。该系统也是华为云诸多客户案例中较为成熟的最佳实践之一。

第一部分：获取特征数据

-   原始数据采集

点赞、收藏、评论、购买……这些行为都属于原始数据，他们随时都在发生，因此数据量庞大。经由 Kafka、Redis Stream 等流组件向下游传递，或存入数仓，等待后期提取使用。

-   分布式计算

原始数据离散、含义模糊，无法直接给算法使用。此时就要进行大规模的离线、在线计算，对数据加工。Spark、Flink 都是典型的大数据计算组件，其强大的分布式计算能力是推荐系统不可或缺的。

-   特征数据存储

经过加工的数据也就是特征、标签，是推荐算法所需的宝贵数据源。在特定场景下，也可以称之为用户画像、物品画像。这部分数据有着反复共享、复用的价值，不仅能用于训练算法模型，还能为生产环境提供服务。

确保特征数据的可靠存储，是推荐系统中极为关键的一环。

第二部分：消费特征数据

-   线下模型训练

有了关键的特征数据，业务就可以开始训练算法模型。只有充分利用特征库，以及最新行为数据，不断打磨推荐算法，这样才能提升推荐系统整体水平，最终带给用户更好的体验。

-   线上推理预测

算法模型训练结束后，将被部署到线上生产环境。它将继续利用已有的特征存储，根据用户的实时行为进行推理，快速预测出与用户最匹配的优质内容，形成推荐列表，并推送给终端用户。

三、推荐系统的存储难题

很显然， “特征数据”在整个系统中起到了关键的衔接作用。由于 KV 形式的数据抽象与特征数据极为接近，因此推荐系统里往往少不了 Redis 的身影。

在上述系统的方案中，数据库选型为 GaussDB(for Redis)，而不是开源 Redis。原因是开源 Redis 在大数据场景下还是存在显而易见的痛点：

1. 数据无法可靠存储

推荐系统其实希望既能使用 KV 数据库，又能放心将数据长久保存。但开源 Redis 的能力更侧重于数据的缓存加速，而不是数据存储。而且开源 Redis 毕竟是纯内存设计，即使有 AOF 持久化，但通常也只能秒级落盘，数据的保存并不可靠。

2. 数据量上不去，成本下不来

涉及推荐的业务往往用户体量也不会小，随着业务发展，也会有更多的特征数据需要保存。实际上，相同容量的内存与极速 SSD 相比，价格贵 10 倍以上都很正常。于是，当数据量达到几十 GB、几百 GB，开源 Redis 会变得越来越“烧钱”，因此一般只当做“小”缓存使用。除此之外，开源 Redis 自身 fork 问题导致容量利用率低，硬件资源有很大的浪费。

3. 灌库表现不佳

特征数据需要定期更新，往往以小时或天为周期进行大规模数据灌入任务。如果存储组件不够“皮实”，大量写入造成数据库故障，将导致整个推荐系统发生异常。这就可能造成开篇提到的尴尬用户体验。

开源 Redis 抗写能力并不强，这是由于集群中有一半节点是备节点，它们只能处理读请求。当大批量写入到来时，主节点容易出问题，引发连锁反应。

理论上，架构设计并不是越复杂越好，如果可以，谁不想使用一种既能兼顾特征数据 KV 类型、成本友好、性能又有保障的可靠数据存储引擎？

四、相见恨晚，遇见 GaussDB(forRedis)

与开源 Redis 不同，GaussDB (for Redis)基于存算分离架构，为推荐系统这一类大数据场景带来关键的技术价值：

1. 可靠存储

数据命令级落盘，在底层存储池中三副本冗余存储，真正做到了 0 丢失。

2. 降本增效

高性能持久化技术+细粒度存储池,帮助企业将数据库使用成本降低 75%以上。

3. 抗写能力强

多线程设计+全部节点可写，抗写能力足够强大，从容应对 Spark 灌库压力和实时更新。华为云企业级数据库 GaussDB (for Redis)提供稳定、可靠的 KV 存储能力，正是推荐系统核心数据的极佳选型。

五、完美衔接，实现想存就存的自由

其实，在 Spark 后端接入 Redis 已经成为一种主流方案，而使用 Flink 从 Redis 中提取维度表也是很常见的用法。它们也都提供了用于接入 Redis 的连接器。GaussDB(for Redis)完全兼容 Redis 协议，即开即用,用户随时都可以快速创建实例并接入业务。

1. Spark-Redis-Connector

Spark-Redis-Connector 完美实现了 Spark RDD、DataFrame 到 GaussDB(for Redis)实例中 String、Hash、List、Set 等结构的映射。用户可使用熟悉的 Spark SQL 语法轻松访问 GaussDB(for Redis)，完成特征数据灌库、更新、提取等关键任务。

使用方法非常简单：

1）当需要读取 Hash、List、Set 结构到 Spark RDD 时，分别只用一行即可搞定：

2）而当推荐系统进行灌库或特征数据更新时，可以按如下方式轻松完成写入：

2. Flink-Redis-Connector

Flink 这款计算引擎流行程度不亚于 Spark，它同样有成熟的 Redis 连接方案。

使用 Flink 提供的 Connector 或结合 Jedis 客户端，都可轻松完成 Flink 到 Redis 的读写操作。

以使用 Flink 统计单词频次的简单场景为例，数据源经过 Flink 加工后，便可轻松存入 GaussDB(for Redis)中。

六、结语

大数据应用对核心数据的存储有着很高的要求,云数据库 GaussDB(for Redis)拥有存算分离的云原生架构，在完全兼容 Redis 协议的基础上，同时做到了稳定性、可靠性的全面领先。面对海量核心数据存储，它还能为企业带来相当可观的成本节约。面向未来，GaussDB(for Redis)极有潜力成为下一个大数据浪潮的新星。

七、附录

本文作者：华为云数据库 GaussDB(forRedis)团队

杭州/西安/深圳简历投递：yuwenlong4@huawei.com

GaussDB(forRedis)产品主页：

https://www.huaweicloud.com/product/gaussdbforredis.html

更多技术文章，关注高斯 Redis 官方博客：

https://bbs.huaweicloud.com/community/usersnew/id_1614151726110813

点击关注，第一时间了解华为云新鲜技术~