网易伏羲 RL4RS 荣获 SIGIR2023 Resource Paper，推动深度学习技术创新

近日，信息检索领域的顶级会议 SIGIR 2023 公布了论文的接收结果：网易伏羲以 RL4RS 为主题的论文凭借其技术与创新实力成功选入本届 Resource Paper，网易伏羲实验室在深度学习研究中所做的工作获得国际审稿专家的高度评价，审稿专家们认为 RL4RS 将在强化学习推荐技术在现实场景应用中发挥重要作用。

SIGIR（International ACM SIGIR Conference on Research and Development in Information Retrieval）是信息检索领域的旗舰会议，也是中国计算机学会 CCF 推荐的 A 类会议，在国际上享有极高的学术声誉。本届会议共收到 822 篇长文投稿，仅有 165 篇长文被录用，录用率约 20.1%，被录用的稿件体现出信息检索领域国际最前沿的研究水平。以下为网易伏羲入选论文概要：

RL4RS: 一个面向基于强化学习的推荐系统的工业数据集

关键词：基于强化学习的推荐系统、工业数据集

RL4RS: A Real-World Dataset for Reinforcement Learning based Recommender System 

英文关键词：Reinforcement Learning based Recommender System 、Industrial Dataset

RL4RS 套件：https://github.com/fuxiAIlab/RL4RS

随着推荐系统的发展，SLATE Recommendation、Bundle Recommendation 等场景提出了新的挑战。为了解决这些挑战，最近的研究者采用强化学习来进行推荐，其中推荐过程被形式化为用户（环境）和推荐代理（RL 代理）之间的序列交互。强化学习是一个备受业界关注的方向，因为 RL 范式本质上适合处理多步决策问题，直接优化长期用户满意度，并有效地探索组合空间。但是最近的研究中仍存在两个问题：

第一个问题是缺乏针对基于 RL 的 RS 问题的真实世界数据集。主要有两种替代方案，一种是人工数据集，例如 RecoGym 和 RECSIM，但它们不是真实应用中用户的实际反馈。另一种是半模拟数据集，即转换为 RL 数据格式的传统 RS 数据集（如 MovieLens），其主要缺点是许多强制数据转换不合理。以 MovieLens 数据集为例：为了满足 RL 数据格式的要求，Adversarial User Model 引入了外部电影信息，并假设用户的选择上下文是一个月内发布的电影，每个显示集的最大大小设置为 40。

第二个问题是缺乏无偏评估方法。目前的研究中主要有两种评估指标：传统的推荐指标（召回率、准确度等）和纯强化学习指标（如累积奖励）。然而，前者是短期评估指标，后者高度依赖于仿真环境的准确性。策略评估的偏差也来自“外推误差”，即未见过的状态-动作对被错误地估计为具有不切实际的值。

针对这两大问题，网易伏羲提出了 RL4RS。

RL4RS 是一个全新的资源，旨在解决基于强化学习的推荐系统领域中的现实差距问题。它包括两个真实世界数据集、数据理解工具、可复现的仿真环境、相关 RL 前沿算法、Batch RL 算法和反事实策略评估算法。我们还尝试提出一个新的系统评估框架，包括环境模拟评估、环境评估、反事实策略评估和来自测试集构建的环境评估。

作为强化学习的推荐系统领域内第一个完全开源的工业数据集，RL4RS 有助于更好的推荐算法的研究和更好的模拟环境构建的研究。RL4RS 提供了强化学习部署前和部署后的数据集，这非常有助于 Batch RL 等离线强化学习算法的使用与评估。RL4RS 能帮助设计更好的推荐系统，有力支持了游戏经济系统平稳运行，呵护游戏产品生命周期，并结合玩家体验为目标提升了用户满意度，在多款雷火游戏业务中落地应用。

2021 年 RL4RS 曾与 IEEE BigData 2021 大会合办了网易伏羲第一届大数据竞赛——IEEE BigData Cup 2021: RL-based RecSys，吸引了国内外高校近百支队伍的参赛，并在大会上成功举办了主题 WorkShop。网易伏羲 RL4RS 也将于 2023 年底在全球首屈一指的大数据技术峰会 Ray Summit 2023 上宣讲。在 IEEE BigData 2021 比赛中，网易伏羲 RL4RS 的解决方案获得了大量的好评，让人期待其即将到来的 Ray Summit 2023 上的发言，为深度学习的技术发展贡献力量。

关于网易伏羲

网易伏羲成立于 2017 年，是国内专业从事游戏与泛娱乐 AI 研究和应用的顶尖机构。网易伏羲已经发表 200 多篇 AI 顶会论文，拥有 400 多项发明专利，以及数字人、智能捏脸、AI 创作、AI 反外挂、AI 推荐匹配、AI 竞技机器人等多个领域的领先技术。目前，网易伏羲正在向游戏、文旅、文娱等产业开放 AI 技术及产品，已服务超 200 家客户，应用日均调用量超数亿次。