CNCC 2023 | 大模型全面革新推荐系统！产学界多位大咖精彩献言

随着人工智能领域的不断突破，大模型的潮流已然席卷而来。大模型一跃成为时代的新宠，展现出强大的通用性和泛化能力，为 AI 技术的应用进一步打开了想象空间。与此同时，推荐系统作为大规模机器学习算法应用较为成熟的方向之一，如何与大模型结合，具有重要的理论和实践价值，引发业界高度关注。

近日，第二十届中国计算机大会 (CNCC 2023) 在沈阳召开。为进一步促进学术界和产业界的交流，10 月 27 日 13:30-17:30，小红书在大会现场举办「大模型与推荐系统」技术论坛。本论坛由小红书技术副总裁风笛、中国科学技术大学教授何向南担任主席，邀请清华大学计算机科学与技术系教授张敏、中国人民大学高瓴人工智能学院教授赵鑫、华为诺亚方舟推荐与搜索实验室主任唐睿明等知名专家学者，共同深入挖掘和探讨“大模型与推荐系统”在技术、应用和研究方面的最新进展。

直击论坛现场，称得上是“台上精彩不断，多位大咖联袂分享；台下座无虚席，观众慕名而来，挤爆报告厅“。论坛全程共计 5 小时，活动气氛热烈。参会者们尽情地享受这一知识盛宴，遇到关键时刻举起手机拍照、记录，汲取着科学养分，与嘉宾们面对面交流。本次论坛同步直播，吸引超过 3.6 万名技术人士在线观看。

大模型（Large Language Model）在不同领域被广泛采用，如自然语言处理、计算机视觉等。如今，这种趋势也蔓延到推荐系统领域。清华大学张敏教授带来分享《大模型时代推荐系统的挑战与机会》主题报告时，开篇便指出：“ RecSys 彰显未来发展的新趋势，分析 2023 年录用论文关键词可知，LLM 正在推荐系统领域受到比较大的关注。”

大模型对推荐系统带来什么样的挑战呢？张敏教授在现场深入讲述 4 个挑战：

● 如何将大模型与推荐系统结合？是选择“基于大模型的推荐”，还是“大模型增强的推荐”的问题。向左走，向右走，是两条完全不一样的技术路线，等着大家探索研究；不过“条条大路通罗马”，也许未来能走出一条深度融合、殊途同归的道路。

● 流畅（Fluency）与智能的区别。大模型的表现令人感到惊艳，它能比较流利地回答很多问题，但不代表它是智能的，更不能保证其可信性（trustworthy），这两者不能简单地等同起来。

● 如何区分幻觉（hallucination）与欺骗 (con)，以及解决计算资源问题。在推荐系统中，我们容易把“幻觉”当成背锅侠：把大模型所有错误归结成“幻觉“，但其实不一定是”幻觉“，而是”欺骗“。从识别检测、到修正、到真正实现推理，还有很长的路要走。

● 如何理解“用户”（数据、意图、个性化、评价）？大模型使用的是内容数据，如何理解用户意图，提供个性化的信息服务，并给出诸如满意度、解释性、可信度的评价，也是重要的挑战。

清华大学计算机科学与技术系教授 张敏

大模型时代的推荐系统，虽然面临许多挑战，但也蕴含着非常多的机会！对此，张敏教授提及她们团队和其他学者的工作，包括大模型与推荐系统结合，在多个数据集上表现出色，很有潜力；通过新的数据收集方式，构建了基于 LLM 的模型推荐式对话数据集；探索新的应用场景，通专结合，例如在司法场景下做类案推荐系统，模型性能提升 16%-20%。不仅如此，大模型还带来新的用户交互方式，开始改变多年来的 “Lazy User” 假设，让用户变得更有耐心，引发用户行为研究热潮。负责任的推荐系统：在多样性、可解释性、公平性、智能性等方面有非常多的探索空间，期待大模型将带领推荐系统进入下一个新高度。

小红书因种草而闻名，如今逐渐演化成多元化的线上社区。作为一个普通人帮助普通人的内容社区，推荐系统在其中发挥着非常重要的作用，其流量分发更加关注于普通人的分享，呈现出更中长尾的分布。小红书技术副总裁风笛在报告《小红书推荐系统创新性探索》中，结合实际业务特点，详细分享了一个典型的工业界社区型推荐系统，会遇到哪些技术挑战以及应对策略。

多模态内容理解是高效分发的基石，风笛表示：“想做到准确的个性化推荐，其实离不开对内容的充分理解。只有让系统真正掌握了内容是什么、用户爱什么，才能够推荐得更加精确。“ 小红书的海量数据集具有质量优、品类多、语义分布广、内容载体多样、标签表征瓶颈等特点，小红书技术团队借助大规模多模态预训练模型，构建起向量化的内容理解体系，在行为和内容两个领域进行联合表征学习，使得用户刷新反馈时间控制在 800ms 以下。

小红书技术副总裁 风笛

冷启动问题是推荐系统的重要课题之一，而流量的分发策略反映了不同平台的选择。小红书选择“去中心化分发”，在公域曝光中，愿意把超过 50% 的流量分发给普通用户。通过“内容信息提取和初始化、种子人群全旋和投放、Lookalike 扩散和模型承接“这四步，技术团队跑出了适合小红书生态的冷启动算法。推荐系统需要面临多个业务目标的优化，如何平衡是关键。风笛分享小红书在多目标建模、多目标融合、Debias、人群破圈、留存建模等方面的实践经验。

一般来说，用户口碑对产品拉新和留存都有非常大的影响。如何提升推荐系统的多样性，避免“追打”密集，提升用户口碑呢？小红书采用 Exploitation & Exploration 方法：对全站多场景和长短期各种用户行为数据，进行序列化建模，从而提高模型兴趣捕获和刻画能力；同时采取 DPP 和 MGS 等向量打散机制缓解，并通过人群召回解决兴趣探索问题。推荐系统和大模型的结合有非常广阔的前景，尤其对有场景的企业来说，风笛期待通过这种结合能够探索出不一样的世界，并为推荐系统带来更多创新和发展。

以 GPT 为代表的大语言模型展示了惊人的新兴理解、推理和规划能力，催生了将 LLM 应用于推荐系统以提升性能和用户体验的有前景的研究方向。中国科学技术大学何向南教授在《大模型推荐：挑战、进展与未来》的报告中，具体回答了一个问题：“我们为什么考虑在推荐系统中使用大模型？”这对应着三个能力：利用大模型的表示能力，完善物品理解、用户建模；利用其泛化能力，快速适应新的推荐任务，高校跨域泛化；利用其生成能力，进行个性化内容生成，构建生成式推荐。

中国科学技术大学教授 何向南

然而，大模型不是天然适合做推荐的，如何让其会做推荐任务且做得好，需要将它与推荐对齐。面对任务类别和信息模态两大挑战，何向南教授详细分享了相应的解决方案，以及实验效果：

● 对齐推荐任务，使用指令微调等方式让大模型学会推荐任务，能够做推荐。与传统方法相比，在冷启动场景下，大模型推荐效果更友好；也能泛化到不同领域。

● 对齐推荐信息模态，通过信息对齐，让大模型理解协同信息，能够把推荐做的更好。要充分发挥大模型的能力，从“判别式推荐”转为“生成式推荐”。何教授介绍“两步定位范式”方法，并在定位过程中加入其他统计信息，可实现“对齐生成式推荐，再进一步对齐到真实推荐“。实验结果表明，CoLLM 方法可以显著提升大模型推荐在 Warm Start 的场景表现，同时保障 Cold Start 场景的能力。DreamRec 框架生成的理想交互在隐空间表征，可以利用大模型得到自然语言解释。

大模型推荐系统未来会如何发展？何向南教授分享了他的展望：大模型部署落地面临的推理效率和实际效益、公平性与偏见问题、基于用户个性化信息需求进行内容生成 &推荐、将生成式 AI 集成到推荐引擎的新架构、利用上下文信息增强推荐、借助大模型多轮交互能力进行用户兴趣引导等都是值得我们长期研究探索的。

推荐算法的核心是研究学习“用户、资源、背景”三者之间的函数关系，以实现良好匹配。随着推荐算法的发展，从协同过滤到矩阵分解、再到神经网络，和如今的大模型，函数形式不断发生变化。中国人民大学赵鑫教授结合团队的前沿工作，在《大语言模型在推荐系统中的应用》的报告中介绍了大语言模型的最新应用成果。

中国人民大学高瓴人工智能学院教授 赵鑫

随着大模型的蓬勃发展，其展现出强大的多任务、零样本适配能力，让推荐系统有了质的改变，能够更好地挖掘用户的兴趣和需求，提供更加个性化的推荐服务。按研究进展，赵鑫教授分为三个部分详细介绍：

● 大语言模型是推荐系统中的零样本精排器。重点探讨了大语言模型的推荐能力，以及什么因素影响大模型的排序表现。在大模型时代下，设计更灵活的用户—系统交互方式比较重要。报告探讨了如何将推荐任务用自然语言指令的形式描述，以及如何利用通用大语言模型构建私域推荐系统。

●推荐是遵循指令：大语言模型赋能的推荐算法。面对“推荐系统中的指令如何定义与收集”、“通用语言模型如何对齐到私域推荐系统”的挑战，团队提出了一个系统的指令微调解决方案，使得大模型有效适配推荐任务，并在序列推荐、商品搜索、个性化搜索等场景进行实验。

● 大语言智能体是协同过滤学习器。由于大语言模型的参数不能被更新，如何更好地进行推荐任务的学习成为关键。核心思路是对“用户”和“物品”双向建模，让两者真正交互起来，并使用记忆机制和反思机制进行更新与学习，促进偏好信息在智能体间的流动。

大语言模型为推荐系统提供充分的语义信号和外部知识，但存在缺乏协同信号和线上推理时延问题。华为唐睿明博士在《推荐系统如何从大语言模型中取长补短：从应用视角出发》报告中，探讨了推荐模型如何从大语言模型中受益，从而能够优化推荐性能和用户体验。

华为诺亚方舟推荐与搜索实验室主任 唐睿明

唐睿明博士从两个角度展开讨论，一是何处运用大语言模型（Where）：传统的推荐流程里面，在哪里可以用到大语言模型进行增强，如特征工程、特征编码、打分排序、流程控制等阶段。二是如何运用大语言模型（How）：即如何运用大语言模型进行增强？报告中提及四个象限，总结了现有工作在大语言模型用于推荐系统方面的两个关键趋势。这些象限涵盖了使用大语言模型的不同方式和应用场景，提供了指导推荐模型如何从大语言模型中受益的思路。

对于推荐系统的未来发展，他期待利用大模型缓解稀疏场景：解决冷启动和长尾问题；引入外部知识：在资讯类场景下丰富 item 侧信息；改善交互体验：用户可以主动通过交互式界面自由地描述他们的需求，从而实现精准推荐！

在主题报告分享结束后，风笛作为圆桌论坛主持人，与清华大学计算机科学与技术系教授张敏、中国人民大学高瓴人工智能学院教授赵鑫、华为诺亚方舟推荐与搜索实验室主任唐睿明，及现场嘉宾围绕大模型在推荐系统中的独特优势、所面临的挑战，以及在大模型和推荐系统领域的未来发展中，从业者和学生该具备哪些关键技能等问题进行了深入的探讨。

Panel 现场

推荐系统的发展经历了从基于内容的推荐，到协同过滤，再到二者融合的过程。如今，我们站在了大模型的新起点。那么在接下来 2 到 3 年的时间里，大模型在推荐系统中将有哪些独特的优势？赵鑫教授认为，大模型最吸引人的地方在于它的想象力，如果能够充分利用这种想象力，去探索一些特殊场景的推荐，将会更好地满足用户的需求。例如，在推荐系统中，一些复杂的场景可能难以明确界定或获取相应的数据，但利用大模型的想象力，就有可能应对这种复杂的情境。对于大模型的独特优势，张敏教授补充道：“它改变了我们对于什么是‘知识’的看法，长久以来人们一直认为‘知识’等于‘知识图谱’，但其实并不一样。有了 LLM 后，‘知识’的概念会更加广泛，与常识相关的内容会更利于做推荐”。

随着新技术潮流的兴起，必然会迎来一些挑战。赵鑫教授提出，推荐系统里的数据很难被大模型完全“消化”，因此在很多场景下无法完全实现用户兴趣的精确建模。唐睿明博士从应用角度指出，当推荐系统朝着智能助手方向发展时，难免会涉及到隐私问题，需要在端侧闭环，这对于推理技术提出更高要求。张敏教授将技术挑战归结为“可信” 与“资源问题”两点。“可信”涵盖了伦理、结果的可信度、可解释性等问题，而资源问题则涉及到训练的效率、时间和资金等因素。尽管面临挑战，张教授表示大模型仍然是一个机会，二者最终会走向融合。因此，我们不必纠结于如何在大模型与推荐系统之间做出取舍，而是应该思考如何打造一个双赢的局面。

随后，风笛为每位嘉宾准备了特定问题，邀请大家逐一分享。赵鑫教授分享了对于“未来推荐与搜索是否会融合成为一个系统”问题的看法。他认为，推荐和搜索的结合可能会带来许多优势。例如当用户主动搜索信息时，效率会更高，也更便捷。以华为实际应用为例，唐睿明博士阐释了在推荐系统中数据收集的重要性。对于 To C 产品，面对的是十万、百万，逐步到千万的量级，这对于训练机制、算法的要求都很高。目前，数据收集及校对仍然需要耗费大量的人力资源，对于企业和团队来说，需要更加务实，脚踏实地地完成。结合 Google 的 PageRank 例子，张敏教授回答了“如何平衡大模型的计算资源消耗与推荐质量”问题，她指出：目前用户的信息入口几乎都是从推荐系统来的，如何去把有质量、有价值的信息找出来是非常关键的，这需要我们在安全、质量、效率、资源之间取得平衡。

现场汇聚了众多的高校学生及年轻工作者，面对大模型和推荐系统的未来发展，从业者和学生需要具备哪些基本的技能和知识？

张敏教授提出了 3 个建议：首先要深入地理解大模型的原理，它的训练、学习和推理过程，明白其优缺点，并学会编写出高效的 Prompt。其次要理解推荐技术本身，不能因为有了大模型，就忽视了推荐系统本身的重要性；同时，需要适应新的人与机器深度交互的变革。更进一步来说，需要实现跨学科、交叉学科的学习，例如了解心理学、社会学、生物学、数学、物理学、认知科学等领域的知识。唐睿明博士也强调了跨学科学习的重要性，并补充说：“在建立了坚实的基础知识后，应深入研究某一领域，并成为某一领域的专家。只会用锤子和了解怎么打造锤子是完全不同的概念。”在面对快速发展和更新换代的技术背景下，赵鑫教授则建议年轻学者保持开放的心态，学会接纳新技术，以便长期处于技术前沿，而非固步自封。

本届 CNCC 恰逢创办 20 周年，汇聚了图灵奖获得者、两院院士、国内外顶尖学者、知名企业家等各领域专家，现场参会人员达 1.3 万人。在 CNCC 2023 大会现场，我们非常珍惜此次与技术同行深入交流的机会。除「大模型与推荐系统」技术论坛外，超过 3000 位观众直奔小红书展台，积极与我们互动，了解技术团队的实践经验和案例。令人欣喜的是，我们发现不少参会者是小红书 APP 的忠实用户，他们多次停留在展台，甚至主动邀请自己的朋友一起前来参观，并在社交平台打卡分享经历。非常感谢！我们期待与您的下次交流！

「大模型与推荐系统」论坛全部视频已上传至「小红书技术 REDtech」B 站账号，欢迎有兴趣的朋友前往观看！