星空体育(中国)官方网站AI大模型正改变着推荐系统的未来本文内容从技术角度介绍推荐系统、AI 大模型前沿技术。整理一些大模型和推荐系统相关的交集。同时，我从产品、技术发展趋势，大胆预测 AI 大模型对未来推荐系统的影响。本文适合关注 AI、推荐系统相关领域的朋友。考虑到 AI、LLM、推荐算法本身晦涩难懂，很多专门学科知识，我尽量用易懂的原理图解释，相关部分附上更深度的技术介绍链接。本文希望从产品、技术、商业度分析推荐系统未来的趋势和 AI 大模型带来的革新价值。

　　推荐系统展示结果给用户后，通过在线系统收集用户反馈数据，包括用户行为数据，用户相关数据及推荐“标的物”相关数据。

　　将非结构化数据提取成结构化数据储存到数据仓库中。当数据量非常大，一般采用 HDFS、Hive、HBase 等大数据分布式存储系统来存储数据。

　　推荐系统采用各种机器学习算法来学习用户偏好，并基于用户偏好来为用户推荐“标的物”, 而这些推荐算法用于训练的数据是可以“被数学所描述”，就是机器学习里面的 Embedding 过程Embedding用一个低维的向量表示一个物体，可以是一个词，或是一个商品，或是一个电影等等。

　　近年来词嵌入方法（Word Embedding）被普遍用于 NLP 领域，它将过去机器学习中 One-Hot 表示的单词嵌入（Embed）至低维，以一个带有语义信息的低维稠密向量来表示：

　　在数据挖掘问题中普遍存在各种各样的离散特征（通常称为 ID 类特征），传统的做法是使用 One-Hot 编码进行表征。它虽然简单，但是当离散特征种类过多时，很容易造成维数灾难 (curse of dimentionality) 。One-Hot 编码无法看出特征的内在含义，无法了解 ID 特征之间的相互联系。

　　该模块的核心是根据具体业务场景，和已有的数据设计一套大规模数据的 (分布式) 机器学习算法，期望可以准确预测用户的兴趣偏好。这里一般涉及到模型训练、预测两个核心操作。机器学习的流程中，一般往往不断的训练，预测，损失函数调参的过程损失函数（Loss Function）它用于量化模型的预测结果与实际结果之间的差异，作为训练过程中优化算法的目标。在机器学习中，损失函数用于各种不同类型的算法，包括线性回归、逻辑回归、支持向量机等。它们帮助算法通过最小化损失函数来调整参数，以此改进模型的预测性能。

　　基于深度学习的自然语言处理模型，具有强大的文本生成和理解能力。LLM 通过在大规模语料库上进行训练，可以学习和模拟人类语言的规律和习惯，从而生成和解析自然语言文本。LLM 有着广泛的应用星空体育官方网站，如文本生成、数据挖掘、智能问答、兴趣分析等Modality-based Recommender Models 基于模态的推荐模型。

　　近年来 NLP、CV 和模态预训练大模型技术蓬勃发展，特别是 Transformer 架构出现，成为自然语言处理（NLP）领域的主流架构。Transformer 诞生了知名的大语言模型 LLM : Google 的 BERT 和 OpenAI 的 GPT。它们技术上取得了一系列性成果，对多模态（文本和图像）建模能力产生了质变。业界也在探索：如果用先进的模态编码器表征物品是否能取代经典的 ID embedding 模型? 下面论文介绍了不同预训练模型和 IDRec 对比测试效果，同时深入地探讨模态编码器该如何实现更好的物品表征和用户表征的策略。

　　图中 (1): 将语言模型视为特征提取器，将物品和用户的特征输入到 LLM 中并输出相应的嵌入。传统的 RS 模型可以利用知识感知嵌入进行各种推荐任务。

　　图中 (2): 与前一种方法类似，根据输入的物品和用户的特征生成 Token。生成的令牌通过语义挖掘捕捉潜在的偏好，可以被整合到推荐系统的决策过程中*LLM 作为 RS。

　　越是用户量大，数据量的推荐系统，它的架构涉及的层级和部署中间件服务就复杂，就像上面奈飞 Netflix 推荐系统。

　　推荐系统各个模块协同几乎都是定制化，也就是硬编码形式，各领域推荐系统都是独立造轮子，比如电商平台的推荐系统，抖音微信用户社交的个性化推荐，也许他们底层高度相似，但却是两套完全不同的推荐系统在开发和部署。

　　LLM 虽然使用它的流程和涉及功能模块确实也很复杂。从产品角度看，它确实变成了通用的产品使用场景。大模型有很多，但是通过 LangChain 来调度使用 LLM 的过程却是高度一致。

　　LangChain 是一个强大的框架，旨在帮助开发人员使用语言模型构建端到端的应用程序。它提供了一套工具、组件和接口，可简化创建由大型语言模型 (LLM) 应用程序的过程。LangChain 可以轻松管理与语言模型的交互，将多个组件链接在一起，集成额外的资源，例如 API 和数据库。

　　PaaS Platform as a Service，平台即服务 , 把平台作为一种服务提供的商业模式

　　GPT、LLama 等 LLM 大模型除了 AI 技术突破的，同时把强大的 AI 能力普遍以 PaaS 形式开放，让业界人人都可以用上 AI。对于使用者现在只需要关注 Token 和算力，以更精准的方式去索取 AI 的赋能。AI PaaS 已经是未来的趋势。

　　现在主流推荐系统，研发成本非常高昂，加上对人才本身要求高，市面上招人门槛也高。另外一方面，真是因为推荐系统复杂，技术门槛高，只能稍有规模，甚至是平台级公司有这个能力打造完整可用的推荐系统。一般企业就算有场景需求，往往因为投入远远大于产出而选择放弃。如果一些传统的电商企业，虽然有完整的用户画像、订单画像，丰富的商品。但是本身研发人员很少甚至有的连研发团队没有，不可能像淘宝，京东一样做猜你喜欢，关联推荐这样功能。而且，还有一个非常重要点是推荐系统本身提供的服务是有试错成本，它往往不断地优化和调试提供推荐的精准度，那就是更难直接产生经济价值。

　　还有一点也可以大家思考下：现在主流推荐系统从实现原理和用到技术框架，70%-80% 软硬件，包括算法都是几乎一样。但每家企业都是独立开发一整套推荐系统，这算不算是重复造轮子呢？

　　Gemini 预言未来出现 LLM Recommendation System 云服务商，AI 和我的看法是一致的。如果有兴趣了解更多，参考下面的链接：

　　说明：推荐策略分为两种，一种甲方没有初始化的数据。比如系统中缺乏新用户的历史行为数据，因此无法了解新用户的兴趣和喜好，推荐系统就采用冷启动的策略。从冷启动来说，已经有大数据模型的 LLM 确实是个天然优势。目前看像 OpenAI，Google AI 他们拥有的海量数据，在已经有很多公开数据积累的行业，就算是新用户推荐，冷启动效果也是不错。

　　代码里面还演示了关联规则 算法给用户进行组合商品推荐。这个经典场景是当年亚马逊的营销真实案例：