在先荐推荐系统学院 | 第1期的分享中，第四范式资深研究员罗远飞针对推荐系统中的高维稀疏数据，介绍了如何在指数级搜索空间中，高效地自动生成特征和选择算法；以及如何结合大规模分布式机器学习系统，在显著降低计算、存储和通信代价的情况下，从数据中快速筛选出有效的组合特征。

当我们打开一个资讯APP刷新闻时，有没有想过，系统是如何迅速推送给我们想看的内容？资讯APP背后有一个巨大的内容池，系统是如何判断要不要将某条资讯推送给我们的呢？这就是今天想跟大家探讨的问题——推荐系统中的“召回”策略。

2019年的推荐系统大会（Recsys） 于今年的9月份在丹麦哥本哈根举行，来自世界各地的909位专家、学者参与了此次会议，迄今为止规模最大的一次。大会涵盖了与推荐系统相关的主题，从推荐系统的社会影响到搭建推荐系统所用的算法。

这也让大家造成了这样的误解：机器学习就是掌握一系列的算法。其实，机器学习并不止步于算法，我们可以把它看做是解决问题的一种综合方法。我们看到的一个个独立的算法，只不过是难题的一角，剩下的难题是我们该如何正确地使用这些算法。

我们知道，大数据的计算模式主要分为批量计算(batch computing)、流式计算(stream computing)、交互计算(interactive computing)、图计算(graph computing)等。其中，流式计算和批量计算是两种主要的大数据计算模式，分别适用于不同的大数据应用场景。

大数据流式计算系统存在诸多挑战，如资源调度、系统容错、动态时间窗口、高效索引策略等诸多方面。本文将从大数据流式计算系统架构的角度，针对当前大数据流式计算环境中存在的两个方面的典型问题进行系统化的分析，即在线环境下的资源调度问题和节点依赖环境下的容错策略问题，并原则性地分别给出了两类问题的解决策略。

大数据流式计算可以广泛应用于金融银行、互联网、物联网等诸多领域，如股市实时分析、插入式广告投放、交通流量实时预警等场景，主要是为了满足该场景下的实时应用需求。数据往往以数据流的形式持续到达数据计算系统，计算功能的实现是通过有向任务图的形式进行描述，数据流在有向任务图中流过后，会实时产生相应的计算...

一、流式计算的背景在日常生活中，我们通常会先把数据存储在一张表中，然后再进行加工、分析，这里就涉及到一个时效性的问题。如果我们处理以年、月为单位的级别的数据，那么多数据的实时性要求并不高；但如果我们处理的是以天、小时，甚至分钟为单位的数据，那么对数据的时效性要求就比较高。在第二种场景下，如果我们...

推荐系统能够为用户提供个性化体验，现在基本上各大电商平台、资讯平台都会用推荐系统为自家评价下的用户提供千人千面的服务。平均精度均值（Mean Average Precision，MAP）便是评估推荐系统性能的度量标准之一。

新颖性通常指在推荐中出现新的物品，这在不同文献中有不同的定义。在此，我们将新颖性的定义和指标分为三个层次，如下表所示。本文中把新颖性指标称为𝑛𝑜𝑣（𝑅𝑢）。

在推荐系统中，研究人员为了能让预测结果对用户提供更多价值，会关注用户满意度。鉴于推荐系统除了让用户购买更多的相似产品外，还必须对用户而言“有用”，研究人员还会关注用户在使用系统时的交互体验和消费体验。 目前，研究人员正在通过评估不同的指标来解决这个问题，而不是简单地通过预测准确度和机器学习技术。

以协同过滤这样的经典推荐系统为例，假设每个用户或项目都有评级，这样我们就可以推断出类似用户/项目的评级，即使这些评级没办法调用。但是，对于新进入的用户/项目，实现这一点很困难，因为我们没有相关的浏览、点击或下载等数据，也就没办法使用矩阵分解技术来“填补空白”。

据统计，全球数据总量预计2020年达到44ZB，中国数据量将达到8060EB，占全球数据总量的18%。现阶段我们所讨论的人工智能，很大程度上都是在谈“人工智能”这个大概念下机器学习领域中的深度学习技术。它的底层原理相对简单，对数据有很大的依赖性，本质上是一种基于大数据的统计分析技术。

如今，许多公司都会开发与自己业务息息相关的推荐系统。先荐作为第四范式研发的一款智能推荐产品，已为内容行业的众多媒体客户赋能，实现客户的营收增长。在本文中，我们将会简要介绍现有的主要推荐算法及其工作原理。

使用多种推荐技术能够弥补模型中某种技术存在的缺陷。组合方法可以是以下任何一种：分别实现算法后组合推荐结果，在协同过滤中加入基于内容的过滤，在基于内容的过滤中加入协同过滤，或者，把基于内容的过滤和协同过滤整合到一个推荐系统中。

与基于内容的过滤（CBF）不同，协同过滤（Collaborative Filtering）技术独立于域，适用于无法利用元数据充分描述的项目，如电影、音乐等。

在上一篇文章中，我们介绍了推荐系统的主要工作流程。在接下来的文章中，我们会详细分析推荐系统中的过滤技术。 推荐系统中不同的过滤技术 推荐系统要想为用户提供切实有用的推荐服务，高效、准确的推荐技术至关重要，也就是说，理解不同推荐过滤技术的特征和潜力至关重要。 下图显示了推荐系统中不同的过滤技术： 推荐...

在互联网飞速发展的现代社会，人们每天都要受到成百上千条信息的轰炸，APP推送、新闻热点、信息流广告……一个有效的“信息过滤器”已经成为了人们日常生活的刚需，也是信息供应商在激烈的市场环境中脱颖而出的必杀技。

太长不看版：第一步便是搭建基于内容的推荐系统，这种推荐系统会给用户推荐其他类似的商品，但并不依赖其他用户的数据。这些特征（即数学表达式，推荐算法需借助内容条目不同方面的表达式才能得以运算）来自于内容条目本身，并非用户行为。有了书面文本，我们便可以使用语义技术提取文本特征。

本文使用的数据集是MovieLens数据集，该数据集由明尼苏达大学的Grouplens研究小组整理。它包含1,10和2亿个评级。 Movielens还有一个网站，我们可以注册，撰写评论并获得电影推荐。接下来我们就开始实战演练。

我们在帮助纽约时报（The New York Times，以下简称NYT）开发一套基于内容的推荐系统，大家可以把这套系统看作一个非常简单的推荐系统开发示例。依托用户近期的文章浏览数据，我们会为其推荐适合阅读的新文章，而想做到这一点，只需以这篇文章的文本数据为基础，推荐给用户类似的内容。

什么是推荐推荐是一种古老的信息检索方式，我国历史记载最早的推荐在西汉，汉武帝元光元年初令郡国举孝廉各一人，即举孝举廉各一人。实际上这种推荐方式已经包含了现代推荐系统的设计思想：分布式、使用CF、分层结构。隋朝，科举制度开始兴起，通过科举考试，又为人才推荐加入了排序分，发展到这里，其实从架构上已经和...