“推荐算法”究竟是什么?这篇科普报告帮你快速了解

算法究竟是什么?我们为什么需要算法?

算法是否能服务人在获取信息时对效率提升、公平发展的诉求?

今年,在中国人民大学高瓴人工智能学院举办的“推荐算法社会价值与可持续发展”研讨会上,我们发布了《算法向善与个性化推荐发展研究报告》(下称《报告》)。

在这份算法科普性报告中,课题组围绕这些热点问题进行了探讨。

1、算法是什么?我们为何需要算法?

互联网数据中心发布的《数据时代2025》报告显示,全球每年产生的数据将从2018年的33ZB(十万亿亿字节)增长到175ZB,相当于每天产生491EB(百亿亿字节)的数据。

图1:用数学公式解决“鸡兔同笼”问题体现了算法思维

2、推荐技术发展历史上的关键事件有哪些?

“信息过载(InformationOverload)”是在上个世纪80、90年代就已经存在的概念。随着信息技术和互联网的快速发展,人类从信息匮乏时代走向了信息过载时代。

《报告》研究指出,早期的研究提出了通过信息检索和过滤的方式来解决这个问题。

到了上世纪90年代中期,研究者开始通过预测用户对推荐的物品、内容或服务的评分,试图解决信息过载问题。推荐系统由此也作为独立研究领域出现了。

图3:推荐系统发展历史

3、推荐系统有哪几个类型?

在《报告》看来,推荐系统发展至今,其核心技术可大致分为“基于协同过滤的推荐方法”、“基于内容的推荐方法”,以及“混合推荐方法”。

基于协同过滤的推荐方法,本质是根据相似的用户具有相似的喜好,推荐给他们喜欢的物品、内容或者服务。

图4:基于协同过滤的推荐方法

图5:基于内容的推荐方法

混合推荐方法:衡量各推荐方法的利弊,扬长避短,通过加权、切换、混杂、特征组合等方式避免或弥补各推荐技术弱点,进一步提升推荐方法性能。

图6:融合知识图谱的混合推荐方法

4、什么是个性化推荐算法?

纵观推荐系统的发展历史,可将其大致分为非个性化推荐系统和个性化推荐系统。

其中,个性化推荐系统,就是为每一个特定用户提供特定的服务,实现“千人千面”,服务个性化诉求。

图7:在个性化推荐算法下,不同人搜索“京剧”一词结果不同

5、推荐算法,会导致信息窄化吗?

在外界的印象里,个性化推荐就像漏斗一样,会将推荐内容与用户相匹配,倾向于向用户推荐高度符合其偏好的内容,致使推荐的内容越来越窄化。

但与外界的固有认知相反,《报告》认为在行业实践中,互联网应用(特别是位于头部的大型平台)有追求算法多样性的内在动力。

推荐技术并不是单纯地“投其所好”。在一些专家看来,在推荐已知的用户感兴趣内容基础上,如果能深入激发、满足用户的潜在需求,那么算法就能更好地满足人对信息的多维度诉求。

6、算法如何服务人对安全的诉求?

《报告》观察发现,当前很多内容创作与分发平台,从创立之初就将用户和内容安全视为最高优先级问题。

以今日头条为例,在内容安全技术方面采用了鉴黄模型、谩骂模型以及低俗模型等内容识别技术。抖音安全中心则自主研发反欺诈模型、风控策略,结合抖音产品功能、内容属性、用户行为特征,对欺诈行为进行主动拦截。

图9:抖音安全中心通过算法技术主动拦截欺诈行为

7、推荐技术如何服务人对公平的诉求?

《报告》认为,推荐系统中的“公平”是站在不同角度定义问题。

比如在招聘网站上,求职者方可能将公平定义为“相同的学历和能力可以被推荐类似的工作,而不受国籍、种族和性别等偏见”;对于招聘方,“公平”可能为“系统可以将他们的招聘信息推给优质的求职者,而不会因为公司的背景等因素,只将招聘信息推给不太合适的求职者”。

当前,学界对算法公平性的研究与探讨正不断深入。

图10:在抖音等国内短视频直播平台上,也能看到更多推荐系统服务“用户”、“物品”公平的案例

THE END
1.协同过滤算法深入解析:构建智能推荐系统的核心技术在这种背景下,推荐系统应运而生,成为帮助用户过滤信息,找到自己感兴趣内容的有效工具。协同过滤算法作为推荐系统中的一种核心技术,广泛应用于电商、社交媒体、音乐、电影等多个领域,极大地改善了用户体验。本文将对协同过滤算法进行深入解析,让我们一起探讨这一神奇的技术。https://developer.aliyun.com/article/1267365
2.融合隐语义模型的聚类协同过滤AET协同过滤技术是现在推荐系统中应用最广的算法[2],它的主要思想是根据用户对相似项目的评分来预测对目标项目的评分[3-4]。基于这种假设,大部分用户对两个商品i和j的评分都很相似,那么就可以考虑将其中一个商品推荐给只对另一个商品有评分的用户。基于项目的协同过滤找到目标项目的若干近邻,产生推荐列表。传统的协同...http://www.chinaaet.com/article/3000014841
1.协同过滤电子商务 推荐系统的一种主要算法。 协同过滤推荐(Collaborative Filtering recommendation)是在信息过滤和信息系统中正迅速成为一项很受欢迎的技术。与传统的基于内容过滤直接分析内容进行推荐不同,协同过滤分析用户兴趣,在用户群中找到指定用户的相似(兴趣)用户,综合这些相似用户对某一信息的评价,形成系统对该指定用户对此信...https://baike.sogou.com/m/v55257271.htm
2.协同过滤算法要点和难点具体应用协同过滤优缺点为了克服这些挑战,未来的发展方向包括混合推荐系统,即结合协同过滤算法和其他推荐算法,形成混合推荐系统,以充分发挥各算法的优势。此外,还有一些研究工作致力于通过深度学习等技术来改进协同过滤算法的性能和准确性。 协同过滤算法是推荐系统中常用的一种方法,其基本原理是通过用户或物品之间的相似性来产生推荐。以下是协同...https://blog.csdn.net/2401_84235249/article/details/138963287
3.基于协同过滤技术的推荐方法研究面对海量的网络资源,推荐系统能够及时跟踪用户的需求变化来自动调整信息服务的方式和内容,是一种极具潜力的解决信息超载的个性化服务技术。协同过滤技术是推荐系统中最广泛使用和最成功的技术之一,在理论研究和实践中都取得了快速的发展。但是随着用户数量和系统规模的不断扩大,协同过滤推荐技术将面临严重的数据稀疏性、超...https://cdmd.cnki.com.cn/Article/CDMD-10056-2010090099.htm
4.推荐方法范文8篇(全文)为了建立动态用户文件, 将用户行为记录按时间序列排序, 因加入了时间维, 0实例大大增加, 导致了推荐精度降低。为此, 采用SOM的时间序列数据挖掘技术, 对用户的交易进行聚类处理, 并根据用户的购买行为将其划分为不同的簇, 以避免协同过滤技术稀疏性问题。依据SOM的聚类结果, 形成动态用户文件。https://www.99xueshu.com/w/filew2656igm.html
5....协同过滤算法应用协同过滤和算法推荐JAVA 协同过滤 算法应用 协同过滤和算法推荐 最近找工作的时候发现,机器学习算法工程师往往和推荐算法相关联,之前对推荐算法并不了解,所以现在我也是零基础入门一下推荐算法。这篇文章是我个人的学习笔记。 文章目录 1 基于用户user-based 1.1 寻找偏好相似的用户...https://blog.51cto.com/u_16213724/11038176
6.问题瓶颈(精选十篇)[4]冷亚军, 陆青, 梁昌勇.协同过滤推荐技术综述[J].模式识别与人工智能, 2014 (8) :123-127. 加快解决土地资源瓶颈制约问题 篇5 南充市嘉陵区政协经济委副主任、区国土局副局长 唐林 近年来,嘉陵区委、区政府带领全区人民,坚持以科学发展观为指导,紧紧围绕建设“川东北新兴经济强区”目标,大力实施“四城两...https://www.360wenmi.com/f/cnkeyswkqe5g.html
7.协同过滤算法腾讯云开发者社区优点:综合了基于用户和基于物品的优势,提高了推荐系统的性能。 缺点:实现较为复杂,计算量相对较大。 4.简单实例 实现协同过滤算法涉及到大量的数学和编程细节。在这里,我将给出一个简化的例子,用于说明基于用户的协同过滤算法的基本步骤。实际应用中,你可能需要更复杂的技术和数据处理。 https://cloud.tencent.com/developer/article/2389581