推荐算法

原文链接： Netflix recommendations: beyond the 5 stars (Part 1) , (Part 2) 原文作者： Xavier Amatriain and Justin Basilico 翻译： 大魁 前言 Nexflix是一家提供在线视频流媒体服务和DVD租赁业务的公司，也是著名的Netflix大奖赛的发起者。如果读者希望进一步了解Netflix，建议读一下和讯上的一篇文章： Netflix：从传统DVD租赁向流媒体华丽转身 以及爱范儿上的： Netflix成功的背后：高薪，高标准，高淘汰率，股票，无限制休假，恐惧文化，垃圾便当午餐 在这篇博文中，作者为我们掀开了Netflix最有价值的资产--推荐系统的面纱。 全文分两部分。在第一部分中，作者首先介绍了Netflix Prize对智能推荐领域的贡献，Netflix推荐服务的主要模块，以及推荐服务如何满足网站的商业需求；第二部分中，作者描述了系统使用的数据和模型，讨论了如何将离线的机器学习实验与线上的AB testing相结合。 第一部分 Netflix大奖赛与推荐系统 在2006年，我们启动了Netflix大奖赛，是一个机器学习和数据挖掘的比赛，旨在解决电影评分预测问题。我们举办这个比赛的目的是为了发现更好的方法来向我们的用户推荐产品，这是我们商业模式的核心任务

设 总记录数：totalRecord 每页最大记录数：maxResult 总页数：totalPage 算法一: totalPage = totalRecord % maxResult == 0 ? totalRecord / maxResult : totalRecord / maxResult + 1 ; 算法二：（推荐） totalPage = (totalRecord + maxResult -1) / maxResult; 其中 maxResult - 1 就是 totalRecord / maxResult 的最大的余数 算法三： totalPage = (int) Math.ceil(totalRecord/ maxResult); 总记录数：totalRecord 每页最大记录数：maxResult 总页数：totalPage 算法一: totalPage = totalRecord % maxResult == 0 ? totalRecord / maxResult : totalRecord / maxResult + 1 ; 算法二：（推荐） totalPage = (totalRecord + maxResult -1) / maxResult; 其中 maxResult - 1 就是 totalRecord / maxResult 的最大的余数 算法三：

推荐系统评测 一个网站3各参与方，用户、网站、内容提供方，好的推荐系统目标就在增加用户与网站互动，提高网站收入（这是公司最关注的），所以在推荐系统中需要综合考虑三方的利益。 在进行推荐时要注重用户体验并且也要考虑相关商家的利益，最终能使得网站收入提升。 在推荐系统早期，预测准确度是推荐系统的重要指标，这个指标的好处就是比较容易通过离线计算来得到，这样方便对不同推荐算法的研究。 准确预测并不代表好的推荐，比如用户已经打算买某个item ，无论系统是否给他推荐，他都准备买，对于用户来说他觉得推荐不够新颖，对于服务提供商来说没有增加潜在消费者中的销量，从实际效果来说这是一个比较失败的推荐。为了全面评测三方利益，从不同角度提出了很多评价指标。 推荐系统中实验方法 1. 离线实验 离线实验步骤比较简单，通过日志数据获取用户的行为数据，并按照一定格式来生成数据集；将数据集按照一定规则切分成训练集与测试集；在训练集上训练模型，在测试集上进行验证，通过指定的评价指标进行算法效果的评估。 这个方法的主要缺点就是：无法获取商业上关注的指标，如点击率，PV,VU,转化率等。但是优点也是非常明显的：不需要实际系统中控制权、不需要真实线上用户的参与、速度快可以进行大量算法的测试工作。 2. 用户调查 如果需要准确评价一个算法需要上线测试，但是如果对算法不是很有把握的时候，上线测试有比较大的风险

推荐算法越来越多的运用到我们的生活中，特别是在网站中，当你浏览大大小小的网站，你的行为被时刻记录着，并根据一些依据对你推荐一些物品。下面会简单介绍一下推荐算法，后续会继续对这些算法进行补充。 1.协同过滤算法 2.基于流行度的算法 3.基于模型的算法 4.混合算法 协同过滤算法 协同过滤算法有两种，一种是基于用户的协同过滤算法，一种是基于物品的协同过滤算法。 基于用户的协同过滤算法 该算法主要是找出用户的相似用户，将相似用户浏览或购买而用户没有购买的商品推荐给用户。 基于用户的协同过滤算法流程如下： 1.分析各个用户对item的评价（通过浏览记录、购买记录等）； 2.依据用户对item的评价计算得出所有用户之间的相似度； 3.选出与当前用户最相似的N个用户； 4.将这N个用户评价最高并且当前用户又没有浏览过的item推荐给当前用户。 如下图： 基于物品的协同过滤算法 基于物品的协同过滤算法原理为在计算邻居时采用物品本身，而不是从用户的角度，即基于用户对物品的偏好找到相似的物品，然后根据用户的历史偏好，推荐相似的物品给他。基于物品的协同过滤算法原理大同小异，只是主体在于物品： 1.分析各个用户对item的浏览记录。 依据浏览记录分析得出所有item之间的相似度； 2.对于当前用户评价高的item，找出与之相似度最高的N个item； 3.将这N个item推荐给用户。 如下图：

　　◆ ◆ ◆ 　　序言 　　最近因为PAC平台自动化的需求，开始探坑推荐系统。这个乍一听去乐趣无穷的课题，对于算法大神们来说是这样的： 　　 　　而对于刚接触这个领域的我来说，是这样的： 　　 　　在深坑外围徘徊了一周后，我整理了一些推荐系统的基本概念以及一些有代表性的简单的算法，作为初探总结，也希望能抛砖引玉，给同样想入坑的伙伴们提供一些思路。 　　◆ ◆ ◆ 　　什么是推荐系统 　　1. 什么是推荐系统？ 　　推荐系统是啥？ 　　如果你是个多年电商（剁手）党，你会说是这个： 　　 　　如果你是名充满文艺细胞的音乐发烧友，你会答这个： 　　 　　如果你是位活跃在各大社交平台的点赞狂魔，你会答这个： 　　 　　没错，猜你喜欢、个性歌单、热点微博，这些都是推荐系统的输出内容。从这些我们就可以总结出，推荐系统到底是做什么的。 　　目的1. 帮助用户找到想要的商品（新闻/音乐/……），发掘长尾 　　帮用户找到想要的东西，谈何容易。商品茫茫多，甚至是我们自己，也经常点开淘宝，面对眼花缭乱的打折活动不知道要买啥。在经济学中，有一个著名理论叫长尾理论（The Long Tail）。 　　 　　套用在互联网领域中，指的就是最热的那一小部分资源将得到绝大部分的关注，而剩下的很大一部分资源却鲜少有人问津。这不仅造成了资源利用上的浪费，也让很多口味偏小众的用户无法找到自己感兴趣的内容。 　　目的2.

迁移到： http://www.bdata-cap.com/newsinfo/1741432.html 本文内容 用户评分表 曼哈顿（Manhattan）距离 欧式（Euclidean）距离 余弦相似度（cos simliarity） 推荐算法以及数据挖掘算法，计算“距离”是必须的~最近想搭一个推荐系统，看了一些资料和书《写给程序员的数据挖掘指南》，此书不错，推荐大家看看，讲解得很透彻，有理论有代码，还有相关网站。看完后，你立刻就能把推荐算法应用在你的项目中~ 本文先主要说明如何计算物品或用户之间的“距离”，陆续会介绍推荐算法本身~ 用户评分表 大体上，推荐算法可以有两种简单的思路：一是相似的用户，二是相似的物品。 前者，把与你相似的用户喜欢（或购买或评价高）的商品推荐给你，也就是说，如果你跟某个用户的喜好比较接近，那么就可以把这个用户喜欢的，而你不知道（或没浏览过，或没购买过等等）的物品推荐给你。什么叫“喜好接近”，就是对某些物品的评价也好，购买也罢，都比较接近，就认为，你和他喜好相同~ 前者的缺陷在于，用户的评价毕竟是少数，想想，你评价过（显式评价）的物品有多少！大多数还是隐式评价，所谓隐式评价，如果你购买一个物品，那显然你会喜欢他，不然也不会买~因此，利用相似的用户是有局限性的。不如利用相似的物品来推荐。 下面“距离”算法主要针对计算用户之间的距离（相似性）。 假设

推荐算法概览（一） 为推荐系统选择正确的推荐算法非常重要，而可用的算法很多，想要找到最适合所处理问题的算法还是很有难度的。这些算法每种都各有优劣，也各有局限，因此在作出决策前我们应当对其做以衡量。在实践中，我们很可能需要测试多种算法，以便找出最适合用户的那种；了解这些算法的概念以及工作原理，对它们有个直观印象将会很有帮助。 推荐算法通常是在 推荐模型 中实现的，而推荐模型会负责收集诸如用户偏好、物品描述这些可用作推荐凭借的数据，据此预测特定用户组可能感兴趣的物品。 主要的推荐算法系列有四个（表格1-4）： 协同过滤（Collaborative Filtering）的推荐算法 基于内容过滤（Content-based Filtering）的推荐算法 混合型推荐算法 流行度推荐算法 此外，还有很多高级或非传统的方式，可参见表格5。 本文是系列文中的第一篇，将会以表格形式来介绍推荐算法的主要分类，包括算法简介、典型的输入内容、常见的形式及其优劣。在系列文的第二与第三篇中，我们将会更详细地介绍各种算法的不同，以便让大家更深入地理解其工作原理。本文的某些内容是基于一篇2014年的推荐算法2014教程 《推荐问题再探（Recommender Problem Revisited）》 来撰写的，该文的作者是 Xavier Amatriain 。 表格一：协同过滤推荐算法概览 表格二

文章目录 基于K最近邻的协同过滤推荐 基于K最近邻的协同过滤推荐 基于K最近邻的协同过滤推荐其实本质上就是MemoryBased CF，只不过在选取近邻的时候，加上K最近邻的限制。 这里我们直接根据MemoryBased CF的代码实现 修改以下地方 class CollaborativeFiltering ( object ) : based = None def __init__ ( self , k = 40 , rules = None , use_cache = False , standard = None ) : ''' :param k: 取K个最近邻来进行预测 :param rules: 过滤规则，四选一，否则将抛异常："unhot", "rated", ["unhot","rated"], None :param use_cache: 相似度计算结果是否开启缓存 :param standard: 评分标准化方法，None表示不使用、mean表示均值中心化、zscore表示Z-Score标准化 ''' self . k = 40 self . rules = rules self . use_cache = use_cache self . standard = standard 修改所有的选取近邻的地方的代码，根据相似度来选取K个最近邻 similar

文章目录 基于内容的推荐算法（Content-Based） 简介 基于内容的推荐实现步骤 问题：物品的标签来自哪儿？ 基于内容推荐的算法流程： 物品冷启动处理： 基于内容的推荐算法（Content-Based） 简介 基于内容的推荐方法是非常直接的，它以物品的内容描述信息为依据来做出的推荐，本质上是基于对物品和用户自身的特征或属性的直接分析和计算。 例如，假设已知电影A是一部喜剧，而恰巧我们得知某个用户喜欢看喜剧电影，那么我们基于这样的已知信息，就可以将电影A推荐给该用户。 基于内容的推荐实现步骤 画像构建 。顾名思义，画像就是刻画物品或用户的特征。本质上就是给用户或物品贴标签。 物品画像 ：例如给电影《战狼2》贴标签，可以有哪些？ "动作"、"吴京"、"吴刚"、"张翰"、"大陆电影"、"国产"、"爱国"、"军事"等等一系列标签是不是都可以贴上 用户画像 ：例如已知用户的观影历史是："《战狼1》"、"《战狼2》"、"《建党伟业》"、"《建军大业》"、"《建国大业》"、"《红海行动》"、"《速度与激情1-8》"等，我们是不是就可以分析出该用户的一些兴趣特征如：“爱国”、“战争”、“赛车”、“动作”、“军事”、“吴京”、"韩三平"等标签。 问题：物品的标签来自哪儿？ PGC 物品画像–冷启动 物品自带的属性（物品一产生就具备的）：如电影的标题、导演、演员、类型等等 服务提供方设定的属性

在介绍矩阵分解之前，先让我们明确下推荐系统的场景以及矩阵分解的原理。对于 推荐系统来说存在两大场景即评分预测（rating prediction）与Top-N推荐 （item recommendation，item ranking）。 评分预测场景主要用于评价网站，比如用户给自己看过的电影评多少分（MovieLens），或者用户给自己看过的书籍评价多少分。其中矩阵分解技术主要应用于该场景。 Top-N推荐场景主要用于购物网站或者一般拿不到显式评分信息的网站，即通过用户的隐式反馈信息来给用户推荐一个可能感兴趣的列表以供其参考。其中该场景为排序任务，因此需要排序模型来对其建模。因此，我们接下来更关心评分预测任务。 Ref: https://zhuanlan.zhihu.com/p/35262187 Ref： https://zhuanlan.zhihu.com/p/27502172 来源： CSDN 作者： 人鱼线 链接： https://blog.csdn.net/qfikh/article/details/104655674