推荐系统

1基于CF的推荐算法 1.1算法简介 CF（协同过滤）简单来形容就是利用兴趣相投的原理进行推荐，协同过滤主要分两类，一类是基于物品的协同过滤算法，另一种是基于用户的协同过滤算法，这里主要介绍基于物品的协同过滤算法。 给定一批用户，及一批物品，记Vi表示不同用户对物品的评分向量，那么物品i与物品j的相关性为： 上述公式是利用余弦公式计算相关系数，相关系数的计算还有：杰卡德相关系数、皮尔逊相关系数等。 计算用户u对某一物品的偏好，记用户u对物品i的评分为score(u,i)，用户u对物品i的协同过滤得分为rec(u,j)。 1.2业务实践 以购物篮子为例，业务问题：根据用户的历史购买商品记录，给用户推荐一批商品，协同过滤算法实现方法如下。 记buyers表示用户购买商品的向量，记为 其中表示全库用户集合，表示用户对商品的得分，定义如下： Step1：计算物品之间的相关系数 记buyersi表示用户购买商品的向量，记buyersi=(…,bu,i,…) u∈U为,其中U表示全库用户集合，bu,i表示用户u对商品i的得分，定义如下： 那么商品i与商品j的相关系数如下： 上述公式是是利用余弦公式计算相关性，含义是商品的用户购买向量夹角越小越相似。此外也可以运用皮尔逊、杰卡德、自定义公式计算相关性，这里不一一列举。 Step2：计算用户对商品的协同过滤得分 给定一个用户u

一、协同过滤算法的原理及实现 协同过滤推荐算法是诞生最早，并且较为著名的推荐算法。主要的功能是预测和推荐。算法通过对用户历史行为数据的挖掘发现用户的偏好，基于不同的偏好对用户进行群组划分并推荐品味相似的商品。协同过滤推荐算法分为两类，分别是 基于用户 的协同过滤算法(user-based collaboratIve filtering)，和 基于物品 的协同过滤算法(item-based collaborative filtering)。简单的说就是：人以类聚，物以群分。下面我们将分别说明这两类推荐算法的原理和实现方法。 1.基于用户的协同过滤算法(user-based collaboratIve filtering) 基于用户的协同过滤算法是通过用户的历史行为数据发现用户对商品或内容的喜欢(如商品购买，收藏，内容评论或分享)，并对这些喜好进行度量和打分。根据不同用户对相同商品或内容的态度和偏好程度计算用户之间的关系。在有相同喜好的用户间进行商品推荐。简单的说就是如果A,B两个用户都购买了x,y,z三本图书，并且给出了5星的好评。那么A和B就属于同一类用户。可以将A看过的图书w也推荐给用户B。 1.1寻找偏好相似的用户 　我们模拟了5个用户对两件商品的评分，来说明如何通过用户对不同商品的态度和偏好寻找相似的用户。在示例中，5个用户分别对两件商品进行了评分

在互联网飞速发展的现代社会，人们每天都要受到成百上千条信息的轰炸，APP推送、新闻热点、信息流广告……一个有效的“信息过滤器”已经成为了人们日常生活的刚需，也是信息供应商在激烈的市场环境中脱颖而出的必杀技。 推荐系统正扮演着这样一个角色，它如同筛子一般，帮我们找到最想要的内容。但是，推荐系统过高的技术门槛和研发成本把很多企业挡在了门外。第四范式基于机器学习技术推出的智能推荐产品先荐，专注于内容行业的个性化推荐，凭借自身的技术优势有效解决着这一难题，已经服务了36氪、花瓣、果壳等知名媒体，不断受到行业内的广泛好评。 在接下来的文章中，先荐将系统地讲解推荐系统的相关知识，希望各位技术爱好者能对推荐系统有更多、更多的了解。首先，我们将从推荐系统的工作流程讲起。 1. 信息收集阶段 这一阶段会收集用户的相关信息，用以生成预测任务的用户画像，这些信息包括用户属性、用户行为或用户访问的资源。只有用户画像完全建立后，推荐系统才能开始运行。推荐系统需要尽可能多地了解用户，这样的话从一开始就能为用户提供合理的推荐结果。 推荐系统依赖于不同类型的输入，例如最直接的显式反馈，即用户直接输入感兴趣的内容，或隐式反馈，即通过观察用户行为间接地推断用户偏好，还可以通过显式和隐式反馈的组合来获得混合反馈。 以网络学习平台为例，用户画像是与特定用户相关联的个人信息的集合。这些信息包括该用户的认知技能、智力水平

网易云音乐是音乐爱好者的集聚地，云音乐推荐系统致力于通过 AI 算法的落地，实现用户千人千面的个性化推荐，为用户带来不一样的听歌体验。 本次分享重点介绍 AI 算法在音乐推荐中的应用实践，以及在算法落地过程中遇到的挑战和解决方案。 将从如下两个部分展开： AI 算法在音乐推荐中的应用 音乐场景下的 AI 思考 从 2013 年 4 月正式上线至今，网易云音乐平台持续提供着：乐屏社区、UGC（User Generated Content）歌单、以及精准推荐等服务，孵化出了音乐人计划、LOOK 直播、以及主播平台等版块。 目前云音乐的注册用户有 6 个亿，而且持续在音乐类 App 排行榜里蝉联着第一的位置。 AI 算法在音乐推荐中的应用 在音乐推荐的实际应用场景中，我们采用了 AI 技术来分发歌曲与歌单。其中比较典型的应用是：每日歌曲和私人 FM，它们能够根据个性化的场景，进行相关曲目的推荐。 上图是我们整个音乐推荐系统的逻辑图，包括各种日志流、ETL、特征、召回、排序和最后的推荐。 对于该推荐系统而言，最主要的是如何理解用户的画像，也就是通过对前端数据进行整合，了解用户具体喜欢什么样的音乐。 如上图所示： 在数据层， 我们主要用到了 Hive、Hadoop、Flink、SparkSQL 和 Mammut。 在机器学习层， 我们则用到了 SparkML、Tensorflow