ffm

FM和FFM模型是最近几年提出的模型，凭借其在数据量比较大并且特征稀疏的情况下，仍然能够得到优秀的性能和效果的特性，屡次在各大公司举办的CTR预估比赛中获得不错的战绩。美团点评技术团队在搭建DSP的过程中，探索并使用了FM和FFM模型进行CTR和CVR预估，并且取得了不错的效果。本文旨在把我们对FM和FFM原理的探索和应用的经验介绍给有兴趣的读者。 本文转载自：https://tech.meituan.com/deep_understanding_of_ffm_principles_and_practices.html(美团技术点评团队) 前言 在 计算广告 领域，点击率CTR（click-through rate）和转化率CVR（conversion rate）是衡量广告流量的两个关键指标。准确的估计CTR、CVR对于提高流量的价值，增加广告收入有重要的指导作用。预估CTR/CVR，业界常用的方法有人工特征工程 + LR(Logistic Regression)、GBDT(Gradient Boosting Decision Tree) + LR [1] [2] [3] 、FM（Factorization Machine） [2] [7] 和FFM（Field-aware Factorization Machine） [9] 模型。在这些模型中，FM和FFM近年来表现突出

FM与libfm ： FM（Factorization Machines）结合了SVM与factorization models的优点； FM建模了所有特征的交互，因此适用于大型稀疏的场景，比如recommender systems；（SVMs fail） FM能在线性时间被计算出来，并且能直接优化；（SVM是非线性的，且其中的dual transformation 没有必要） 指出SVD++、PITF、FPMC等模型的缺点，它们不适应于通用的预测任务，且需要特定的输入，FM能模拟它们； FM参数个数是线性级别的，且不需要存储训练数据，直接把参数保存在内存中，能处理非常大的数据，如100 millions； FM可用于回归、二分类、排序等预测任务； FM用SGD训练；2-way FM 可以扩展到d-way FM； 普通的线性模型，各个特征是独立考虑的，并没有考虑到特征之间的相互关系，实际上，大量的特征之间是有关联的； 从公式很容易看出来，FM比一般线性模型多出了wxixj的累加，即特征组合的部分； 由于矩阵的稀疏性，w很难计算，为此引入辅助向量v，使得w=vvT；（v向量的点积，是一个值） （通过向量v的学习能够更好的挖掘特征间的相互关系，尤其在稀疏条件下，以及在训练样本中没出现的交叉数据） FM最精彩的部分是，EE<vi,vj>xixj可以在线性时间内计算，为O(kn)

背景 在CTR/CVR预估任务中，除了FM模型[2] 之外，后起之秀FFM（Field-aware Factorization Machine）模型同样表现亮眼。FFM可以看作是FM的升级版，Yuchi Juan于2016年提出该模型，但其诞生是受启于Rendle在2010年发表的另一个模型PITF [3]（FM也是Rendle在2010年发表的），其论文原文 [1] 中写道： The idea of FFM originates from PITF proposed for recommender systems with personalized tags. 在各种深度推荐模型出来之前，FM/FFM模型在各大推荐相关的竞赛中大放异彩。今天，我们就来好好梳理一下FFM的原理以及如何将理论转化为实践。 分析 1. FFM公式定义 相较于FM模型，FFM模型引入了域（Field）的概念（该想法来源于PITF [3]），可看做是对特征进行分组。例如，对于性别特征而言，通常有两种取值 \(female\) 、 \(male\) 。对值进行one-hot编码之后性别特征会拆分为两个独立的特征 \(x_{female}\) 和 \(x_{male}\) 。显然，这两个特征具有共同的性质：都属于性别。所以可以将这两个特征归在同一个Field下，即有相同的Field编号。不同域的特征之间