svd

推荐系统中的深度匹配模型 辛俊波 DataFunTalk 今天 文章作者：辛俊波 腾讯 高级研究员 编辑整理：Hoh Xil 内容来源：作者授权 文章出品：DataFunTalk 注：转载请联系作者本人。 导读： 推荐系统和搜索应该是机器学习乃至深度学习在工业界落地应用最多也最容易变现的场景。而无论是搜索还是推荐，本质其实都是匹配，搜索的本质是给定 query，匹配 doc；推荐的本质是给定 user，推荐 item。本文主要讲推荐系统里的匹配问题，包括传统匹配模型和深度学习模型。 深度学习之风虽然愈演愈烈，但背后体现的矩阵分解思想、协同过滤思想等其实一直都是贯穿其中，如 svd++ 体现的 userCF 和 itemCF 的思想，FM 模型本质上可以退化成以上大多数模型等。多对这些方法做总结，有助于更深刻理解不同模型之间的关联。 图1 推荐和搜索的本质，都是 match 的过程 PS：本文主要启发来源 SIGIR2018：Deep Learning for Matching in Search and Recommendation，重点阐述搜索和推荐中的深度匹配问题，非常 solid 的综述，针对里面的一些方法，尤其是 feature-based 的深度学习方法增加了近期一些相关 paper。 本文主要分为以下几部分： ❶ 推荐系统概述 ❷ 推荐系统的传统匹配模型 ❸ 基于

## 矩阵SVD分解的理论基础 首先，我们先说明什么是矩阵的奇异值分解（single value decomposition），简称SVD。 给定一个矩阵 A ∈ R m × n A \in R^{m \times n} A ∈ R m × n , 设它的秩为r，则它具有以下的分解形式 A m × n = U m × m Σ m × n V n × n T A_{m \times n} = U_{m \times m} \Sigma_{m \times n} V_{n \times n}^T A m × n ​ = U m × m ​ Σ m × n ​ V n × n T ​ 其中，U是正交矩阵，其列向量是 A A T AA^T A A T 的单位特征向量，V 也是正交矩阵，其列向量是对应的 A T A A^TA A T A 的单位特征向量， Σ \Sigma Σ 具有下述的形式 Σ = ( Σ 1 O O O ) \Sigma = \left( \begin{array}{cc} \Sigma_1 & O \\ O & O\end{array} \right) Σ = ( Σ 1 ​ O ​ O O ​ ) 且 Σ 1 = d i a g ( σ 1 , σ 2 , … , σ r ) \Sigma_1 = diag(\sigma_1,\sigma_2,\ldots,