gcmc

CIKM 2020 | 如何更为合适地评测推荐算法? Top-N物品推荐算法评测设置回顾

馋奶兔 提交于 2020-10-22 11:32:26
来源:RUC AI Box 本文 约5200字 ,建议 阅读10分钟 本文介绍了对于不同的实验设置对评价top-N商品推荐算法的影响,并设计了一个经验性的大规模实验。 1 引言 近十年里,top-N商品推荐是隐式反馈中一个被广泛研究的课题[1],其目的是从大量数据中识别出用户可能偏爱的一小部分物品。各种top-N物品推荐算法已经被开发出来,特别是基于深度学习的研究取得了很大的进展[2]。 为了证明推荐算法的有效性,需要在基准数据集上建立可靠的评价实验。通常,这样的评估过程包括一系列对于数据集、指标、基线方法和其他方案的设置。由于每个设置步骤可以选择不同的选项,需要制定和设计适当的标准,以使实验设置标准化[3,4]。为此,有必要对近期研究中有分歧的实验设置进行系统的回顾。 在这篇论文中,对于不同的实验设置对评价top-N商品推荐算法的影响,我们设计了一个经验性的大规模实验。我们试图找出导致近期评测工作中出现分歧的重要评估设置[2,7]。具体来说,考虑三个重要的影响因素, 即数据集分割、采样指标和数据领域选择。 数据集分割是指利用原始数据构造训练集、验证集和测试集;采样指标是指用采样方法获得不相关物品来计算评测指标的结果;数据领域选择是指从不同领域中选择合适的数据集进行评估。 为了检验这三个因素的影响,我们在Amazonreview数据集[8]上进行了大量的实验

如何更为合适地评测推荐算法? Top-N物品推荐算法评测设置回顾

大城市里の小女人 提交于 2020-10-19 08:47:30
  近十年里,top-N商品推荐是隐式反馈中一个被广泛研究的课题,其目的是从大量数据中识别出用户可能偏爱的一小部分物品。   各种top-N物品推荐算法已经被开发出来,特别是基于深度学习的研究取得了很大的进展。   为了证明推荐算法的有效性,需要在基准数据集上建立可靠的评价实验。通常,这样的评估过程包括一系列对于数据集、指标、基线方法和其他方案的设置。   由于每个设置步骤可以选择不同的选项,需要制定和设计适当的标准,以使实验设置标准化。为此,有必要对近期研究中有分歧的实验设置进行系统的回顾。   本文介绍一篇被CIKM 2020收录的论文,在这篇论文中,对于不同的实验设置对评价top-N商品推荐算法的影响,作者设计了一个经验性的大规模实验。      论文标题:   《Revisiting Alternative Experimental Settings for Evaluating Top-N Item Recommendation Algorithms》   论文来源:ACM CIKM 2020   论文链接:http://arxiv.org/abs/2010.04484   1   论文介绍   我们试图找出导致近期评测工作中出现分歧的重要评估设置。   具体来说,考虑三个重要的影响因素,即 数据集分割、采样指标和数据领域选择 。   数据集分割是指利用原始数据构造训练集