队列研究

点击上方“ AI有道 ”，选择“星标”公众号 重磅干货，第一时间送达 来源 | 机器之心 Facebook AI 研究团队的何恺明等人提出了一种名为动量对比（MoCo）的无监督训练方法。 在 7 个与检测和分割相关的下游任务中，MoCo 可以超越在 ImageNet 上的监督学习结果，在某些情况下其表现甚至大大超越后者。 作者在摘要中写道： 「这表明，在许多视觉任务中，无监督和监督表征学习之间的差距已经在很大程度上被消除了。 」 论文链接： https://arxiv.org/pdf/1911.05722.pdf 无监督表征学习在自然语言处理领域非常成功，诞生了 GPT、BERT 等性能强大的模型。 但在计算机视觉领域，监督预训练一直是主流方法，无监督方法则被落在了后面。 这可能是因为它们对应的信号空间不同。 语言任务有着离散的信号空间（词等），可以用于构建成分词后的词典（dictionary）。 这种词典是无监督学习可以依赖的特征。 但是，计算机视觉与之相反，其原始信号是在一个连续且高维的空间中，无法成为结构化信号用于人类的交流。 在无监督的视觉表征学习上，近来的一些研究通过使用对比损失（constrative loss）的方法取得了不错的效果。 这些方法都可以被认为和动态词典（dynamic dictionary）相关。 在词典中，键（token）是通过从数据（如图像等