本文介绍了排名信息噪声对比估计 (RINCE)，它是 InfoNCE 损失家族中的一个新成员，它保留了正样本的排名顺序。与标准的 InfoNCE 损失相比，标准的 InfoNCE 损失需要将训练对严格地二进制分离为相似和不相似的样本，而 RINCE 可以利用关于相似度排名的信息来学习相应的嵌入空间。我们表明，与标准 InfoNCE 相比，只要至少可以获得嘈杂的排名信息或当正面和负面的定义模糊时，所提出的损失函数就会学习到有利的嵌入。我们用额外的超类标签和嘈杂的相似度分数证明了这一点。此外，我们展示了 RINCE 也可以通过视频中的无监督表示学习实验应用于无监督训练。特别是，与标准 InfoNCE 损失相比，嵌入产生了更高的分类准确度、检索率和分布外检测性能。
论文作者：David T. Hoffmann、Nadine Behrmann、Juergen Gall、Thomas Brox、Mehdi Noroozi
论文地址：https://arxiv.org/abs/2201.11736v1
