Contrastive Learning

定义 Definition

对比学习：一种表示学习方法，通过“拉近相似样本（正样本）”并“拉远不相似样本（负样本）”的距离来学习特征表示，常用于自监督/无监督学习（如图像、文本、语音表征）。

发音 Pronunciation

/kənˈtræstɪv ˈlɝːnɪŋ/

例句 Examples

Contrastive learning helps models learn useful features without labels.
对比学习能帮助模型在没有标注的情况下学到有用的特征。

By maximizing the similarity between augmented views of the same image and minimizing it for different images, contrastive learning can produce robust representations for downstream tasks.
通过最大化同一图像不同增强视图之间的相似度、并最小化不同图像之间的相似度，对比学习可以为下游任务学习到更鲁棒的表示。

词源 Etymology

contrastive 来自 contrast（对比、对照），表示“用于对比的”；learning 为“学习”。合起来字面意思是“通过对比来学习”，在机器学习语境中特指用“正负样本对比”的目标函数来训练表征的技术路线。

相关词 Related Words

• Self-Supervised
• Representation
• Embedding
• Similarity
• Negative Sampling
• Triplet Loss
• Metric Learning
• InfoNCE

文献作品 Literary Works

• A Simple Framework for Contrastive Learning of Visual Representations（SimCLR，2020）
• Momentum Contrast for Unsupervised Visual Representation Learning（MoCo，2020）
• Representation Learning with Contrastive Predictive Coding（CPC，2018）
• Contrastive Representation Learning: A Framework and Review（综述类论文，常见于近年机器学习文献中）