DreamSim: 开源感知图像相似度度量项目推荐

【免费下载链接】dreamsim DreamSim: Learning New Dimensions of Human Visual Similarity using Synthetic Data (NeurIPS 2023 Spotlight) 项目地址: https://gitcode.com/gh_mirrors/dr/dreamsim

DreamSim 是一个开源项目，旨在学习使用合成数据的新维度来衡量人类视觉相似度。该项目主要由 Python 语言开发，利用了深度学习技术来实现图像相似度的度量。

项目基础介绍

DreamSim 通过结合 CLIP、OpenCLIP 和 DINO 的嵌入方法，并在人类视觉判断上进行微调，提出了一种新的图像相似度度量方法。该方法旨在弥补传统低级别像素和纹理比较与高级别语义判断之间的鸿沟。

核心功能

• 图像相似度度量: DreamSim 提供了一种新的度量标准，可以更好地与人类视觉相似度判断相一致。
• 特征提取: 支持从图像中提取特征向量，这些向量可以用于进一步的图像分析和处理。
• 图像检索: DreamSim 的模型可以集成到图像检索系统中，提高图像检索的相关性和准确性。
• 感知损失函数: DreamSim 的模型可以作为迭代优化中的损失函数，用于训练其他视觉识别任务的网络。

最近更新的功能

最近，DreamSim 项目发布了以下新功能：

• 新的变体: 引入了基于 DINOv2 B/14 和 SynCLR B/16 作为主干网络的四个新变体。
• 增强的模型: 对比原始对比损失，新模型在 CLS 和密集特征上都进行了训练。
• 性能提升: 在标准计算机视觉任务上，如语义分割、深度估计、物体计数、实例检索和检索增强生成等方面，新模型超过了基线模型。
• 数据集扩展: 发布了完整的 100k（未过滤）NIGHTS 数据集和 JND（可察觉差异）投票。

通过这些更新，DreamSim 不仅提升了性能，还扩展了可用数据集，使得研究者和开发者能够更有效地使用该模型进行各种视觉任务。

【免费下载链接】dreamsim DreamSim: Learning New Dimensions of Human Visual Similarity using Synthetic Data (NeurIPS 2023 Spotlight) 项目地址: https://gitcode.com/gh_mirrors/dr/dreamsim