clip简单过一遍

发布时间:2026/7/13 19:56:27

clip简单过一遍
就是图文对然后编码计算得到文本向量和图像向量之后计算相似度。训练的目的就是使得对角线上的损失是最小的然后如何将clip用于分类任务其实就是将类别直接填入提示词中这是一个模板直接就构成一个分类器了推理阶段输入图像然后和这些类别的文本向量进行计算看和谁的相似度最高损失计算clip使用对称的对比损失实际是两个交叉熵损失损失1图像-文本 给定图像I预测正确的文本损失2文本-图像给定文本T预测正确的图像将两部分损失加起来反向更新同时更新 文本编码和图像编码的参数clip损失计算不管那么多细节了就是找个损失就是计算了文本和图像之间的相似度对于这个矩阵来讲N*N只需要计算一次就行。横着看就是文本对图像的相似度竖着看就是图像对文本的相似度。然后在计算的时候是使得正对角线的上的相似度尽可能大其他的尽可能小是要看全局的。这个全局指的还是一个行或者是一个列这个损失就是会计算。这个zi,j会去1和-1那么当ij相等的时候就是1这个时候就希望相似度高这样log得到的数值就小损失就小

相关新闻

Laguna-M.1-6bit常见问题解答:新手入门到高级应用的避坑指南

Laguna-M.1-6bit常见问题解答:新手入门到高级应用的避坑指南

2026/7/13 19:46:26

Laguna-M.1-6bit常见问题解答:新手入门到高级应用的避坑指南 【免费下载链接】Laguna-M.1-6bit 项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Laguna-M.1-6bit Laguna-M.1-6bit是一款基于MLX格式的高效文本生成模型,由mlx-commun…

如何快速上手Cosmos-Embed1-448p-anomaly-detection:5分钟完成视频异常检测部署

如何快速上手Cosmos-Embed1-448p-anomaly-detection:5分钟完成视频异常检测部署

2026/7/13 19:46:26

如何快速上手Cosmos-Embed1-448p-anomaly-detection:5分钟完成视频异常检测部署 【免费下载链接】Cosmos-Embed1-448p-anomaly-detection 项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/Cosmos-Embed1-448p-anomaly-detection 想要快速掌握先进的视频…

XMeshGraphNet DrivAerML模型架构深度解析:12M参数如何实现高效空气动力学预测

XMeshGraphNet DrivAerML模型架构深度解析:12M参数如何实现高效空气动力学预测

2026/7/13 19:46:26

XMeshGraphNet DrivAerML模型架构深度解析:12M参数如何实现高效空气动力学预测 【免费下载链接】xmgn_drivaerml_surface 项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/xmgn_drivaerml_surface 在汽车工程领域,空气动力学设计一直是一个…

Arduino Pro IDE多项目管理指南:高效组织大型项目的7个技巧

Arduino Pro IDE多项目管理指南:高效组织大型项目的7个技巧

2026/7/13 21:16:30

Arduino Pro IDE多项目管理指南:高效组织大型项目的7个技巧 【免费下载链接】arduino-pro-ide The Arduino IDE for advanced users and developers. Experimental alpha version. 项目地址: https://gitcode.com/gh_mirrors/ar/arduino-pro-ide Arduino Pro…

AI工具横评:从底层检索逻辑看豆包的“泛收录”困境与破局策略

AI工具横评:从底层检索逻辑看豆包的“泛收录”困境与破局策略

2026/7/13 21:16:30

在AI辅助开发与日常办公中,信息检索的精准度直接决定了工具的实际生产力。近期,针对同一垂直关键词对豆包、DeepSeek、元宝、千问四款主流AI进行横向实测,结果显示:由于底层搜索机制的差异,豆包在精准检索场景下表现出…

Ornith-1.0-35B-6bit高级玩法:自定义生成参数,打造专属AI助手

Ornith-1.0-35B-6bit高级玩法:自定义生成参数,打造专属AI助手

2026/7/13 21:16:30

Ornith-1.0-35B-6bit高级玩法:自定义生成参数,打造专属AI助手 【免费下载链接】Ornith-1.0-35B-6bit 项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Ornith-1.0-35B-6bit 想要解锁Ornith-1.0-35B-6bit的全部潜力吗?&am…

如何高效使用Ruby JSON库:5分钟快速入门教程

如何高效使用Ruby JSON库:5分钟快速入门教程

2026/7/13 21:16:30

如何高效使用Ruby JSON库:5分钟快速入门教程 【免费下载链接】json JSON implementation for Ruby 项目地址: https://gitcode.com/gh_mirrors/json13/json Ruby JSON库是处理JSON数据的核心工具,提供了简洁的API来实现Ruby对象与JSON数据之间的相…

Qwen2.5_3B_Instruct_rai_1.7.1_npu_4K核心特性解析:4K上下文与NPU加速的完美结合

Qwen2.5_3B_Instruct_rai_1.7.1_npu_4K核心特性解析:4K上下文与NPU加速的完美结合

2026/7/13 21:16:30

Qwen2.5_3B_Instruct_rai_1.7.1_npu_4K核心特性解析:4K上下文与NPU加速的完美结合 【免费下载链接】Qwen2.5_3B_Instruct_rai_1.7.1_npu_4K 项目地址: https://ai.gitcode.com/hf_mirrors/amd/Qwen2.5_3B_Instruct_rai_1.7.1_npu_4K Qwen2.5_3B_Instruct_ra…

Qwen2.5-Coder-1.5B-Instruct_rai_1.7.1_npu_16K高级配置:genai_config.json参数调优指南 [特殊字符]

Qwen2.5-Coder-1.5B-Instruct_rai_1.7.1_npu_16K高级配置:genai_config.json参数调优指南 [特殊字符]

2026/7/13 21:06:29

Qwen2.5-Coder-1.5B-Instruct_rai_1.7.1_npu_16K高级配置:genai_config.json参数调优指南 🚀 【免费下载链接】Qwen2.5-Coder-1.5B-Instruct_rai_1.7.1_npu_16K 项目地址: https://ai.gitcode.com/hf_mirrors/amd/Qwen2.5-Coder-1.5B-Instruct_rai_1.…

Unity游戏文本翻译架构深度解析:XUnity.AutoTranslator的技术实现与工程实践

Unity游戏文本翻译架构深度解析:XUnity.AutoTranslator的技术实现与工程实践

2026/7/13 7:41:16

Unity游戏文本翻译架构深度解析:XUnity.AutoTranslator的技术实现与工程实践 【免费下载链接】XUnity.AutoTranslator 项目地址: https://gitcode.com/gh_mirrors/xu/XUnity.AutoTranslator XUnity.AutoTranslator作为Unity游戏社区中最成熟的文本翻译解决方…

openEuler Raspberry Pi Kernel设备驱动开发指南:为树莓派硬件添加支持

openEuler Raspberry Pi Kernel设备驱动开发指南:为树莓派硬件添加支持

2026/7/13 20:43:19

openEuler Raspberry Pi Kernel设备驱动开发指南:为树莓派硬件添加支持 【免费下载链接】raspberrypi-kernel It provides openEuler kernel source for Raspberry Pi 项目地址: https://gitcode.com/openeuler/raspberrypi-kernel 前往项目官网免费下载&…

openEuler系统集成测试实战:基于smoke-test套件的环境验证技巧

openEuler系统集成测试实战:基于smoke-test套件的环境验证技巧

2026/7/13 20:43:10

openEuler系统集成测试实战:基于smoke-test套件的环境验证技巧 【免费下载链接】integration-test The repo contains test suits for system integration test 项目地址: https://gitcode.com/openeuler/integration-test 前往项目官网免费下载:…

卡梅德生物技术快报|纯化重组蛋白:变异链球菌 SepM 截短蛋白载体构建、诱导优化与纯化重组蛋白全套参数方案

卡梅德生物技术快报|纯化重组蛋白:变异链球菌 SepM 截短蛋白载体构建、诱导优化与纯化重组蛋白全套参数方案

2026/7/13 0:05:25

1 研究背景与现存技术痛点(提出问题)在口腔微生物分子机制研究中,SepM 蛋白酶是调控变异链球菌群体感应、致龋菌素合成的核心功能蛋白,体外功能验证、抗体开发均依赖高纯度可溶性 SepM 蛋白。当前原核表达体系针对 SepM 存在三大技…

卡梅德生物技术快报|重组蛋白的表达和纯化:IMAC 金属螯合色谱全流程工艺手册|基质 - 配基 - 金属离子匹配与蛋白质分离纯化参数优化

卡梅德生物技术快报|重组蛋白的表达和纯化:IMAC 金属螯合色谱全流程工艺手册|基质 - 配基 - 金属离子匹配与蛋白质分离纯化参数优化

2026/7/13 0:05:25

1 研究背景与现存技术痛点(提出问题)基因工程、蛋白质组学、生物制药研发流程中,蛋白质分离纯化是决定下游实验成败的关键环节。当前实验室常规蛋白质分离纯化工艺存在三类难以标准化的技术瓶颈:传统离子交换、分子筛层析无特异性…

卡梅德生物技术快报|蛋白质分离纯化:肠激酶可溶性原核表达 + 两步层析全参数|标准化蛋白质分离纯化 SOP

卡梅德生物技术快报|蛋白质分离纯化:肠激酶可溶性原核表达 + 两步层析全参数|标准化蛋白质分离纯化 SOP

2026/7/13 0:05:25

研究痛点提出(提出问题)重组肠激酶是融合标签切除核心工具酶,当前原核表达体系存在三大标准化难题,直接阻碍可复现的蛋白质分离纯化流程搭建:Trx、GST、单 SUMO 标签融合产物绝大多数为包涵体,沉淀占比超 9…