MM1技术小结（MM1: Methods, Analysis & Insights from Multimodal LLM Pre-training)学习分享建立一个有效的多模态模型需要： • 精心设计不同类型数据的占比。混合图文交错数据（interleaved image-text）, 仅文本数据（text-only），image caption数据。作者文中推荐interleaved: caption: text-only = 45% : 45% : 10%。 • image encoder、image resolution、image token的大小对结果非常重要。 • vision language connector对performant的多模态模型不那么重要。2024-6-17 多模态 大模型
🔥Lit: 进一步提升多模态模型Zero-Shot迁移学习的能力学习分享固定“图像塔”的模型参数,用从网络爬取的“图片文本对”数据集(CC12M,YFCC00m-CLIP,等)来训练“文本塔”,使得文本塔的文本embedding能够和“图像塔”产出的图片embedding对齐.为了是图像embedding和文本embedding的维度对齐,在“图像塔”最后增加一个投影层.2023-2-28 Google cvpr 大模型
YOLO-World技术小结学习分享这篇文章从计算效率的角度解决开集目标检测问题（open-vocabulary object detection，OVD）。2024-2-21 开集目标检测 YOLO 目标检测
Data Filtering Network论文浅析学习分享文本从data curation的方向研究如何提升CLIP的performance。本文核心是提出了一个二阶段的训练范式： • Stage1: 用高质量数据训练DFN。“high quality filter dataset → DFN”； • Stage2: 用DFN清洗后的数据训练induced model （即CLIP）。“data-pool → DFN (trained)→ induced dataset → induced model”。2024-8-27 CLIP 多模态 表征学习
SigLIP技术小结学习分享sigmoid-based contrastive learning从经典的softmax-based contrastive learning的“pick the right class”转化为“rate this pair”。这个转化实现了compute efficient和memory efficient，并在实验中证明，siglip在小batch下（低于32k）更具优势。2024-9-27 CLIP 多模态 表征学习
实例分割新范式：Falcon Perception技术剖析学习分享这篇文章讨论的是一个很有意思的问题：dense perception任务是否一定需要encoder-decoder结构？ 目前开放词汇检测、promptable segmentation、OCR这类任务，常见做法大概是： • 先用一个vision backbone提取图像features • 单独的 decoder 或 late-fusion module 将这些 features 转换为任务输出 虽然上面的范式在业内已经验证了有效性，但它的问题也很明显。模块越多，视觉语言的交互较晚，并且系统的复杂度也会更高。 针对dense perception的任务特点，作者提出以下关键设计：1)Unified Dense Transformer with Hybrid Attention Mask; 2)Chain-of-Perception; 3)Specialized heads2026-5-30 多模态 图像分割
.png?table=block&id=1f63c18f-f81c-808d-8829-cd2c12c40b3e&t=1f63c18f-f81c-808d-8829-cd2c12c40b3e)
.png?table=block&id=38e3c18f-f81c-80b2-aadf-d6a918fe0f90&t=38e3c18f-f81c-80b2-aadf-d6a918fe0f90)
