学习分享

Lazy loaded imageBLIP3技术小结(xGen-MM (BLIP-3): A Family of Open Large Multimodal Models)

学习分享
虽然过去BLIP系列对LMM发展起到至关重要的作用，但从效果上来说，已经远落后于当下的SOTA模型，主要有一下3点原因： 1）数据上，训练数据数量少、质量不高、多样性不强。 2）训练策略上，多个stage（`ITM`，`ITC`， `ITG`）训练流程冗长，up scale的训练开销大 3）模型架构上，`BLIP`系列仅支持单图输入，应用范围相对较窄 BLIP3针对以上3个方面进行改进： 1）数据上，构造了更大的、质量更高、多样性更强的数据集。 2）训练策略上，提出3 stage 的训练范式，并统一用next token prediction作为训练目标目标，提升训练效率和模型效果。 3）模型架构上，支持交错图文输入。
BLIP3技术小结(xGen-MM (BLIP-3): A Family of Open Large Multimodal Models)

Lazy loaded imageMM1技术小结（MM1: Methods, Analysis & Insights from Multimodal LLM Pre-training)

学习分享
建立一个有效的多模态模型需要： • 精心设计不同类型数据的占比。混合图文交错数据（interleaved image-text）, 仅文本数据（text-only），image caption数据。作者文中推荐interleaved: caption: text-only = 45% : 45% : 10%。 • image encoder、image resolution、image token的大小对结果非常重要。 • vision language connector对performant的多模态模型不那么重要。
MM1技术小结（MM1: Methods, Analysis & Insights from Multimodal LLM Pre-training)
🔥Lit: 进一步提升多模态模型Zero-Shot迁移学习的能力
YOLO-World技术小结

Lazy loaded imageData Filtering Network论文浅析

学习分享
文本从data curation的方向研究如何提升CLIP的performance。本文核心是提出了一个二阶段的训练范式： • Stage1: 用高质量数据训练DFN。“high quality filter dataset → DFN”； • Stage2: 用DFN清洗后的数据训练induced model （即CLIP）。“data-pool → DFN (trained)→ induced dataset → induced model”。
Data Filtering Network论文浅析
SigLIP技术小结
多模态模型如何处理任意分辨率输入——Tiling与Packing技术详解
Qwen-VL系列解析(一)——Qwen2-VL
《MinerU2.5-Pro》 技术小结
123456
莫叶何竹🍀
莫叶何竹🍀
非淡泊无以明志，非宁静无以致远