RLHF对大模型泛化性和多样性的影响学习分享虽然目前RLHF(reinforcement learning from human feedback)成为LLM训练不可缺少的一部分。但目前并没有详细研究RLHF到底对LLM哪一方面有益 or 有害。为了提升对RLHF不同阶段收益的认知，本文从实验上系统探究了RLHF的三个阶段supervised fine-tuning (SFT), reward modeling(RW), RLHF对LLM泛化性(generalisation)和生成多样性(diversity)的影响。2023-12-8 大模型 RLHF
🏂diffusion model(九)：EmuEdit技术小结学习分享作者将intruction-base image editing任务建模为生成任务，并用diffusion model进行求解。核心创新点有两个 • 详细定义了instruction-based image edit处理的任务，并设计了一个高效高质量的数据构建方法。 • 为提升模型对instruction的理解能力，引入learnable task embedding，能较好的解决上述问题。并且提出task inversion的训练方法，只需少量数据就能有效将模型扩展到新的task（类似textual inversion的思想）。2023-11-27 diffusion_model Meta 图片编辑 instruct-based-edit
DeepMind: 训练LLM的scale law学习分享作者通过400个不同大小语言模型在5B-50B数据训练不同的时长，来探究LLM的scale law。实验发现，model size和training tokens应当scale equally，如：当model size扩大一倍，training tokens也应当扩大一倍。作者根据这个scale law训练chinchilla，在多个任务上实现SOTA。2023-11-15 deepmind 大模型
🏂diffusion model(八)：Dalle3技术报告小结学习分享目前的文生图模型所生成的图片很难对应prompt的一些细节的描述，并且经常会忽视某些单词。作者假设造成生成与prompt不一致的原因是因为训练样本中image caption的噪声导致。针对上述问题，作者训练了一个image-captioner对之前训练样本的caption进行重写，随后重新训练text-to-image模型。2023-10-25 diffusion_model
BLIP系列文章小结（BLIP, BLIP-2, InstructBLIP）学习分享文本系统梳理了BLIP多模态系列论文BLIP, BLIP-2, InstructBLIP2023-10-19 大模型 多模态
BLIP-2小结学习分享BLIPv2主要从模态对齐、高效训练两个方向对图文多模态预训练任务（vision-and-language pre-training VLP）做出优化。在模态对齐上提出了一个轻量架构QFormer（querying transformer）来建立图像-文本的桥梁。在高效多模态训练上，结合QFormer提出一种二阶段预训练范式。在VQAv2任务上，仅用了倍Flamingo80B的训练数据，却带来8.7%精度提升2023-10-6 多模态 大模型
Attention Free Transformer(AFT)技术小结学习分享原本基于dot product self attention Transformer的时间复杂度和空间复杂度都很高。提出了一个新的AFT层来降低transformer的计算量。2023-9-14 transformer
🏂diffusion model(七)：diffusion model is a zero-shot classifier 学习分享本篇文章指出类似stable diffusion这样的大规模文本转图像模型所计算出的密度估计，可以被用来进行“零样本分类” (zero-shot classification)，而不需要额外的训练。2023-8-20 diffusion_model
🏂diffusion model(六)：Dalle2 技术小结学习分享OpenAI结合CLIP与diffusion model提出了一个二阶段的文本生成图片范式Dalle21，能够更精细的从语义层面控制图片的生成效果。得益于其训练范式，Dalle2的图片生成的质量不弱于GLIDE2,但生成器的多样性有明显提升。2023-8-17 diffusion_model
🏂diffusion model(五)：LDM: 在隐空间用diffusion model合成高质量图片学习分享latent diffusion model提供了一个新的思路：它将扩散过程从传统的像素空间转到了隐空间（DM模型输入参数量大大降低），极大提升了DM的训练效率和推理效率，使得DM模型得以在单张消费级显卡应用，降低了AI图片生成的上手成本。目前火出圈的Dalle2, Stable Diffusion都用到了LDM技术。2023-8-10 diffusion_model 加速生成
