Lazy loaded imageMatryoshka Representation Learning (俄罗斯套娃表征学习)技术小结

我们平时做retrieval相关的工作,很多时候根据业务场景和计算资源需要对向量进行降维。受限开发周期,我们往往不会通过重新训练特征提取模型来调整向量维度,而是用PCA等方法来实现。但是当降维的scale较大时,PCA等方法的效果较差。Matryoshka Representation Learning (MRL)这篇paper介绍了一个很简单但有效的方法能实现一次训练,获取不同维度的表征提取。下面来看它具体是怎么做的吧。
莫叶何竹🍀
莫叶何竹🍀
非淡泊无以明志,非宁静无以致远
最新发布
RL学习小结 (002): 策略梯度理论
2025-9-1
RL学习小结 (001): 基本概念、贝尔曼方程
2025-9-1
diffusion model(十九) :SDE视角下的扩散模型
2025-8-15
阅读顺序还原技术剖析——LayoutReader
2025-7-24
多模态模型如何处理任意分辨率输入——Tiling与Packing技术详解
2025-5-24
多模态模型如何处理任意分辨率输入——Tiling与Packing技术详解(part2)
2025-5-24