type
status
date
slug
summary
tags
category
icon
password
paper:Understanding the effects of RLHF on LLM generalisation and diversity
0 背景知识
标准的
RLHF
finetuning pipeline一般包含3个阶段:- supervised fine-tuning (
SFT
)。对预训练的模型进行用language modeling的方式进行微调。
- reward modeling (
RM
)。对预训练模型用predict human preferences的方式微调。
- reinforcement learning (
RL
)。结合上述两个模型用on-policy RL算法(如PPO
)进行微调。
1 Motivation
虽然目前RLHF(reinforcement learning from human feedback)成为
LLM
训练不可缺少的一部分。但目前并没有详细研究RLHF
到底对LLM
哪一方面有益 or 有害。为了提升对RLHF
不同阶段收益的认知,本文从实验上系统探究了RLHF
的三个阶段supervised fine-tuning (SFT
), reward modeling(RW
), RLHF
对LLM
泛化性(generalisation)和生成多样性(diversity)的影响。2 实验设置
实验的基座模型:LLaMA7B和OPT
不同stage的训练方法:
stage | 训练方法 |
SFT | 给定input-ouput pair用language modeling的方式进行微调。input是context,cross-entry loss作用做output。 |
RW | 用(Stiennon et al., 2022).的方法进行训练。 |
RLHF | 用 PPO 算法训练 |
由于reward-model(RW)的输出是一个score,作者用best-of-N(
BoN
)来作为RW的输出。简单来说BoN
就是:先从SFT
模型生成N个结果,然后用RW模型对这N个结果进行打分,取分数最大的一个。作者的实验设置,采样的temperature为。数据集
作者在两类任务评估generalisation和diversity。其中in-domain数据都用来训练。
ㅤ | in-domain | out of domain |
summary | TL;DR dataset | CNN/DailyMail |
Instruction Following | AlpacaFarm | Alpaca Eval/0 Sequential Instructions |
3 Result
3.1 generalisation的评测结果
作者用GPT4来评估summary的好坏。用到的prompt如下所示,简单来说就是同时将输入、参考答案、不同模型的summary放入到prompt中,让GPT4对结果进行排序。
3.1.1 summary任务的generalisation能力评估
从结果可见summary任务的generalisation的排序是:
in domain dataset(TL;DR): BoN > RLHF > SFT
out of domain dataset: BoN > RLHF > SFT
从中可以看出做了RLHF能有效提升SFT模型的泛化能力,但还比不上基于RW的BoN。其实挺好奇RLHF的BoN指标,作者并没有给出。
3.1.2 Instruction Following任务的generalisation能力评估
从结果可见,不论是in-domain还是out-of-domain数据集generalisation的排序都是RLHF>BoN>SFT,明显感受到RLHF对指令的理解更具优势。
3.2 diversity的评测结果
作者用distinct N-grams、Sentence-BERT embedding cosine similarity和NLI diversity作为diversity的评估指标。简单介绍一下:
指标名称 | 计算方式 |
distinct N-grams | 计算中不重复n-gram与所有n-gram的比值。
文中作者分别计算n=1,2,…,5再对结果取平均 |
Sentence-BERT embedding cosine similarity | 分别将同一个prompt的多个输出,送入到sentence-BERT中提取embedding。两两计算embedding的相似性,随后用1减去作为diversity的评估。 |
NLI(natural language inference) diversity | 分别将同一个prompt的多个输出组成pair送入到NLI模型中来预测是entailments还是contradictions。contradiction越多说明多样性越强 |
作者只在summary任务中评估diversity能力。这是因为作者在Instruction Following任务中没有看到meaningful difference。作者猜测,这是由于设置的diversity指标偏好相对短的模型输出,但Instruction Following的输出都相对较长,并且SFT和RLHF的输出长度偏好也不同(RLHF倾向更长的输出),导致计算的diversity不够准确。
作者原话
We ran some initial experiments evaluating diversity for the instruction-following models, but we did not see any meaningful differences. We hypothesise this is due to the diversity metrics we use being designed for settings where the model output is relatively short (e.g. a single sentence), whereas in the instruction-following setting outputs are generally much longer.
3.2.1 summary任务的diversity能力评估
实验用了N个prompt,每个prompt生成K条数据。(N=500, K=16)
指标进一步定义:
- EAD称之为syntactic diversity,其综合考虑上述3个指标
- Sent BERT称之为semantic diversity,只考虑Sentence-BERT embedding cosine similarity
- NLI称之为logical diversity,只考虑NLI指标。
统计方法:
- Per-input diversity:所有的样本的指标取平均。
- cross-input diversity: 每个N取最大的值进行统计。
从上述结果可知:
经过RLHF微调后,多样性会降低。
小结
- SFT后用RW+BoN进行推理多样性和泛化性都较好。但需要推理多次,开销大。
- RLHF的泛化性能比SFT好,但多样性会有所降低。
- 作者:莫叶何竹🍀
- 链接:http://www.myhz0606.com/article/effect-of-RLHF?target=comment
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议,转载请注明出处。
相关文章