URL
TL;DR
- 使用预测下一个词（语言建模
language modeling）任务进行自监督预训练 - 预训练的模型需要使用
reinforement learning with human feedback（RLHF）进行对齐（align），这个过程不会在测试数据集上提高模型表现，但可以更好的对齐人类的意图和三观 - 模型输入可以是图片和文本，输出为文本
Details
- 使用了很强大的基建，可以做到准确预测模型训练的最终效果（
scaling），可以以较小的代价和较快的时间找到最合适的模型架构和超参数设置 - 为模型引入了
steerability（操纵性），可以在模型的prompt中加入一些System message，让模型回复风格拥有某种特质（比如老师、政客等） GPT-4使用了很多机制提高了模型的安全性
Thought
- 这篇技术报告更多是对模型效果的分析，基本没有模型细节的描述
- 大模型逐渐变成大厂垄断，普通研究者能摸到的最后只剩下一个
API…