LLM 面试题汇总

LLM / 自动驾驶相关

1. LN和BN
2. 介绍RLHF
3. 介绍MoE和变体
4. 介绍LoRA和变体
5. LoRA 参数更新机制
6. 如何减轻LLM中的幻觉现象？
7. MLM和MIM的关系和区别?
8. Stable Diffusion的技术原理
9. 解決LLM Hallucination的方法
10. Occupancy预测的出发点是什么?
11. 介绍RWKV、Mamba和Mamba-2
12. 2D图像预训练怎么迁移到3D点云任务
13. 为什么现在的LLM都是Decoder only的架构?
14. 把Transformer模型训深的问题有哪些?怎么解决
15. 现在车道线检测的主流的loss是什么?你有哪些想法?
16. 为什么GAN中经常遇到mode collapse，而Diffusion比较少?

Transformer 相关

1. 介绍Transformer和ViT
2. 介绍Transformer的QKV
3. 介绍Layer Normalization
4. Transformer训练和部署技巧
5. 介绍Transformer的位置编码
6. 介绍自注意力机制和数学公式
7. 介绍Transformer的Encoder模块
8. 介绍Transformer的Decoder模块
9. Transformer和Mamba（SSM）的区别
10. Transformer中的残差结构以及意义
11. 为什么Transformer适合多模态任务？
12. Transformer的并行化体现在哪个地方？
13. 为什么Transformer一般使用LayerNorm？
14. Transformer为什么使用多头注意力机制？
15. Transformer训练的Dropout是如何设定的？