URL
https://arxiv.org/pdf/2103.13425.pdf
TL;DR
- 重参数化训练：模型的搜索空间更大，收敛更快，点更高，inference 前把多个算子拍成一个，inference 速度和未重参数化模型一样（白给的涨点）
- 之前的重参数化工作大多都只有特定的一种或几种重参数模式，本文的重参数模式更丰富
- repVGG 就是 DBB 的一种应用
Dataset/Algorithm/Model/Experiment Detail
以上六种训练时结构，在 inference 阶段都可拍成一个 Conv，且严格等价，具体的数学推导可以看原文
Thoughts
- 这种工作我比较熟，毕竟和 neuwizard 也差不多嘛