URL
https://arxiv.org/pdf/2104.13371.pdf
TL;DR
- 对 BasicVSR 的
Propagation和Alignment组件进行了加强，达到了新的 SOTA - 对
Propagation的加强主要是把 BasicVSR 使用的单层双向传播结构改成了 多层 + 双向 + 二阶传播 - 对
Alignment的加强主要是把 BasicVSR 使用的基于光流估计的对齐方式改成了基于光流估计指导的可变形卷积对齐，光流估计 + warp 的对齐方式似乎比可变形卷积要弱，可变形卷积单独训练容易崩，二者结合效果更好
Dataset/Algorithm/Model/Experiment Detail
Propagation
- 加入了二阶（跳帧）传播
Alignment
使用一个比较复杂的对齐结构（论文中对齐过程的数学表达式写的很清楚），通过 光流估计 + Warp + 残差 生成 DCN 的 offset 和 mask，再通过 DCN 对齐
最终结果
Thoughts
- 目前还没有开源代码，但是从结构上看 BasicVSR++ 集成了 BasicVSR 的大部分结构 + IConVSR 的
Propagation级联结构 + EDVR 的可变形卷积特征对齐 - mmediting repo 中还是有不少可以借鉴的结构，比如 DCN bloack 这些对齐结构就很 make sense