URL
TL;DR
- 多任务模型共享网络结构,在一些弱关联或者负相关的任务上,可能出现 跷跷板效应(Seesaw Phenomenon),即一个任务的效果和另外一个任务的效果无法同时提升
- 针对跷跷板效应问题,本文提出一种
CGC
(Customized Gate Control) 结构,任务之间部分共享底层网络 - 提出一种
CGC
的升级版本 -PLE
(Progressive Layered Extraction) - 单层网络结构
CGC
与多层网络结构PLE
都优于MMOE
Algorithm
不同多任务网络结构对比
Customized Gate Control(CGC)
-
CGC
结构部分共享表征,部分独用表征,共享表征和独占表征的权重分配是通过门控制,其中 表示第
k
个任务的tower
,其中 表示表征选择器 、、 分别表示独占和共享表征的数量
,
d
表示表征向量的长度,
E
表示表征, 表示表征集合
Progressive Layered Extractio(PLE)
-
PLE 相当于 CGC 的多层网络结构
,
N
表示网络总层数
效果对比
Thought
MMOE
的改进版,从效果来看,对于不正相关甚至互逆的任务,都可以有效解决跷跷板问题- 但本质还是更 general 的
MMOE
,没有跳出MMOE
对多任务的定义