目录
1. 故事
2. 动机
3. 做法
3.1 DRDB
3.2 训练方法
4. 实验
发表于2019 Sensors。这篇文章的思想可能来源于2018 ECCV的SkipNet[11]。
没开源，和SkipNet基本一致，没什么创新点。
1. 故事
本文的改造对象是RDN。RDN由多个RDB组成，用于一般的图像恢复任务。但是，RDN只能用于单一水平的噪声【设计初衷是非盲的】。作者希望在RDN的基础上实现两个目标：
能够盲去噪。
能够根据输入噪声的程度，动态调整RDB数量（同一RDN种跳过的RDB数量）。
作者声称，DRDN（dynamic residual dense network）能够超越RDN性能，同时计算成本下降40-50%。在盲去噪任务上，DRDN在真实噪声基准上超越了CBDNet 1.34dB。
2. 动机
作者首先探究了RDN为什么能取得如此好的性能。有以下几点关键原因：
RDB结合了residual block和dense block。前者让特征在RDB之间具有连续记忆性 并且 让深度网络训练更简单，后者可以让多尺度特征得以利用【可能是同时利用low-level、mid-level和high-level特征的意思】。全局还有一个短连接。
RDN会融合来自所有RDB的信息（global feature fusion）。这是一种深监督，虽然其后跟着一个\(1 \times 1\)卷积。
作者考虑了相似的ResNet。在[7,8]中指出，一些residual block对最终结果的贡献微乎其微。因此，RDN中的RDB同理。于是作者对所有RDB进行了可视化（所有通道求均值）：
作者发现，红框圈出的特征图是非常相似的。因此，我们完全可以跳过一些RDB而不牺牲过多性能。
3. 做法
方法很简单：作者用一个RNN捕捉每一个RDB的信息，然后作为每个RDB的gate module，来决策 跳过 或 正常推理。如果预测的“重要性”低于给定阈值，那么就跳过该RDB。
如图：
大体上仍是一个RDN，但是其中的RDB换成了DRDB。
特征提取采用2层CNN，都有全局短连接，连接到后面的2层CNN重建。
DRDB参与深监督，即\(1 \times 1\)卷积融合。
3.1 DRDB
DRDB和RDB也是一致的，唯一不同的就是增加了gate模块。gate模块采用LSTM，其结构如图，很简单。
注意，在反向传播时，我们采用sigmoid函数（软判决），而在前向传播时，我们就采用硬判决（要么短连接要么通过）。反向传播不能使用硬判决，因为开关不可导。
在测试时，我们可以调整阈值跳过t，来交互式地调整去噪强度。该 阈值t 和 跳过的DRDB比例\(\lambda\) 大致有个正相关。作者用了一个线性方程来近似表征这一关系（式11），从而通过调整t来调整\(\lambda\)。
3.2 训练方法
分三步。但每一步的损失函数是相同的：
前者是L1损失，后者是所有门的输出概率（重要性）（\(S\)是sigmoid函数，\(v_d\)是第\(d\)个DRDB的FC层输出的向量）。我们希望参与门尽可能少，所以惩罚它。
我们首先要让整体网络和DRDB们收敛。此时让门函数恒输出1训练。同时，我们让系数\(\alpha = 0\)。
现在，我们仍然不惩罚重要性（\(\alpha = 0\)），但是让门函数自由输出。此时可能只有很少一部分DRDB会被跳过。
最后，我们设置\(\alpha = 1e-4\)，开始惩罚DRDB的保留数量。此时会有更多的DRDB被跳过。
4. 实验
实验设置了20个DRDB，每个DRDB内部有6层卷积。其他设置略。
实验主要考量的是PSNR，SSIM和FLOPs。
虽然PSNR和SSIM可能不如改进的RDN（RDN+），但FLOPs远远小。作者解释：SSID中的数据光照强度差距很大，所以DRDN的动态性能发挥得淋漓尽致。
我们再看跳过率。
如图，越是后面的block，越频繁被跳过。作者解释是因为深监督的使用，导致前面的block会影响后面所有的block。
此外，作者还在另一个真实噪声数据集上进行了测试。该数据库给了噪声方差，因此评测时一些对比算法在非盲模型下进行，性能会更好。
其他数据库的我们就不看了。
我们最后看一下阈值t的选取对去噪强度的影响。如图：
跳过率过高或过低都不好。跳太多，图像噪声大；跳太少，图像模糊。其中的红框是DRDN自己选择的结果，而绿框是作者主观挑选的最佳结果。可见，二者相近。
作者进一步计算了跳过率与PSNR、SSIM的关系：
可见二者是非对称的。
【这里图或实验有问题。图中显示，全部跳过（不增强）时的PSNR，比完整增强（ratio=0）时的PSNR还高？？？再加上该算法未开源，使得本文具有了疑点】
