使用PyTorch训练LSTM时出现loss.backward()报错如何解决

使用PyTorch训练LSTM时出现loss.backward()报错如何解决？相信很多没有经验的人对此束手无策，为此本文总结了问题出现的原因和解决方法，通过这篇文章希望你能解决这个问题。

正确做法：

LSRM / RNN模块初始化时定义好hidden，每次forward都要加上self.hidden = self.init_hidden():
Class LSTMClassifier(nn.Module):
    def __init__(self, embedding_dim, hidden_dim)：
    # 此次省略其它代码
    self.rnn_cell = nn.LSTM(embedding_dim, hidden_dim)
    self.hidden = self.init_hidden()
    # 此次省略其它代码
    
    def init_hidden(self):
        # 开始时刻, 没有隐状态
        # 关于维度设置的详情,请参考 Pytorch 文档
        # 各个维度的含义是 (Seguence, minibatch_size, hidden_dim)
        return (torch.zeros(1, 1, self.hidden_dim),
                torch.zeros(1, 1, self.hidden_dim))
    def forward(self, x):
        # 此次省略其它代码
        self.hidden = self.init_hidden()  # 就是加上这句!!!!
        out, self.hidden = self.rnn_cell(x, self.hidden)     
        # 此次省略其它代码
        return out

或者其它模块每次调用这个模块时，其它模块的forward()都对这个LSTM模块init_hidden()一下。

如定义一个模型LSTM_Model()：

Class LSTM_Model(nn.Module):
    def __init__(self, embedding_dim, hidden_dim)：
        # 此次省略其它代码
        self.rnn = LSTMClassifier(embedding_dim, hidden_dim)
        # 此次省略其它代码
        
    def forward(self, x):
        # 此次省略其它代码
        self.rnn.hidden = self.rnn.init_hidden()  # 就是加上这句!!!!
        out = self.rnn(x)     
        # 此次省略其它代码
        return out

这是因为：

根据 官方tutorial，在 loss 反向传播的时候，pytorch 试图把 hidden state 也反向传播，但是在新的一轮 batch 的时候 hidden state 已经被内存释放了，所以需要每个 batch 重新 init （clean out hidden state）， 或者 detach，从而切断反向传播。

补充：pytorch:在执行loss.backward()时out of memory报错

在自己编写SurfNet网络的过程中，出现了这个问题，查阅资料后，将得到的解决方法汇总如下

可试用的方法：

1、reduce batch size, all the way down to 1

2、remove everything to CPU leaving only the network on the GPU

3、remove validation code, and only executing the training code

4、reduce the size of the network (I reduced it significantly: details below)

5、I tried scaling the magnitude of the loss that is backpropagating as well to a much smaller value

在训练时，在每一个step后面加上：

torch.cuda.empty_cache()

在每一个验证时的step之后加上代码：

with torch.no_grad()

不要在循环训练中累积历史记录

total_loss = 0
for i in range(10000):
    optimizer.zero_grad()
    output = model(input)
    loss = criterion(output)
    loss.backward()
    optimizer.step()
    total_loss += loss

看完上述内容，你们掌握使用PyTorch训练LSTM时出现loss.backward()报错如何解决的方法了吗？如果还想学到更多技能或想了解更多相关内容，欢迎关注本站行业资讯频道，感谢各位的阅读！