简单而言,seq2seq由两个RNN组成,一个是编码器(encoder),一个是解码器(decoder).以MT为例,将源语言“我爱中国”译为“I love China”,则定义序列: \[ X=(x_0,x_1,x_2,x_3)\\ 其中,x_0=“我”,x_1=“爱”,x_2=“中”...
一,概述 在自然语言生成的任务中,大部分是基于seq2seq模型实现的(除此之外,还有语言模型,GAN等也能做文本生成),例如生成式对话,机器翻译,文本摘要等等,seq2seq模型是由encoder,decoder两部分组成...
这篇文章整理有关注意力机制(Attention Mechanism )的知识,主要涉及以下几点内容: 1、注意力机制是为了解决什么问题而提出来的? 2、软性注意力机制的数学原理; 3、软性注意力机制、Encoder-Decoder框架与Se...
注意力机制 在“编码器—解码器(seq2seq)”⼀节⾥,解码器在各个时间步依赖相同的背景变量(context vector)来获取输⼊序列信息。当编码器为循环神经⽹络时,背景变量来⾃它最终时间步的隐藏状态。将源序列输入信...
Seq2Seq 目录 Seq2Seq 1.理论 1.1 基本概念 1.2 模型结构 1.2.1 Encoder 1.2.2 Decoder 1.3 特殊字符 2.实验 2.1 实验步骤 2.2 算法模型 1.理论 1.1 基本概念 在RNN模型需要解决的问题中,有一类M to N的问题,即...
Seq2Seq(Attention) 目录 Seq2Seq(Attention) 1.理论 1.1 机器翻译 1.1.1 模型输出结果处理 1.1.2 BLEU得分 1.2 注意力模型 1.2.1 Attention模型 1.2.2 Seq2Seq(Attention)模型结构 1.2.2.1 Encoder 1.2.2.2 Deco...
一、准备训练数据 主要的数据有两个: 1.小黄鸡的聊天语料:噪声很大 2.微博的标题和评论:质量相对较高 二、数据的处理和保存 由于数据中存到大量的噪声,可以对其进行基础的处理,然后分别把input和target使...