RNN在做语义分析该怎么理解

今天给大家介绍一下RNN在做语义分析该怎么理解。文章的内容小编觉得不错，现在给大家分享一下，觉得有需要的朋友可以了解一下，希望对大家有所帮助，下面跟着小编的思路一起来阅读吧。

    这个例子是deeplearnling/tutorial/rnnslu.html中的例子。

1. 任务：

    The Slot-Filling (Spoken Language Understanding) consists in assigning a label to each word given a sentence. It’s a classification task.

    口语理解是为给定的一个句子分配标签。是一个分类问题。

2. 数据集

  采用的数据集是ATIS (Airline Travel Information System) dataset,是一个文本的数据分类的数据集，是根据航天公司电话预约时的电话记录，已通过语音处理转成了文字，采用（IOB）的表示方式。

IOB的表示方式：B是表示一个类的开始，I是表示一个类的中间，O是表示空类。如下表示：

Input (words)	show	flights	from	Boston	to	New	York	today
Output (labels)	O	O	O	B-dept	O	B-arr	I-arr	B-date

        The ATIS offical split contains 4,978/893 sentences for a total of 56,590/9,198 words (average sentence length is 15) in the train/test set. The number of classes (different slots) is 128 including the O label (NULL).

         ATIS官方把整个数据集分为训练集/测试集--4978/893个句子，一共有56590/9198单词（平均每一个句子有15个单词）。分为128个类，里面包含了O（空类）。

         如果没有出现的词用<UNK>类表示。

         对数据分类的准确性用如下三个指标：Precision(精度)，Recall（召回率），F1 score 。这个百度一下就知道了，简单地说，这三个都能表示分类准确率，满分是100，其中Precision,Recall有一定互斥性，故F1 score，是最好的。

        我们还可以使用conlleval.pl 的PERL程序看出分类后的结果。

3. RNN模型与数据处理

    数据表示：每一个单词一开始的代表是一个token，编程表示为一个数字，一句话就是多个数字组成的，这是输入表示，不过不是最终表示，输出对应的一个标签。

        上下文窗口：

    The index -1 corresponds to the PADDING index we insert at the beginning/end of the sentence.

        从上可以看出，窗口设的越大，数据长度越长。

        词向量：

        词向量是很有创新性的表示方式，一个单词表示如果用One-hot Representation,如,

       “话筒”表示为 [0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 …]
　　“麦克”表示为 [0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 …]

        其中只有一个为1，有很多有缺陷，故有了词向量。把一个词表示成[0.792, −0.177, −0.107, 0.109, −0.542, …]。维度以 50 维和 100 维比较常见。这个词向量不是固定的，也是要经过训练得到的。

        RNN要学习的参数：

        

        RNN整个架构设置好的参数：

      

4. 跑程序

以上就是RNN在做语义分析该怎么理解的全部内容了，更多与RNN在做语义分析该怎么理解相关的内容可以搜索本站之前的文章或者浏览下面的文章进行学习哈！相信小编会给大家增添更多知识,希望大家能够支持一下本站！