宁夏新闻网

首页 > 正文

ACL 2019 | 使用元词改进自然语言生成

www.mahalosurfing.com2019-09-28

2019-09-07 19: 28: 11科学技术实验室

本文将解释ACL2019文件《Neural Response Generation with Meta-Words》。本文提出的方法可以“明确”表达输入和响应之间的对应关系,从而可以解释对话生成的结果。同时,生成模型可以允许开发人员控制某些属性,例如“乐高玩具”。进行对话的结果。

论文地址:

源地址:源和数据集未打开

作者:徐灿,吴伟,陶重阳,黄虎,马特舒尔曼和王颖

人机对话是自然语言处理领域的一个基本问题。传统研究的重点是建立面向任务的对话系统,以实现特定领域用户的特定任务,例如餐厅预订。近来,越来越多的人关注在开放域中构建聊天机器人,这不仅是因为大规模的人与人对话数据的出现,而且还因为某些真正的对话产品(例如Microsoft)的成功小冰。

聊天机器人通常是通过编码器-解码器框架的响应生成模型实现的,但其常见问题之一是易于生成琐碎的响应,例如“我不知道”和“我也一样”。一般而言,琐碎的答复的产生来自开放域对话中输入和答复之间的“一对多”关系,而传统的Seq2seq结构往往会记住数据中频率较高的单词。

本文提出的模型能够解释和控制开放域对话中的一对多关系。与隐藏变量方法不同,本文使用元单词显式表示消息和响应之间的关系。给定一条消息,我们可以通过控制元单词来控制生成的响应。

0x251C

使用元辅助反应生成具有以下优点:1。使生成的模型具有可解释性,用户可以在生成响应之前知道生成的响应类型;生成的进程是可控的,并且允许元字的接口。用户自定义响应;生成方法具有通用性,可以将行为、人物角色、情感等特征作为元词的属性与已有的一些工作结合起来;基于generation的开放域对话系统改变了dek的扩展模式,因为该模型支持元词的特征工程。

1。纸张型号

0x251D

使用元词生成响应需要解决两个问题:1。如何确保响应与输入相关;如何确保响应能够忠实地表达预定义的元单词。为了解决这两个问题,本文提出了一种目标跟踪记忆增强序列模型,该模型由编解码结构的状态存储板和目标跟踪记忆网络的状态控制器组成。

在生成响应之前,编码器通过双向GRU将输入信息表示为序列,目标跟踪存储网络由元素初始化。然后状态存储器跟踪元字的表达,并由状态控制器响应于解码而更新。状态控制器从状态存储板读取元字表示的状态,并通过通知解码器元字表示的状态与目标之间的差异来管理每个步骤的解码处理。基于消息表示,状态控制器提供的信息以及生成的单词序列,解码器可以预测响应的下一个单词。在模型学习过程中,除了传统的似然目标外,本文还增加了状态更新损失,以便目标跟踪可以更好地利用训练数据中的监督信号。

不仅如此,本文还提出了一种元词预测方案,以便可以在实践中使用整个体系结构。

2.论文实验

在本文中,将多个Seq2Seq模型(例如MMI-bidi,SC-Seq2Seq,kg-CVAE和CT)用作基线。在两个大型数据集Twitter和Reddit上检查了GTMNES2S生成响应的相关性,多样性和“一对多”。 “关系建模的准确性和元词表达的准确性。

更有趣的是,如果逐渐增加元词中的属性变量,则验证集上的PPL将逐渐减小,这也证实了这样的论点,即“通过调整元词可以不断提高模型的性能。 ”。

下图中的两个示例还表明,此模型生成的响应具有更多信息和更好的一致性。

3.结论

本文提出了一种目标跟踪内存增强的序列到序列模型,用于使用元词进行开放域响应生成的响应特征的显式生成。这两个数据集的评估结果表明,在响应质量和元词表达的准确性方面,本文的模型明显优于几种最新的生成体系结构。

参考

[1] Iulian Vlad Serban,Alessandro Sordoni,Ryan Lowe,Laurent Charlin,Joelle Pineau,Aaron C Courville和Yoshua Bengio。 2017年。用于生成对话的分层潜变量编码器/解码器模型。在AAAI中,第3295-3301页。/P>

本文将解释ACL2019文件《Neural Response Generation with Meta-Words》。本文提出的方法可以“明确”表达输入和回复之间的对应关系,从而使对话生成的结果变得可解释,并且生成的模型可以进行开发。定制对话框结果的能力是通过控制某些属性(例如“浮动玩具”)来控制的。

论文地址:

源地址:尚未发布的源代码和数据集

作者:徐灿,吴伟,陶重阳,黄虎,马特舒尔曼和王颖

人机对话是NLP领域的一个基本问题。传统研究专注于构建面向任务的对话系统,以实现特定区域用户(例如饭店预订)的特定任务。最近,开放域聊天机器人的构建越来越受到关注,这不仅是因为大规模的个人对话数据的出现,而且还因为某些真正的对话产品(例如Microsoft Xiao Bing)的成功。

聊天机器人通常由编码器-解码器框架的响应生成模型实现[1],但是常见的问题之一是易于生成安全的响应,例如“我不知道”和“我太”。等待。一般而言,琐碎的响应的产生来自开放领域对话中输入和回复之间的“一对多”关系,而传统的Seq2seq结构往往会记住数据中的高频单词。

本文提出的模型可以解释和控制开放域对话中的一对多关系。与隐藏变量方法不同,本文使用元单词来明确表示消息和响应之间的关系。给定一条消息,我们可以通过控制元词来控制生成的响应。

使用元辅助响应生成具有以下优点:1.使生成的模型可解释,用户可以在生成响应之前知道生成的响应的类型; 2.生成的过程是可控制的,并且允许元词的接口。用户定义的响应; 3.生成的方法是通用的,可以将行为,性格,情感和其他特征作为元词的属性与现有工作结合起来; 4.现在,基于生成的开放域对话系统将更改DEK,因为该模型支持元词的特征工程。

1.纸模型

使用元词来生成响应需要解决两个问题:1.如何确保响应与输入相关; 2.如何确保响应可以忠实地表达预定义的元词。为了解决这两个问题,本文提出了一种目标跟踪存储器增强序列序列模型,该模型由编解码结构的状态存储板和目标跟踪存储器网络的状态控制器组成。

在生成响应之前,编码器通过双向GRU将输入信息表示为序列,目标跟踪存储网络由元素初始化。然后状态存储器跟踪元字的表达,并由状态控制器响应于解码而更新。状态控制器从状态存储板读取元字表示的状态,并通过通知解码器元字表示的状态与目标之间的差异来管理每个步骤的解码处理。基于消息表示,状态控制器提供的信息以及生成的单词序列,解码器可以预测响应的下一个单词。在模型学习过程中,除了传统的似然目标外,本文还增加了状态更新损失,以便目标跟踪可以更好地利用训练数据中的监督信号。

不仅如此,本文还提出了一种元词预测方案,以便可以在实践中使用整个体系结构。

2.论文实验

在本文中,将多个Seq2Seq模型(例如MMI-bidi,SC-Seq2Seq,kg-CVAE和CT)用作基线。在两个大型数据集Twitter和Reddit上检查了GTMNES2S生成响应的相关性,多样性和“一对多”。 “关系建模的准确性和元词表达的准确性。

更有趣的是,如果逐渐增加元词中的属性变量,则验证集上的PPL将逐渐减小,这也证实了这样的论点,即“通过调整元词可以不断提高模型的性能。 ”。

下图中的两个示例还表明,此模型生成的响应具有更多信息和更好的一致性。

3.结论

本文提出了一种目标跟踪记忆增强的序列到序列模型,用于使用元词进行开放域响应生成的响应特征的显式生成。这两个数据集的评估结果表明,在响应质量和元词表达的准确性方面,本文的模型明显优于几种最新的生成体系结构。

参考

[1] Iulian Vlad Serban,Alessandro Sordoni,Ryan Lowe,Laurent Charlin,Joelle Pineau,Aaron C Courville和Yoshua Bengio。 2017年。用于生成对话的分层潜变量编码器/解码器模型。在AAAI中,第3295-3301页。/P>

热门浏览
热门排行榜
热门标签
日期归档