设为首页 - 加入收藏
广告 1000x90
您的当前位置:黄大仙精准预测2015 > 句法关系 > 正文

哈工大刘一佳:通过句法分析看上下文相关词向量

来源:未知 编辑:admin 时间:2019-05-17

  嗨,大家好。这里是学术报告专栏,读芯术小编不定期挑选并亲自跑会,为大家奉献科技领域最优秀的学术报告,为同学们记录报告干货,并想方设法搞到一手的PPT和现场视频——足够干货,足够新鲜!话不多说,快快看过来,希望这些优秀的青年学者、专家杰青的学术报告 ,能让您在业余时间的知识阅读更有价值。

  人工智能论坛如今浩如烟海,有硬货、有干货的讲座却百里挑一。由中国科学院大学主办,百度公司提供支持,读芯术作为指定合作自媒体的“AI未来说·青年学术论坛”第二期“自然语言处理”专场已于2019年2月23日下午在中科院举行。刘一佳博士为大家带来报告《通过句法分析看上下文相关词向量》。

  报告内容:随着Deep contextualized word embedddings的发表,上下文相关词向量给多项自然语言处理任务带来了显著的性能提升,因而获得了广泛的关注。本次分享尝试从句法分析的角度出发,回顾什么是上下文相关词向量,其与传统表示学习方法的联系与区别,以及其带来性能提升的关键是什么。同时,本次分享也将对通用词、句子表示进行粗浅地探讨。

  刘一佳博士的报告主要围绕两个结论:一个是上下文相关的词向量好在哪?结论是好在能够给未登录词进行建模。另一个是上下文相关词向量能更快吗?结论是对局部模型有希望。

  上下文相关的词向量,简单来说,就是利用上下文信息对词向量进行表示。主要用于处理自然语言表述问题,随着深度学习在自然语言处理当中的应用,上下文相关的词向量逐渐由高维转化为低维。

  解释一下上下文相关与上下文无关的关系,比如“制服”这个词,如果不把它放到具体的语句中,它可能有多个含义,比如说动词的含义和名词衣服的含义,此时它是上下文无关的,如果在“制服”后面加上“歹徒”,它的含义就是动词的含义,此时它是上下文相关的。

  未登录词就是训练时未出现,测试时出现了的单词,通过实验发现了一个问题,就是未登录词越多的数据,模型性能的提升就越大。为什么上下文相关词向量能对未登录词更好地进行建模?可能的原因有两种,一种是训练时见过未登录词,另一种是虽然没有见过,但是通过某种手段猜到了未登录词的含义。大概就是这两类作用,可以概括为记忆和归纳。

  在对未登录词以词性作为类别标签进行可视化实验的过程中,对比上下文无关的词向量和上下文相关的词向量,可以发现上下文相关的词向量聚类效果更好。由此可以联想到未登录词存在一个典型问题是数据稀缺。

  上下文相关的词向量是很不错的,但是训练代价比较大,一般需要在多块卡上跑很多天。为了克服这个问题,可以使用简单一点、局部一点的上下文建模方法。但从通用性的角度来说,复杂的上下文建模更有意义。

本文链接:http://pinoyradio-uk.com/jufaguanxi/45.html

相关推荐:

网友评论:

栏目分类

现金彩票 联系QQ:24498872301 邮箱:24498872301@qq.com

Copyright © 2002-2011 DEDECMS. 现金彩票 版权所有 Power by DedeCms

Top