本文摘要：泉源：机械之心本文约为11000字，建议阅读20+分钟在整个2019年，NLP领域都沉淀了哪些工具？有没有什么是你错过的？如果以为自己梳理太费时，不妨看一下本文作者整理的效果。2019 年对自然语言处置惩罚（NLP）来说是令人印象深刻的一年。本文将着重讲述一些 2019 年我在机械学习和自然语言处置惩罚领域有所见闻的重要事件。 我会把重点主要放在自然语言处置惩罚上，但也会涉及若干人工智能领域的趣闻。主要内容包罗研究论文、博客、工具和数据集、社区讨论、教程资源等。

泉源：机械之心本文约为11000字，建议阅读20+分钟在整个2019年，NLP领域都沉淀了哪些工具？有没有什么是你错过的？如果以为自己梳理太费时，不妨看一下本文作者整理的效果。2019 年对自然语言处置惩罚（NLP）来说是令人印象深刻的一年。本文将着重讲述一些 2019 年我在机械学习和自然语言处置惩罚领域有所见闻的重要事件。

我会把重点主要放在自然语言处置惩罚上，但也会涉及若干人工智能领域的趣闻。主要内容包罗研究论文、博客、工具和数据集、社区讨论、教程资源等。

目录研究论文机械学习/自然语言处置惩罚的缔造力和社群工具和数据集博文文章教程资源人工智能伦理学研究论文2019 年，谷歌人工智能团队带来了 ALBERT，它是用于情境化语言表征的自监视学习模型 BERT 的精简版。主要的革新在于淘汰了冗余，越发有效地分配了模型的性能。此方法在 12 个自然语言处置惩罚任务上到达了当前最佳性能（SOTA）。

2018 年底，英伟达的研究者们揭晓了一份热门论文 (A Style-Based Generator Architecture for Generative Adversarial Networks)（取名为 StyleGAN），提出了反抗生成网络的另一种生成器架构，灵感来自于气势派头迁移问题。2019 年，这份事情有了更新 (Analyzing and Improving the Image Quality of StyleGAN)，着重研究了诸如重新设计生成器正则化的历程等方面。上面一行为目的图像，下面一行为合成图像图源：https://arxiv.org/abs/1912.049582019 年，我最喜欢的论文之一是 code2seq (https://code2seq.org/)，这是一种从结构化表征的代码中生成自然语言序列的方法。

这样的研究可以对自动代码摘要和文档化的应用起到助益。你可曾想过，有没有可能为生物医学文本挖掘训练一个生物医学的语言模型？谜底就是 BioBERT (BioBERT: a pre-trained biomedical language representation model for biomedical text mining)，这是一个可以从生物医学文献中提取重要信息的语境化模型。

在 BERT 揭晓后，Facebook 的研究者们公布了 RoBERTa (RoBERTa: A Robustly Optimized BERT Pretraining Approach)，引入新的优化方法来革新 BERT，也在多项自然语言处置惩罚的基准测试中到达了当前最优效果。最近，Facebook 人工智能部门的研究者们还揭晓了一种基于全注意力层来革新 Transformer 语言模型效率的方法 (https://ai.facebook.com/blog/making-transformer-networks-simpler-and-more-efficient/)。这个研究组的其它事情 (https://ai.facebook.com/blog/-teaching-ai-to-plan-using-language-in-a-new-open-source-strategy-game/) 还包罗了如何教人工智能系统通过制定计划来使用自然语言。

全注意力层图源：https://arxiv.org/pdf/1907.01470.pdf可解释性仍然是机械学习和自然语言处置惩罚领域的重要议题。这篇论文 (Explainable Artificial Intelligence (XAI): Concepts, Taxonomies, Opportunities and Challenges toward Responsible AI) 对于可解释性、分类法以及未来研究的机缘提供了一份全面的综述。Sebastian Ruder 的博士论文也值得一看，题为：Neural Transfer Learning for Natural Language Processing。新加坡国立大学等机构的研究者开发了一种方法 (Emotion Recognition in Conversations with Transfer Learning from Generative Conversation Modeling)，能够在对话的情境下实现情绪识别，这将为情作用的对话生成铺平门路。

另一项相关事情则是用一种叫做 DialogueGCN (DialogueGCN: A Graph Convolutional Neural Network for Emotion Recognition in Conversation) 的图神经网络方法，来探测对话中的情绪。作者还提供了代码实现：https://github.com/SenticNet/conv-emotion/tree/master/DialogueGCN谷歌量子人工智能团队在 Nature 揭晓了一篇论文，声称开发了一台量子盘算机，速度比世界上最大的超级盘算机更快。之前提到过，可解释性是神经网络架构里需要大幅革新的一个领域。

这篇论文 (Attention is not not Explanation) 讨论了在语言模型的情境下，注意力机制作为可解释性的一种可靠方法所具有的局限性。神经逻辑机 (。

本文关键词：华体会体育,2019,NLP,大全,论文,、,博客,教程,工程,希望,全

本文来源：华体会体育-www.zajsjf.com