在今年1月份期间曾简单翻译了一篇关于Attention机制的文章Attention Model注意力机制。虽然，翻译了这篇文章，但由于当时对RNN、Seq2Seq等知识只处于初步了解阶段，对Attention机制总感觉是一知半解。虽然很努力的去看各种资料，但还是感觉不能够理解。经过最近一段时间的学习，对RNN、Seq2Seq有了一定的理解且进行了一定的实践，再阅读Attention相关的论文和博客就感觉不是那么吃力了，现在对最近学习的Attention机制相关的知识进行简单地总结。

基本RNN

最近一段时间一直在学习CNN在NLP方面的应用，主要是学习如何利用CNN解决NLP的传统任务，如文本分类、句子相似度计算等。在此期间阅读了一些论文和博客，在此系统整理一下，以便加强理解。

看了多篇关于词向量的论文及博文，特此整理一下，以加强理解。

简介

在NLP的相关任务中，要将自然语言交给机器学习中的算法来处理，通常需要首先将语言数学化，将语言转化为机器能够识别的符号，然后再进行各种计算。词向量就是用来将语言中的词进行数学化的一种方式。顾名思义，词向量就是把一个词表示成一个向量。

本文主要是对宗成庆老师《自然语言理解》讲义，第9章的一个学习笔记，同时，也参考了刘群老师《计算语言学》的句法分析讲义，所有的配图均来自这两个讲义。通过该讲义能够对句法分析是做什么的以及怎么做，有一个基本的认识。

中文分词问题介绍

词是自然语言中能够独立运用的最小单位，是信息处理的基本单位。自然语言处理的对象是一个个的句子，拿到句子之后一般要对句子进行分词。分词就是利用计算机识别出文本中词的过程。大部分的印欧语言，词与词之间有空格之类的显示标志指示词的边界。因此，利用很容易切分出句子中的词。而与大部分的印欧语言不同，中文语句中词与词之间没有空格标志指示，所以，需要专门的方法去实现中文分词。分词是文本挖掘的基础，通常用于自然语言处理、搜索引擎、推荐等领域。

本篇笔记来自李航老师的《统计学习方法》一书

条件随机场最早由Lafferty等人2001年提出，其模型思想的主要来源是最大熵模型，模型的三个基本问题的解决用到了HMMs模型中的方法如forward-backward和Viterbi。我们可以把条件随机场看成是一个无向图模型或马尔科夫随机场，它是一种用来标记和切分序列化数据的统计模型。

基本知识

熵和条件熵

熵(entropy)原是一个热力学中的概念，后由香农引入到信息论中。在信息论和概率统计中，熵用来表示随机变量的不确定性的度量。其定义如下：

语言模型概述

语言模型(Language Model)，就是用来计算一个句子概率的模型。从统计的角度看，自然语言中的一个句子可以由任何词串构成。不过P(s)有大有小。比如：

一些基础

互斥

如果事件A和B不可能同时发生，即$AB=\Phi$，则称A与B是互斥的。