激活函数简介

神经网络是目前比较流行深度学习的基础，神经网络模型模拟人脑的神经元。人脑神经元接收一定的信号，对接收的信号进行一定的处理，并将处理后的结果传递到其他的神经元，数以亿计的神经元组成了人体复杂的结构。在神经网络的数学模型中，神经元节点，将输入进行加权求和，加权求和后再经过一个函数进行变换，然后输出。这个函数就是激活函数，神经元节点的激活函数定义了对神经元输入的映射关系。

摘自：《TensorFlow实战Google深度学框架》一书，5.3节。

Tensorflow提供了通过变量名称来创建或者获取一个变量的机制。通过这个机制，在不同的函数中可以直接通过变量的名字来使用变量，而不需要将变量通过参数的形式到处传递。TensorFlow中通过变量名获取变量的机制主要是通过tf.get_variable和tf.variable_scope函数实现的。下面将分别介绍如何使用这两个函数。

本文是对:https://blog.heuritech.com/2016/01/20/attention-mechanism/ 的翻译。这篇文章对Attention Model原理进行了一个比较清晰的阐述，所以记录一下。由于本人英语能力有限，翻译不周的地方，还请见谅。

阅读全文 »

GRU神经网络

GRU(Gated Recurrent Unit)是LSTM的一种变体，它对LSTM做了很多简化，同时却保持着和LSTM几乎相同的效果。因此，GRU最近变得非常流行。下图是GRU的网络架构图。

本文转自：https://zybuluo.com/hanbingtao/note/581764，对其进行一定的整理。

LSTM前向计算

本文是http://colah.github.io/posts/2015-08-Understanding-LSTMs/的译文，这篇文章对LSTM的原理讲解的非常清楚，故存下来。

Recurrent Neural Networks

人类并非每一秒都从头开始思考问题。当你阅读这篇文章时，你是基于之前的单词来理解，每个单词。你并不会把所有的内容都抛弃掉，然后从头开始理解。你的思考具有持久性。

循环神经网络简介

循环神经网络(Recurrent Neural Network,RNN)，是一种sequence model，它的思想就是使用序列信息。在前馈、卷积神经网络中，认为输入（和输出）彼此之间是互相独立的。但是对很多任务而言，这种处理方式很不合理。同时，在前馈、卷积神经网络中，输入和输出的维数都是固定的，不能任意改变，且无法处理变长的序列数据。

本文是对近期学习的卷积神经网络相关知识的简单记录和梳理。

卷积神经网络简介

卷积神经网络(Convolution Neural Network，CNN或ConvNet)是一种前馈神经网络。卷积神经网络是受生物学上感受野(Receptive Field)的机制提出来的。一个神经元的感受野是指特定区域，只有这个区域内的刺激才能够激活该神经元。

前馈神经网络前向传播

对卷积的理解

• http://mengqi92.github.io/2015/10/06/convolution/
• http://www.cnblogs.com/freeblues/p/5738987.html
• http://blog.csdn.net/bitcarmanlee/article/details/54729807
  阅读全文 »