From 249aa9c1a8d3e1838a364b9fe5f161abd4380434 Mon Sep 17 00:00:00 2001 From: wanghong-yang <549398718@qq.com> Date: Fri, 20 Nov 2015 18:17:20 +0800 Subject: [PATCH] Revised edition of mnist_pros.md Fixed grammatical and technical wrong in this markdown file. --- README.md | 2 +- SOURCE/tutorials/mnist_pros.md | 79 +++++++++++++++++----------------- 2 files changed, 41 insertions(+), 40 deletions(-) diff --git a/README.md b/README.md index 9f949b8..337459b 100644 --- a/README.md +++ b/README.md @@ -83,7 +83,7 @@ PS: 想探讨TensorFlow技术的可以加"TensorFlow技术交流群"：495115006 - 教程 - [综述](SOURCE/tutorials/overview.md) 翻译：（[@PFZheng](https://github.com/PFZheng)）√ 校对： ([@ericxk](https://github.com/ericxk)) - [MNIST For ML Beginners](SOURCE/tutorials/mnist_beginners.md) 翻译：([@Tony Jin](https://github.com/linbojin)) 校对： ([@ericxk](https://github.com/ericxk)) - - [深入MNIST](SOURCE/tutorials/mnist_pros.md) 翻译：([@chenweican](https://github.com/chenweican))√ + - [深入MNIST](SOURCE/tutorials/mnist_pros.md) 翻译：([@chenweican](https://github.com/chenweican))√ 校对： ([@HongyangWang](https://github.com/WangHong-yang)) - [TensorFlow运作方式入门](SOURCE/tutorials/mnist_tf.md) 翻译：([@bingjin](https://github.com/bingjin))√ - [卷积神经网络](SOURCE/tutorials/deep_cnn.md) 翻译： ([@oskycar](https://github.com/oskycar))√ 校对： ([@zhyhooo](https://github.com/zhyhooo)) - [Vector Representations of Words](SOURCE/tutorials/word2vec.md)翻译：（[@xyang40](https://github.com/xyang40)） diff --git a/SOURCE/tutorials/mnist_pros.md b/SOURCE/tutorials/mnist_pros.md index bc7a022..fee19ab 100755 --- a/SOURCE/tutorials/mnist_pros.md +++ b/SOURCE/tutorials/mnist_pros.md @@ -1,13 +1,13 @@ # 深入MNIST -TensorFlow是一个强力大规模数值计算的库。其中一个特点就是它能够实现和训练深度神经网络。 +TensorFlow是一个做大规模数值计算的强大库。其中一个特点就是它能够实现和训练深度神经网络。 在这一小节里，我们将会学习在MNIST上构建深度卷积分类器的基本步骤。 -*这个教程假设你已经熟悉神经网络和MNIST数据集。如果你尚未了解，请查看[新手指南](../../../tutorials/mnist/beginners/index.md).* +*这个教程假设你已经熟悉神经网络和MNIST数据集。如果你尚未了解，请查看[新手指南](./mnist_beginners.md).* ## 安装 -在我们创建模型之前，我们会先加载MNIST数据集，然后启动一个TensorFlow的session。 +在创建模型之前，我们会先加载MNIST数据集，然后启动一个TensorFlow的session。 ### 加载MNIST数据 @@ -18,13 +18,13 @@ import input_data mnist = input_data.read_data_sets('MNIST_data', one_hot=True) ``` -这里，`mnist`是一个轻量级的类。它包含训练、校验和测试用NumPy装在的集合数据。同时对数据进行最小划分的方式来提供迭代器，后面我们将会用到。 +这里，`mnist`是一个轻量级的类。它包含Numpy数组格式的训练、校验和测试数据。它同时提供了一个函数，用于在迭代中获得minibatch，后面我们将会用到。 ### 开始TensorFlow的交互会话 -Tensorflow是基于一个高效的C++模块进行运算。而与这个模块的连接叫做session。一般而言，使用TensorFlow程序的流程是先创建一个图，然后在sission中加载它。 +Tensorflow基于一个高效的C++模块进行运算。与这个模块的连接叫做session。一般而言，使用TensorFlow程序的流程是先创建一个图，然后在session中加载它。 -这里，我们使用更加方便的`InteractiveSession`类。通过它，你可以更加灵活地构建你的代码。它能让你在运行图的时候，插入一些构建[计算图](../../../get_started/basic_usage.md#the-computation-graph)的操作。如果你没有使用`InteractiveSession`的话，你需要在开始session和[加载图](../../../get_started/basic_usage.md#launching-the-graph-in-a-session)之前，构建整个计算图。 +这里，我们使用更加方便的`InteractiveSession`类。通过它，你可以更加灵活地构建你的代码。它能让你在运行图的时候，插入一些构建[计算图](../../../get_started/basic_usage.md#the-computation-graph)的操作。这能给使用交互式文本shell如iPython带来便利。如果你没有使用`InteractiveSession`的话，你需要在开始session和[加载图](../../../get_started/basic_usage.md#launching-the-graph-in-a-session)之前，构建整个计算图。 ```python @@ -34,11 +34,11 @@ sess = tf.InteractiveSession() #### 计算图 -传统的计算行为，为了更高效地在Python里进行数值计算，我们一般会使用像NumPy一类其他语言编写的lib，来完成这些费时的操作（例如矩阵运算）。可是，每一步操作依然会有大量在Python和第三方lib之间的切换操作。这些操作很蛋疼，特别是你想在GPU上进行计算，又或者想使用分布式的做法的时候。因为它会让你在数据传输上耗费大量功夫。 +传统的计算行为中，为了更高效地在Python里进行数值计算，我们一般会使用像NumPy这样用其他语言编写的lib，在Python外完成这些费时的操作（例如矩阵运算）。可是，每一步操作依然会经常在Python和第三方lib之间切换。这些操作很蛋疼，特别是当你想在GPU上进行计算，又或者想使用分布式的做法的时候。这些情况下数据传输代价高昂。 -而在TensorFlow中，也有Python与外界的频繁操作。但是它在这一方面，做了进一步的改良。除了能够在Python以外单独执行费时操作之外，TensorFlow还能通过描述计算图来调度Python外的计算。这与Theano、Torch的用法很相似。 +在TensorFlow中，也有Python与外界的频繁操作。但是它在这一方面，做了进一步的改良。TensorFlow构建一个交互操作的图，作为一个整体在Python外运行，而不是以代价高昂的单个交互操为单位在Python外运行。这与Theano、Torch的做法很相似。 -所以，这部分Python代码，扮演的是协调整个运算过程，调度和安排每一步的运行。详细请阅读[计算图](../../../get_started/basic_usage.md#the-computation-graph) +所以，这部分Python代码，目的是构建这个在外部运行的计算图，并安排这个计算图的哪一部分应该被运行。详细请阅读[计算图](../../../get_started/basic_usage.md#the-computation-graph) 部分的[基本用法](../../../get_started/basic_usage.md)。 @@ -48,22 +48,22 @@ sess = tf.InteractiveSession() ### 占位符 -我们先来创建计算图的输入和输出。 +我们先来创建计算图的输入（图片）和输出（类别）。 ```python x = tf.placeholder("float", shape=[None, 784]) y_ = tf.placeholder("float", shape=[None, 10]) ``` -这里的`x`和`y`并不是具体值，他们是一个`placeholder`，他们是一个变量，在TensorFlow运行计算的时候使用。 +这里的`x`和`y`并不是具体值，他们是一个`placeholder`，是一个变量，在TensorFlow运行计算的时候使用。 -输入值图片集`x`包括一堆的2维向量。这里，我给它定义它的`shape`为`[None, 784]`，其中`784`代表一个展开的MNIST图片的维度数。而`None`代表第1维是单个批次的数量，为任意值。输出值`y_`也是一个2维向量，其中每一行为一个10维向量代表对应MNIST图片的分类。 +输入图片`x`是浮点数2维张量。这里，定义它的`shape`为`[None, 784]`，其中`784`是单张展开的MNIST图片的维度数。shape的第一维输入指代一个batch的大小，`None`，可为任意值。输出值`y_`也是一个2维张量，其中每一行为一个10维向量代表对应MNIST图片的分类。 -虽然`placeholder`的`shape`参数是可选的，但有了它，TensorFlow能够自动捕捉那些不一致的数据。 +虽然`placeholder`的`shape`参数是可选的，但有了它，TensorFlow能够自动捕捉因数据维度不一致导致的错误。 ### Variables -我们现在为模型定义权重`W`和偏差`b`。我们把这俩当成一种输入，TensorFlow有一个更好的方式来处理：`Variable`。一个`Variable`代表着在TensorFlow计算图中的一个值，它是能在计算过程中被读取和修改的。在机器学习的应用过程中，模型参数一般用`Variable`来表示。 +我们现在为模型定义权重`W`和偏置`b`。它们可以被视作是额外的输入量，但是TensorFlow有一个更好的方式来处理：`Variable`。一个`Variable`代表着在TensorFlow计算图中的一个值，它是能在计算过程中被读取和修改的。在机器学习的应用过程中，模型参数一般用`Variable`来表示。 ```python W = tf.Variable(tf.zeros([784,10])) @@ -72,7 +72,7 @@ b = tf.Variable(tf.zeros([10])) 我们在调用`tf.Variable`的时候传入初始值。在这个例子里，我们把`W`和`b`都初始化为零向量。`W`是一个784x10的矩阵（因为我们有784个特征和10个输出值）。`b`是一个10维的向量（因为我们有10个分类）。 -在`Variable`需要在session之前初始化，才能在session中使用。初始化需要初始值（本例当中是零向量）传入并赋值给每一个`Variable`。这个操作一次性完成就可以了。 +`Variable`需要在session之前初始化，才能在session中使用。初始化需要初始值（本例当中是全为零）传入并赋值给每一个`Variable`。这个操作可以一次性完成。 ```python sess.run(tf.initialize_all_variables()) @@ -80,33 +80,33 @@ sess.run(tf.initialize_all_variables()) ### 预测分类与损失函数 -现在我们可以实现我们的regression模型了。这只需要一行！我们把图片`x`和权重矩阵`W`相乘，加上偏差`b`，然后计算每个分类的softmax概率值。 +现在我们可以实现我们的regression模型了。这只需要一行！我们把图片`x`和权重矩阵`W`相乘，加上偏置`b`，然后计算每个分类的softmax概率值。 ```python y = tf.nn.softmax(tf.matmul(x,W) + b) ``` -正如之前所说的，损失函数在训练过程中会被最小化。我们的损失函数满足目标分类和模型分类的交互熵最小。 +在训练中最小化损失函数同样很简单。我们这里的损失函数用目标分类和模型预测分类之间的交叉熵。 ```python cross_entropy = -tf.reduce_sum(y_*tf.log(y)) ``` -注意，`tf.reduce_sum`把minibatch里的每个图片的值都加起来了。我们计算的交互熵是指整个minibatch的。 +注意，`tf.reduce_sum`把minibatch里的每张图片的交叉熵值都加起来了。我们计算的交叉熵是指整个minibatch的。 ## 训练模型 -现在，我们开始定义和训练我们损失函数。这里将会直接使用TensorFlow来训练。因为TensorFlow知道整个计算图，它会用自动微分法来找到损失函数在对于各个维度的梯度。TensorFlow有[大量内置的优化算法] -(../../../api_docs/python/train.md#optimizers). 例如，我们用最速下降法来逼近交互熵，步长为0.01. +我们已经定义好了模型和训练的时候用的损失函数，接下来使用TensorFlow来训练。因为TensorFlow知道整个计算图，它会用自动微分法来找到损失函数对于各个变量的梯度。TensorFlow有[大量内置的优化算法] +(../../../api_docs/python/train.md#optimizers). 这个例子中，我们用最速下降法让交叉熵下降，步长为0.01. ```python train_step = tf.train.GradientDescentOptimizer(0.01).minimize(cross_entropy) ``` -这一行代码实际上是用来往计算图上添加一个操作，其中包括计算梯度，计算每个参数的变化步长，并且计算出新的参数值。 +这一行代码实际上是用来往计算图上添加一个新操作，其中包括计算梯度，计算每个参数的步长变化，并且计算出新的参数值。 -`train_step`这个操作，会使权重参数不断的更新。所以，整个模型的训练过程，可以通过不断地运行`train_step`来完成。 +`train_step`这个操作，用梯度下降来更新权值。因此，整个模型的训练可以通过反复地运行`train_step`来完成。 ```python @@ -115,21 +115,21 @@ for i in range(1000): train_step.run(feed_dict={x: batch[0], y_: batch[1]}) ``` -每一步迭代，我们都会加载50个训练样例，然后执行一次`train_step`，参数是`feed_dict`表示用训练数据来提到`placeholder`向量`x`和`y_`。 +每一步迭代，我们都会加载50个训练样本，然后执行一次`train_step`，使用`feed_dict`，用训练数据替换`placeholder`向量`x`和`y_`。 -注意，在计算图中，你可以用`feed_dict`来替代任何向量，并不仅限于有`placeholder`的地方。 +注意，在计算图中，你可以用`feed_dict`来替代任何张量，并不仅限于替换`placeholder`。 ### 评估模型 我们的模型效果怎样？ -首先，我们要先知道我们哪些label是预测正确了。`tf.argmax`是一个很有用的函数。它会返回在向量某个维度上的排名。例如， `tf.argmax(y,1)`表示我们模型对每个输入的最大概率分类的分类值。而 `tf.argmax(y_,1)`表示真实分类值。我们可以用`tf.equal`来判断我们的预测是否符合真实分类。 +首先，要先知道我们哪些label是预测正确了。`tf.argmax`是一个非常有用的函数。它会返回一个张量某个维度中的最大值的索引。例如，`tf.argmax(y,1)`表示我们模型对每个输入的最大概率分类的分类值。而 `tf.argmax(y_,1)`表示真实分类值。我们可以用`tf.equal`来判断我们的预测是否与真实分类一致。 ```python correct_prediction = tf.equal(tf.argmax(y,1), tf.argmax(y_,1)) ``` -这里返回一个布尔数组。为了计算我们分类的准确率，我们用浮点数来代表对、错，然后取平均值。例如：`[True, False, True, True]`变为`[1,0,1,1]`，计算出平均值为`0.75`。 +这里返回一个布尔数组。为了计算我们分类的准确率，我们将布尔值转换为浮点数来代表对、错，然后取平均值。例如：`[True, False, True, True]`变为`[1,0,1,1]`，计算出平均值为`0.75`。 ```python accuracy = tf.reduce_mean(tf.cast(correct_prediction, "float")) @@ -143,11 +143,11 @@ print accuracy.eval(feed_dict={x: mnist.test.images, y_: mnist.test.labels}) ## 构建一个多层卷积网络 -在MNIST上只有91%正确率，实在太糟糕。在这个小节里，我们用一个稍微复杂的模型：卷积神经网络来改善效果。这会达到大概99.2%的准确率。虽然不是最高，但是还是比较满意的。 +在MNIST上只有91%正确率，实在太糟糕。在这个小节里，我们用一个稍微复杂的模型：卷积神经网络来改善效果。这会达到大概99.2%的准确率。虽然不是最高，但是还是比较让人满意。 ### 权重初始化 -在创建模型之前，我们先来创建权重和偏差。一般来说，用一堆小数作为初始值，来打破对称性，防止零梯度的问题。因为我们用的是ReLU神经元，所以用稍大于0的偏差来初始化会能够避免『僵尸神经元』。除了不断迭代计算之外，我们加入两个手工操作。 +在创建模型之前，我们先来创建权重和偏置。一般来说，初始化时应加入轻微噪声，来打破对称性，防止零梯度的问题。因为我们用的是ReLU，所以用稍大于0的值来初始化偏置能够避免节点输出恒为0的问题（dead neurons）。为了不在建立模型的时候反复做初始化操作，我们定义两个函数用于初始化。 ```python def weight_variable(shape): @@ -161,7 +161,7 @@ def bias_variable(shape): ### 卷积和池化 -TensorFlow在卷积和池化上有很强的灵活性。我们怎么处理边界？步长应该设多大？在这个实例里，我们一如既往地使用vanilla的版本。我们的卷积使用一个步长，其余用0填充，来保证输出和输入是同一个大小。我们的池化用2x2的块来规整老的最大池。为了代码更简洁，我们把这部分抽成一个函数。 +TensorFlow在卷积和池化上有很强的灵活性。我们怎么处理边界？步长应该设多大？在这个实例里，我们会一直使用vanilla版本。我们的卷积使用1步长（stride size），0边距（padding size）的模板，保证输出和输入是同一个大小。我们的池化用简单传统的2x2大小的模板做max pooling。为了代码更简洁，我们把这部分抽象成一个函数。 ```python def conv2d(x, W): @@ -174,20 +174,20 @@ def max_pool_2x2(x): ### 第一层卷积 -现在我们可以开始实现第一层了。它会不断地在最大池上计算卷积。计算会为每个5x5的区块计算特征。权重向量是一个`[5, 5, 1, 32]`的向量前两个维度是区块的大小，接着是输入的通道，最后是输出的通道。我们会针对每个输出通道输出一个偏差向量。 +现在我们可以开始实现第一层了。它由一个卷积接一个max pooling完成。卷积在每个5x5的patch中算出32个特征。权重是一个`[5, 5, 1, 32]`的张量，前两个维度是patch的大小，接着是输入的通道数目，最后是输出的通道数目。输出对应一个同样大小的偏置向量。 ```python W_conv1 = weight_variable([5, 5, 1, 32]) b_conv1 = bias_variable([32]) ``` -针对 这一层，我们把`x`变成一个4d向量，第2、3维对应图片的宽高，最后一维代表颜色通道。 +为了用这一层，我们把`x`变成一个4d向量，第2、3维对应图片的宽高，最后一维代表颜色通道。 ```python x_image = tf.reshape(x, [-1,28,28,1]) ``` -我们把`x_image`和权值向量进行卷积相乘，加上偏差，计算ReLU值，得到最大池。 +我们把`x_image`和权值向量进行卷积相乘，加上偏置，使用ReLU激活函数，最后max pooling。 ```python h_conv1 = tf.nn.relu(conv2d(x_image, W_conv1) + b_conv1) @@ -196,7 +196,7 @@ h_pool1 = max_pool_2x2(h_conv1) ### 第二层卷积 -为了构建一个更深的网络，我们把几个分类堆叠起来。第二层，每个5x5的区块会有64个特征。 +为了构建一个更深的网络，我们会把几个类似的层堆叠起来。第二层中，每个5x5的patch会得到64个特征。 ```python W_conv2 = weight_variable([5, 5, 32, 64]) @@ -208,7 +208,7 @@ h_pool2 = max_pool_2x2(h_conv2) ### 密集连接层 -现在，图片降维到7x7，我们加入一个有1024个神经元的全连通层，用于处理整个图片。我们把池化层调整未一些列向量，乘上权重矩阵，加上偏差，计算ReLU值。 +现在，图片降维到7x7，我们加入一个有1024个神经元的全连接层，用于处理整个图片。我们把池化层输出的张量reshape成一些向量，乘上权重矩阵，加上偏置，使用ReLU激活。 ```python W_fc1 = weight_variable([7 * 7 * 64, 1024]) @@ -221,7 +221,7 @@ h_fc1 = tf.nn.relu(tf.matmul(h_pool2_flat, W_fc1) + b_fc1) #### Dropout 为了减少过拟合，我们在输出层之前加入dropout。我们用一个`placeholder`来代表一个神经元在dropout中被保留的概率。这样我们可以在训练过程中启用dropout，在测试过程中关闭dropout。 -TensorFlow的`tf.nn.dropout`操作会自动处理神经元输出值的缩放问题。所以dropout只用针对没缩放的情况即可。 +TensorFlow的`tf.nn.dropout`操作会自动处理神经元输出值的scale。所以用dropout的时候可以不用考虑scale。 ```python keep_prob = tf.placeholder("float") @@ -230,7 +230,7 @@ h_fc1_drop = tf.nn.dropout(h_fc1, keep_prob) ### 输出层 -最后最后，我们来添加softmax层，就像前面单层softmax regression一样。 +最后，我们添加一个softmax层，就像前面的单层softmax regression一样。 ```python W_fc2 = weight_variable([1024, 10]) @@ -241,7 +241,7 @@ y_conv=tf.nn.softmax(tf.matmul(h_fc1_drop, W_fc2) + b_fc2) ### 训练和评估模型 -这次效果又有多好呢？我们用前面一样的代码来测测看。只是我们会用更加复杂的ADAM优化器来进行最速下降梯度法，在`feed_dict`中加入额外的参数`keep_prob`来 控制dropout比例。然后每100次迭代输出一次日志。 +这次效果又有多好呢？我们用前面几乎一样的代码来测测看。只是我们会用更加复杂的ADAM优化器来做梯度最速下降，在`feed_dict`中加入额外的参数`keep_prob`来控制dropout比例。然后每100次迭代输出一次日志。 ```python cross_entropy = -tf.reduce_sum(y_*tf.log(y_conv)) @@ -263,6 +263,7 @@ print "test accuracy %g"%accuracy.eval(feed_dict={ 以上代码，在最终测试集上的准确率大概是99.2%。 -目前为止，我们已经学会了用TensorFlow来快速和简易地搭建、训练和评估一个有点复杂的深度学习模型。 +目前为止，我们已经学会了用TensorFlow来快速和简易地搭建、训练和评估一个复杂一点儿的深度学习模型。 + +原文地址：[Deep MNIST for Experts](http://tensorflow.org/tutorials/mnist/pros/index.html) 翻译：[chenweican](https://github.com/chenweican) 校对：[HongyangWang](https://github.com/wanghong-yang) -原文地址：[Deep MNIST for Experts](http://tensorflow.org/tutorials/mnist/pros/index.html) 翻译：[chenweican](https://github.com/chenweican) 校对： \ No newline at end of file