本文目录一览：

• 1、LeNet神经网络
• 2、有没有专业神经网络图可视化的软件
• 3、D3群在三维实空间中的矩阵表示是怎么算的
• 4、一种基于模糊神经网络的印刷品字符识别器:优势识别器
• 5、关于感受野的总结

LeNet神经网络

LeNet神经网络由深度学习三巨头之一的Yan LeCun提出，他同时也是卷积神经网络 (CNN，Convolutional Neural Networks)之父。LeNet主要用来进行手写字符的识别与分类，并在美国的银行中投入了使用。LeNet的实现确立了CNN的结构，现在神经网络中的许多内容在LeNet的网络结构中都能看到，例如卷积层，Pooling层，ReLU层。虽然LeNet早在20世纪90年代就已经提出了，但由于当时缺乏大规模的训练数据，计算机硬件的性能也较低，因此LeNet神经网络在处理复杂问题时效果并不理想。虽然LeNet网络结构比较简单，但是刚好适合神经网络的入门学习。

神经网络流程图（神经网络算法流程图）

LeNet的神经网络结构图如下：

LeNet网络的执行流程图如下：

接下来我们来具体的一层层的分析LeNet的网络结构。首先要了解图像（输入数据）的表示。在LeNet网络中，输入图像是手写字符，图像的表示形式为二维数据矩阵，如下图所示：

LeNet网络除去输入输出层总共有六层网络。第一层是卷积层（C1层），卷积核的大小为 5\*5 ，卷积核数量为 6 个，输入图像的大小为 32*32 ，因此输入数据在进行第一层卷积之后，输出结果为大小为 28*28 ，数量为 6 个的feature map。卷积操作如下面两幅图所示：

卷积操作的过程可描述为：卷积核在图像上滑动，滑动步长为1（即每次移动一格，水平方向从左到右，到最右边之后再从最左边开始，向下移动一格，重复从左到右滑动），当卷积核与图像的一个局部块重合时进行卷积运行，卷积计算方式为图像块对应位置的数与卷积核对应位置的数相乘，然后将所有相乘结果相加即为feature map的值， 相乘累加之后的结果位于卷积核中心点的位置 ，因此如果是 3\*3 的卷积核，feature map比原图像在水平和垂直方向上分别减少两行（上下各一行）和两列（左右各一列），因此上面图像原图为 5*5 ，卷积核为 3\*3 ，卷积结果大小为 3*3 ，即 (5-2)*(5-2) ，如果卷积核为 5*5 ，则卷积结果大小为 (5-4)*(5-4) 。上图中的卷积核为：

由于神经网络层与层的结构是通过连接来实现的，因此输入层与第一个卷积层的连接数量应为 (32-2-2)\*(32-2-2)\*(5\*5+1)\*6= 28\*28\*156 =122304 。

卷积的作用主要是：通过卷积运算，可以使原信号特征增强，并且降低噪音。在图像上卷积之后主要是减少图像噪声，提取图像的特征。例如sobel算子就是一种卷积运算，主要是提取图像的边缘特征。卷积网络能很好地适应图像的平移不变性：例如稍稍移动一幅猫的图像，它仍然是一幅猫的图像。卷积操作保留了图像块之间的空间信息，进行卷积操作的图像块之间的相对位置关系没有改变。图像在不同卷积核上进行卷积之后的效果图如下：

图像在LeNet网络上进行第一层卷积之后，结果为大小为 28*28 ，数量为 6 个的feature map。LeNet网络的第二层为pooling层（S2层），也称为下采样。在图像处理中，下采样之后，图像的大小会变为原来的 1/4 ，即水平方向和垂直方向上图像大小分别减半。Pooling有多种，这里主要介绍两种，max-pooling和average-pooling。max-pooling即为从四个元素中选取一个最大的来表示这四个元素，average-pooling则用四个元素的平均值来表示这四个元素。Pooling示意图如下：

在LeNet在进行第二层Pooling运算后，输出结果为 14*14 的 6 个feature map。其连接数为 (2*2+1) * 14 * 14 *6 = 5880 。Pooling层的主要作用就是减少数据，降低数据纬度的同时保留最重要的信息。在数据减少后，可以减少神经网络的纬度和计算量，可以防止参数太多过拟合。LeNet在这一层是将四个元素相加，然后乘以参数w再加上偏置b，然后计算sigmoid值。

LeNet第三层（C3层）也是卷积层，卷积核大小仍为 5*5 ，不过卷积核的数量变为 16 个。第三层的输入为 14*14 的 6 个feature map，卷积核大小为 5*5 ，因此卷积之后输出的feature map大小为 10*10 ，由于卷积核有 16 个，因此希望输出的feature map也为 16 个，但由于输入有 6 个feature map，因此需要进行额外的处理。输入的 6 个feature map与输出的 16 个feature map的关系图如下：

如上图所示，第一个卷积核处理前三幅输入的feature map，得出一个新的feature map。

上一层卷积运算之后，结果为大小为 10*10 的 16 个feature map，因此在第四层（S4层）进行pooling运算之后，输出结果为 16 个大小为 5*5 的feature map。与S2层进行同样的操作。

LeNet第五层是卷积层(C5层)，卷积核数目为120个，大小为 5*5 ，由于第四层输出的feature map大小为 5*5 ，因此第五层也可以看成全连接层，输出为120个大小为 1*1 的feature map。

LeNet第六层是全连接层（F6层），有84个神经元（84与输出层的设计有关），与C5层全连接。

LeNet神经网络结构在Caffe中的配置文件如下：

参考资料：

1.

有没有专业神经网络图可视化的软件

LeNet神经网络由深度学习三巨头之一的Yan LeCun提出，他同时也是卷积神经网络 (CNN，Convolutional Neural Networks)之父。LeNet主要用来进行手写字符的识别与分类，并在美国的银行中投入了使用。LeNet的实现确立了CNN的结构，现在神经网络中的许多内容在LeNet的网络结构中都能看到，例如卷积层，Pooling层，ReLU层。虽然LeNet早在20世纪90年代就已经提出了，但由于当时缺乏大规模的训练数据，计算机硬件的性能也较低，因此LeNet神经网络在处理复杂问题时效果并不理想。虽然LeNet网络结构比较简单，但是刚好适合神经网络的入门学习。

LeNet的神经网络结构图如下：

LeNet网络的执行流程图如下：

接下来我们来具体的一层层的分析LeNet的网络结构。首先要了解图像（输入数据）的表示。在LeNet网络中，输入图像是手写字符，图像的表示形式为二维数据矩阵，如下图所示：

LeNet网络除去输入输出层总共有六层网络。第一层是卷积层（C1层），卷积核的大小为 5\*5 ，卷积核数量为 6 个，输入图像的大小为 32*32 ，因此输入数据在进行第一层卷积之后，输出结果为大小为 28*28 ，数量为 6 个的feature map。卷积操作如下面两幅图所示：

卷积操作的过程可描述为：卷积核在图像上滑动，滑动步长为1（即每次移动一格，水平方向从左到右，到最右边之后再从最左边开始，向下移动一格，重复从左到右滑动），当卷积核与图像的一个局部块重合时进行卷积运行，卷积计算方式为图像块对应位置的数与卷积核对应位置的数相乘，然后将所有相乘结果相加即为feature map的值， 相乘累加之后的结果位于卷积核中心点的位置 ，因此如果是 3\*3 的卷积核，feature map比原图像在水平和垂直方向上分别减少两行（上下各一行）和两列（左右各一列），因此上面图像原图为 5*5 ，卷积核为 3\*3 ，卷积结果大小为 3*3 ，即 (5-2)*(5-2) ，如果卷积核为 5*5 ，则卷积结果大小为 (5-4)*(5-4) 。上图中的卷积核为：

由于神经网络层与层的结构是通过连接来实现的，因此输入层与第一个卷积层的连接数量应为 (32-2-2)\*(32-2-2)\*(5\*5+1)\*6= 28\*28\*156 =122304 。

卷积的作用主要是：通过卷积运算，可以使原信号特征增强，并且降低噪音。在图像上卷积之后主要是减少图像噪声，提取图像的特征。例如sobel算子就是一种卷积运算，主要是提取图像的边缘特征。卷积网络能很好地适应图像的平移不变性：例如稍稍移动一幅猫的图像，它仍然是一幅猫的图像。卷积操作保留了图像块之间的空间信息，进行卷积操作的图像块之间的相对位置关系没有改变。图像在不同卷积核上进行卷积之后的效果图如下：

图像在LeNet网络上进行第一层卷积之后，结果为大小为 28*28 ，数量为 6 个的feature map。LeNet网络的第二层为pooling层（S2层），也称为下采样。在图像处理中，下采样之后，图像的大小会变为原来的 1/4 ，即水平方向和垂直方向上图像大小分别减半。Pooling有多种，这里主要介绍两种，max-pooling和average-pooling。max-pooling即为从四个元素中选取一个最大的来表示这四个元素，average-pooling则用四个元素的平均值来表示这四个元素。Pooling示意图如下：

在LeNet在进行第二层Pooling运算后，输出结果为 14*14 的 6 个feature map。其连接数为 (2*2+1) * 14 * 14 *6 = 5880 。Pooling层的主要作用就是减少数据，降低数据纬度的同时保留最重要的信息。在数据减少后，可以减少神经网络的纬度和计算量，可以防止参数太多过拟合。LeNet在这一层是将四个元素相加，然后乘以参数w再加上偏置b，然后计算sigmoid值。

LeNet第三层（C3层）也是卷积层，卷积核大小仍为 5*5 ，不过卷积核的数量变为 16 个。第三层的输入为 14*14 的 6 个feature map，卷积核大小为 5*5 ，因此卷积之后输出的feature map大小为 10*10 ，由于卷积核有 16 个，因此希望输出的feature map也为 16 个，但由于输入有 6 个feature map，因此需要进行额外的处理。输入的 6 个feature map与输出的 16 个feature map的关系图如下：

如上图所示，第一个卷积核处理前三幅输入的feature map，得出一个新的feature map。

上一层卷积运算之后，结果为大小为 10*10 的 16 个feature map，因此在第四层（S4层）进行pooling运算之后，输出结果为 16 个大小为 5*5 的feature map。与S2层进行同样的操作。

LeNet第五层是卷积层(C5层)，卷积核数目为120个，大小为 5*5 ，由于第四层输出的feature map大小为 5*5 ，因此第五层也可以看成全连接层，输出为120个大小为 1*1 的feature map。

LeNet第六层是全连接层（F6层），有84个神经元（84与输出层的设计有关），与C5层全连接。

LeNet神经网络结构在Caffe中的配置文件如下：

参考资料：

1.

感受野是卷积神经网络里面最重要的概念之一，为了更好地理解卷积神经网络结构，甚至自己设计卷积神经网络，对于感受野的理解必不可少。

问题没表达清楚,仅仅柱坐标很简单的：

>> a=0:pi/20:pi/2;

>> z=0:pi/20:3*pi;

>> r=5+cos(z);

>> [x,y,z]=cylinder(r,30); %30表示圆周被分为几等分

>> mesh(x,y,z)

一般意义的矩阵是二维的,当然,你可以根据你的需要定义三维矩阵,至于运算规则,也是根据的你的需要定的.

比如说,加法定义为其中对应元素之积,乘法定义为对应元素之积.

Edraw max可以用来制作网络图，操作简单，内置的模板，也可以绘制流程图，思维导图。

D3群在三维实空间中的矩阵表示是怎么算的

LeNet神经网络由深度学习三巨头之一的Yan LeCun提出，他同时也是卷积神经网络 (CNN，Convolutional Neural Networks)之父。LeNet主要用来进行手写字符的识别与分类，并在美国的银行中投入了使用。LeNet的实现确立了CNN的结构，现在神经网络中的许多内容在LeNet的网络结构中都能看到，例如卷积层，Pooling层，ReLU层。虽然LeNet早在20世纪90年代就已经提出了，但由于当时缺乏大规模的训练数据，计算机硬件的性能也较低，因此LeNet神经网络在处理复杂问题时效果并不理想。虽然LeNet网络结构比较简单，但是刚好适合神经网络的入门学习。

LeNet的神经网络结构图如下：

LeNet网络的执行流程图如下：

接下来我们来具体的一层层的分析LeNet的网络结构。首先要了解图像（输入数据）的表示。在LeNet网络中，输入图像是手写字符，图像的表示形式为二维数据矩阵，如下图所示：

LeNet网络除去输入输出层总共有六层网络。第一层是卷积层（C1层），卷积核的大小为 5\*5 ，卷积核数量为 6 个，输入图像的大小为 32*32 ，因此输入数据在进行第一层卷积之后，输出结果为大小为 28*28 ，数量为 6 个的feature map。卷积操作如下面两幅图所示：

卷积操作的过程可描述为：卷积核在图像上滑动，滑动步长为1（即每次移动一格，水平方向从左到右，到最右边之后再从最左边开始，向下移动一格，重复从左到右滑动），当卷积核与图像的一个局部块重合时进行卷积运行，卷积计算方式为图像块对应位置的数与卷积核对应位置的数相乘，然后将所有相乘结果相加即为feature map的值， 相乘累加之后的结果位于卷积核中心点的位置 ，因此如果是 3\*3 的卷积核，feature map比原图像在水平和垂直方向上分别减少两行（上下各一行）和两列（左右各一列），因此上面图像原图为 5*5 ，卷积核为 3\*3 ，卷积结果大小为 3*3 ，即 (5-2)*(5-2) ，如果卷积核为 5*5 ，则卷积结果大小为 (5-4)*(5-4) 。上图中的卷积核为：

由于神经网络层与层的结构是通过连接来实现的，因此输入层与第一个卷积层的连接数量应为 (32-2-2)\*(32-2-2)\*(5\*5+1)\*6= 28\*28\*156 =122304 。

卷积的作用主要是：通过卷积运算，可以使原信号特征增强，并且降低噪音。在图像上卷积之后主要是减少图像噪声，提取图像的特征。例如sobel算子就是一种卷积运算，主要是提取图像的边缘特征。卷积网络能很好地适应图像的平移不变性：例如稍稍移动一幅猫的图像，它仍然是一幅猫的图像。卷积操作保留了图像块之间的空间信息，进行卷积操作的图像块之间的相对位置关系没有改变。图像在不同卷积核上进行卷积之后的效果图如下：

图像在LeNet网络上进行第一层卷积之后，结果为大小为 28*28 ，数量为 6 个的feature map。LeNet网络的第二层为pooling层（S2层），也称为下采样。在图像处理中，下采样之后，图像的大小会变为原来的 1/4 ，即水平方向和垂直方向上图像大小分别减半。Pooling有多种，这里主要介绍两种，max-pooling和average-pooling。max-pooling即为从四个元素中选取一个最大的来表示这四个元素，average-pooling则用四个元素的平均值来表示这四个元素。Pooling示意图如下：

在LeNet在进行第二层Pooling运算后，输出结果为 14*14 的 6 个feature map。其连接数为 (2*2+1) * 14 * 14 *6 = 5880 。Pooling层的主要作用就是减少数据，降低数据纬度的同时保留最重要的信息。在数据减少后，可以减少神经网络的纬度和计算量，可以防止参数太多过拟合。LeNet在这一层是将四个元素相加，然后乘以参数w再加上偏置b，然后计算sigmoid值。

LeNet第三层（C3层）也是卷积层，卷积核大小仍为 5*5 ，不过卷积核的数量变为 16 个。第三层的输入为 14*14 的 6 个feature map，卷积核大小为 5*5 ，因此卷积之后输出的feature map大小为 10*10 ，由于卷积核有 16 个，因此希望输出的feature map也为 16 个，但由于输入有 6 个feature map，因此需要进行额外的处理。输入的 6 个feature map与输出的 16 个feature map的关系图如下：

如上图所示，第一个卷积核处理前三幅输入的feature map，得出一个新的feature map。

上一层卷积运算之后，结果为大小为 10*10 的 16 个feature map，因此在第四层（S4层）进行pooling运算之后，输出结果为 16 个大小为 5*5 的feature map。与S2层进行同样的操作。

LeNet第五层是卷积层(C5层)，卷积核数目为120个，大小为 5*5 ，由于第四层输出的feature map大小为 5*5 ，因此第五层也可以看成全连接层，输出为120个大小为 1*1 的feature map。

LeNet第六层是全连接层（F6层），有84个神经元（84与输出层的设计有关），与C5层全连接。

LeNet神经网络结构在Caffe中的配置文件如下：

参考资料：

1.

感受野是卷积神经网络里面最重要的概念之一，为了更好地理解卷积神经网络结构，甚至自己设计卷积神经网络，对于感受野的理解必不可少。

问题没表达清楚,仅仅柱坐标很简单的：

>> a=0:pi/20:pi/2;

>> z=0:pi/20:3*pi;

>> r=5+cos(z);

>> [x,y,z]=cylinder(r,30); %30表示圆周被分为几等分

>> mesh(x,y,z)

一般意义的矩阵是二维的,当然,你可以根据你的需要定义三维矩阵,至于运算规则,也是根据的你的需要定的.

比如说,加法定义为其中对应元素之积,乘法定义为对应元素之积.

一种基于模糊神经网络的印刷品字符识别器:优势识别器

LeNet神经网络由深度学习三巨头之一的Yan LeCun提出，他同时也是卷积神经网络 (CNN，Convolutional Neural Networks)之父。LeNet主要用来进行手写字符的识别与分类，并在美国的银行中投入了使用。LeNet的实现确立了CNN的结构，现在神经网络中的许多内容在LeNet的网络结构中都能看到，例如卷积层，Pooling层，ReLU层。虽然LeNet早在20世纪90年代就已经提出了，但由于当时缺乏大规模的训练数据，计算机硬件的性能也较低，因此LeNet神经网络在处理复杂问题时效果并不理想。虽然LeNet网络结构比较简单，但是刚好适合神经网络的入门学习。

LeNet的神经网络结构图如下：

LeNet网络的执行流程图如下：

接下来我们来具体的一层层的分析LeNet的网络结构。首先要了解图像（输入数据）的表示。在LeNet网络中，输入图像是手写字符，图像的表示形式为二维数据矩阵，如下图所示：

LeNet网络除去输入输出层总共有六层网络。第一层是卷积层（C1层），卷积核的大小为 5\*5 ，卷积核数量为 6 个，输入图像的大小为 32*32 ，因此输入数据在进行第一层卷积之后，输出结果为大小为 28*28 ，数量为 6 个的feature map。卷积操作如下面两幅图所示：

卷积操作的过程可描述为：卷积核在图像上滑动，滑动步长为1（即每次移动一格，水平方向从左到右，到最右边之后再从最左边开始，向下移动一格，重复从左到右滑动），当卷积核与图像的一个局部块重合时进行卷积运行，卷积计算方式为图像块对应位置的数与卷积核对应位置的数相乘，然后将所有相乘结果相加即为feature map的值， 相乘累加之后的结果位于卷积核中心点的位置 ，因此如果是 3\*3 的卷积核，feature map比原图像在水平和垂直方向上分别减少两行（上下各一行）和两列（左右各一列），因此上面图像原图为 5*5 ，卷积核为 3\*3 ，卷积结果大小为 3*3 ，即 (5-2)*(5-2) ，如果卷积核为 5*5 ，则卷积结果大小为 (5-4)*(5-4) 。上图中的卷积核为：

由于神经网络层与层的结构是通过连接来实现的，因此输入层与第一个卷积层的连接数量应为 (32-2-2)\*(32-2-2)\*(5\*5+1)\*6= 28\*28\*156 =122304 。

卷积的作用主要是：通过卷积运算，可以使原信号特征增强，并且降低噪音。在图像上卷积之后主要是减少图像噪声，提取图像的特征。例如sobel算子就是一种卷积运算，主要是提取图像的边缘特征。卷积网络能很好地适应图像的平移不变性：例如稍稍移动一幅猫的图像，它仍然是一幅猫的图像。卷积操作保留了图像块之间的空间信息，进行卷积操作的图像块之间的相对位置关系没有改变。图像在不同卷积核上进行卷积之后的效果图如下：

图像在LeNet网络上进行第一层卷积之后，结果为大小为 28*28 ，数量为 6 个的feature map。LeNet网络的第二层为pooling层（S2层），也称为下采样。在图像处理中，下采样之后，图像的大小会变为原来的 1/4 ，即水平方向和垂直方向上图像大小分别减半。Pooling有多种，这里主要介绍两种，max-pooling和average-pooling。max-pooling即为从四个元素中选取一个最大的来表示这四个元素，average-pooling则用四个元素的平均值来表示这四个元素。Pooling示意图如下：

在LeNet在进行第二层Pooling运算后，输出结果为 14*14 的 6 个feature map。其连接数为 (2*2+1) * 14 * 14 *6 = 5880 。Pooling层的主要作用就是减少数据，降低数据纬度的同时保留最重要的信息。在数据减少后，可以减少神经网络的纬度和计算量，可以防止参数太多过拟合。LeNet在这一层是将四个元素相加，然后乘以参数w再加上偏置b，然后计算sigmoid值。

LeNet第三层（C3层）也是卷积层，卷积核大小仍为 5*5 ，不过卷积核的数量变为 16 个。第三层的输入为 14*14 的 6 个feature map，卷积核大小为 5*5 ，因此卷积之后输出的feature map大小为 10*10 ，由于卷积核有 16 个，因此希望输出的feature map也为 16 个，但由于输入有 6 个feature map，因此需要进行额外的处理。输入的 6 个feature map与输出的 16 个feature map的关系图如下：

如上图所示，第一个卷积核处理前三幅输入的feature map，得出一个新的feature map。

上一层卷积运算之后，结果为大小为 10*10 的 16 个feature map，因此在第四层（S4层）进行pooling运算之后，输出结果为 16 个大小为 5*5 的feature map。与S2层进行同样的操作。

LeNet第五层是卷积层(C5层)，卷积核数目为120个，大小为 5*5 ，由于第四层输出的feature map大小为 5*5 ，因此第五层也可以看成全连接层，输出为120个大小为 1*1 的feature map。

LeNet第六层是全连接层（F6层），有84个神经元（84与输出层的设计有关），与C5层全连接。

LeNet神经网络结构在Caffe中的配置文件如下：

参考资料：

1.

感受野是卷积神经网络里面最重要的概念之一，为了更好地理解卷积神经网络结构，甚至自己设计卷积神经网络，对于感受野的理解必不可少。

问题没表达清楚,仅仅柱坐标很简单的：

>> a=0:pi/20:pi/2;

>> z=0:pi/20:3*pi;

>> r=5+cos(z);

>> [x,y,z]=cylinder(r,30); %30表示圆周被分为几等分

>> mesh(x,y,z)

一般意义的矩阵是二维的,当然,你可以根据你的需要定义三维矩阵,至于运算规则,也是根据的你的需要定的.

比如说,加法定义为其中对应元素之积,乘法定义为对应元素之积.

Edraw max可以用来制作网络图，操作简单，内置的模板，也可以绘制流程图，思维导图。

摘 要：为了提高印刷品字符识别的效率，本文建立了一种基于模糊神经网络的字符识别模型，该模型对已有标准字符样本进行学习，训练出神经网络的模糊化层、模糊规则层和清晰化层，结合角点定位和连通域分析技术对待识别印刷品进行字符准确提取及识别，本方法识别率为86.53%。

关键词：模糊神经网络；字符识别；角点；连通域

0 引言

印刷体字符识别技术具有极大的实用价值，被广泛应用于大量文报资料、财务票据、文案扫描等文件处理领域[1]。它采用模式识别方法，将通过光学扫描输入得到的印刷品图像，转化为计算机能够处理的电子文档，其技术衡量指标包括识别率、识别速度、版面理解正确率及版面还原满意度四个方面[2]。

近年来，以模糊逻辑、神经网络与遗传算法为代表的人工智能这一新兴学科以其强大的学习功能在字符识别领域得到了广泛的应用。其中，模糊控制常用于少量字符情况下，它具有不依赖被控对象的精确模型、鲁棒性强、算法简明易懂等特点，但是其规则库难于设计，学习功能差；神经网络可以用于大规模字符识别，它具有能够逼近任意非线性函数关系的能力和比较方便的学习手段等特点[3,4]，但其参数不易收敛，推理功能差。而模糊神经网络集两者优势于一体，具有高鲁棒性和高度非线性学习能力，能够准确、快速的对已有数据进行学习，并在一定程度上提高了字符识别效率。本文利用模糊神经网络，采用角点定位和连通域提取等技术，设计了一套印刷体字符识别的新方法。

1 FNN结构和学习算法

FNN结构如图1所示，第一层为输入层，该层的各个结点直接于输入图像向量的各分量x1连接，它起着将输入值x=[x1 x2 …xn]T传送到下一层的作用，该层结点数N1=n；第二层每个结点代表一个模糊语言变量值，如PB，NS等。它的作用是计算各输入分量属于各语言变量值模糊集合的隶属度u，本文的隶属度函数采用最常用的高斯函数，该层结点数N2=m1+m2+…mn；第三层的每个结点代表一条模糊规则，它的作用是用来匹配模糊规则的前件，计算出每条的适用度，即ai=min{ ui1，ui1，ui2…uin}，对于给定的输入，只有在输入点附近的那些语言变量值才有较大的隶属度值，远离输入点的语言变量值的隶属度很小或者是0，该层结点数为m；第四层用于归一化计算，其结点数与第三层相同；第五层是输出层，实现清晰化计算，其yi=wi1a1+ wi2a2+ … wirar，i=1,2,..r。

图1

该网络学习方法与BP反向传播网络训练方法类似，基本步骤为：①初始化网络的随机权值wi；②计算结果与期望输出向量的误差；③按a=0.7的比例学习因数调整第五层神经元的权重，以减少与期望的误差；④将误差返回到上层的每个神经元；⑤重复③④调整每个神经元的权重，直到网络满足要求为止。

2 字符特征提取

图2为系统流程图，在图像采集后，需要将图像规则化，这通过滤波、二值化、平移、旋转等操作来实现。图像滤波方法很多，本文采用常用的平滑滤波；而旋转变换则需要判断出图像的角度。一般印刷品具有规则的几何形状，故在标准平面坐标下，根据图像四个角之间相对距离的不变性，经过旋转后的图像必与水平坐标呈某一角度[5] ，故可以检测出图像的四个角作为角点，计算出角点间连线与水平坐标的夹角，进而将待检测图像及标准图像恢复到水平位置，即可做进一步的单个字符提取，按照正确的角度去识别印刷品上的内容。

角点是二维图像亮度变化剧烈的点或图像边缘曲线上曲率极大值的点，通过对待检测图像求其二次梯度图，可知其每个象素点的灰度变化剧烈程度，进而获得图像四个角的坐标值。然后，通过角点坐标，我们可以计算出图像的倾斜角度，则角度旋转后可将图像转化为与标准模板相同的角度。

下一步就是提取单个字符并识别，本文采用连通域分析法进行字符提取。

象素的连通域是一个基本概念，它能够对数字图像区域和边界等概念进行简化。当两个象素相邻并且象素值满足一定的相似性准则，则这两个象素连通，依据具体范围需要，一般分为4邻接连通域，8邻接连通域和m连接连通域。本实验是在已知字符大小的情况下，将规定的、大小合理的提取线框从左、上到右、下进行逐行移动，依据各种标点符号的类型，汉字的上下、左右等构成方式，把规定合理范围内最相近连通域结合，视为一个字符。为了防止产品印刷过程中漏印、飞墨、针孔、刮擦等情况出现，我们又针对不同的连通域使用不同的图像处理方法，比如：为防止漏印，将4连接连通域和8连接连通域结合使用，减少漏印象素的影响；为防止飞墨，将完全连通域取中值，以恢复其合理的结构。

3 仿真研究

本文仿真软件使用MatlabR2010b，图像采集设备为工业摄像头。模糊神经网络输入为上述规定方框的象素值，输出为人工设定的字符标号，比如：0表示阿拉伯数字‘0’，55表示汉字‘人’字，80表示英文字母‘B’。

该系统采用监督学习方法，依据1、2所述原理，第一步为训练阶段，采集标准印刷品图像上面300个常见字符作为训练数据，对所建模糊神经网络进行训练。第二步是学习测试阶段，将作为训练的印刷品作为测试样本，其学习准确率为98%，高于单独使用神经网络（92%）；第三步是实际测试阶段，将其他类似印刷品字符作为测试数据，得出的字符识别准确率是86.53%，高于单独使用神经网络（74%）。

4 结论

本文利用模糊神经网络，使用角点定位和连通域分析等技术，建立了一个印刷品字符识别器。实验结果表明，相对于单纯学习算法，该模糊神经网络具有很好的学习能力和很强的鲁棒性，能够很好应用于印刷品字符识别领域。未来工作可放在改进学习算法和在字符大小不同情况下的识别两个方面。

图2

参考文献

[1] 李果. 自动印刷质量检测技术及系统综述[J]. 印刷质量与标准化，2011．

[2] 钟辉. 彩色印刷品图像缺陷自动检测系统算法的研究[D]. 吉林大学，2007

[3] 赵晓霞. 一种粗糙模糊神经网络识别器及其应用[J]. 中北大学学报(自然科学版），2009

[4] 周泽华, 胡学友等. 基于神经网络的印刷体数字字符的识别[J]. 自动化与仪器仪表，2009

[5] 王诗琴, 程耀瑜等. 等基于角点定位的印刷品缺陷监测[J]. 信号与系统， 2011

作者简介

赵之光（1988-），男，硕士，主要研究方向为机器图像视觉；

夏劲松（1982-），男，硕士，主要研究方向为数字图像处理和路径规划。

关于感受野的总结

LeNet神经网络由深度学习三巨头之一的Yan LeCun提出，他同时也是卷积神经网络 (CNN，Convolutional Neural Networks)之父。LeNet主要用来进行手写字符的识别与分类，并在美国的银行中投入了使用。LeNet的实现确立了CNN的结构，现在神经网络中的许多内容在LeNet的网络结构中都能看到，例如卷积层，Pooling层，ReLU层。虽然LeNet早在20世纪90年代就已经提出了，但由于当时缺乏大规模的训练数据，计算机硬件的性能也较低，因此LeNet神经网络在处理复杂问题时效果并不理想。虽然LeNet网络结构比较简单，但是刚好适合神经网络的入门学习。

LeNet的神经网络结构图如下：

LeNet网络的执行流程图如下：

接下来我们来具体的一层层的分析LeNet的网络结构。首先要了解图像（输入数据）的表示。在LeNet网络中，输入图像是手写字符，图像的表示形式为二维数据矩阵，如下图所示：

LeNet网络除去输入输出层总共有六层网络。第一层是卷积层（C1层），卷积核的大小为 5\*5 ，卷积核数量为 6 个，输入图像的大小为 32*32 ，因此输入数据在进行第一层卷积之后，输出结果为大小为 28*28 ，数量为 6 个的feature map。卷积操作如下面两幅图所示：

卷积操作的过程可描述为：卷积核在图像上滑动，滑动步长为1（即每次移动一格，水平方向从左到右，到最右边之后再从最左边开始，向下移动一格，重复从左到右滑动），当卷积核与图像的一个局部块重合时进行卷积运行，卷积计算方式为图像块对应位置的数与卷积核对应位置的数相乘，然后将所有相乘结果相加即为feature map的值， 相乘累加之后的结果位于卷积核中心点的位置 ，因此如果是 3\*3 的卷积核，feature map比原图像在水平和垂直方向上分别减少两行（上下各一行）和两列（左右各一列），因此上面图像原图为 5*5 ，卷积核为 3\*3 ，卷积结果大小为 3*3 ，即 (5-2)*(5-2) ，如果卷积核为 5*5 ，则卷积结果大小为 (5-4)*(5-4) 。上图中的卷积核为：

由于神经网络层与层的结构是通过连接来实现的，因此输入层与第一个卷积层的连接数量应为 (32-2-2)\*(32-2-2)\*(5\*5+1)\*6= 28\*28\*156 =122304 。

卷积的作用主要是：通过卷积运算，可以使原信号特征增强，并且降低噪音。在图像上卷积之后主要是减少图像噪声，提取图像的特征。例如sobel算子就是一种卷积运算，主要是提取图像的边缘特征。卷积网络能很好地适应图像的平移不变性：例如稍稍移动一幅猫的图像，它仍然是一幅猫的图像。卷积操作保留了图像块之间的空间信息，进行卷积操作的图像块之间的相对位置关系没有改变。图像在不同卷积核上进行卷积之后的效果图如下：

图像在LeNet网络上进行第一层卷积之后，结果为大小为 28*28 ，数量为 6 个的feature map。LeNet网络的第二层为pooling层（S2层），也称为下采样。在图像处理中，下采样之后，图像的大小会变为原来的 1/4 ，即水平方向和垂直方向上图像大小分别减半。Pooling有多种，这里主要介绍两种，max-pooling和average-pooling。max-pooling即为从四个元素中选取一个最大的来表示这四个元素，average-pooling则用四个元素的平均值来表示这四个元素。Pooling示意图如下：

在LeNet在进行第二层Pooling运算后，输出结果为 14*14 的 6 个feature map。其连接数为 (2*2+1) * 14 * 14 *6 = 5880 。Pooling层的主要作用就是减少数据，降低数据纬度的同时保留最重要的信息。在数据减少后，可以减少神经网络的纬度和计算量，可以防止参数太多过拟合。LeNet在这一层是将四个元素相加，然后乘以参数w再加上偏置b，然后计算sigmoid值。

LeNet第三层（C3层）也是卷积层，卷积核大小仍为 5*5 ，不过卷积核的数量变为 16 个。第三层的输入为 14*14 的 6 个feature map，卷积核大小为 5*5 ，因此卷积之后输出的feature map大小为 10*10 ，由于卷积核有 16 个，因此希望输出的feature map也为 16 个，但由于输入有 6 个feature map，因此需要进行额外的处理。输入的 6 个feature map与输出的 16 个feature map的关系图如下：

如上图所示，第一个卷积核处理前三幅输入的feature map，得出一个新的feature map。

上一层卷积运算之后，结果为大小为 10*10 的 16 个feature map，因此在第四层（S4层）进行pooling运算之后，输出结果为 16 个大小为 5*5 的feature map。与S2层进行同样的操作。

LeNet第五层是卷积层(C5层)，卷积核数目为120个，大小为 5*5 ，由于第四层输出的feature map大小为 5*5 ，因此第五层也可以看成全连接层，输出为120个大小为 1*1 的feature map。

LeNet第六层是全连接层（F6层），有84个神经元（84与输出层的设计有关），与C5层全连接。

LeNet神经网络结构在Caffe中的配置文件如下：

参考资料：

1.

感受野是卷积神经网络里面最重要的概念之一，为了更好地理解卷积神经网络结构，甚至自己设计卷积神经网络，对于感受野的理解必不可少。