神经网络文本分类篇1

中图分类号：TP18文献标识码：A文章编号：1009-3044(2011)13-3107-02

The Researching of Web Text Classification Based on RBF Neural Network

XU Chun-yu

(Information Engineering Department, Liaoning Provincial College of Communications， Shenyang 110122, China)

Abstract：Web text classification is the automatic classification for Web information and it makes the use of text classification technology. The technology makes user find resource that they want quickly. The data from the Web is divided into sample data set and test data set after feature extraction in the process of text classification. Sample data set is inputted to the RBF network and the RBF network is trained. Test data set is inputted the RBF to validate after training the network. Experimental results show that RBF network achieved better classification results.

Key words: web text classification; RBF network; gauss Function; gradient descent algorithm

近年来，web已经成为拥有数十亿个异构的、半结构化的、动态的分布式信息空间，这些web信息源中有80%以上的信息是以web文本的形式出现的，如何从这些海量的web信息资源中寻找并获取有价值的信息和知识模式，已经成为信息处理的一个关键问题，web文本分类有助于人们完成这个目标[1]。

1 web文本分类

文本分类就是先根据已有的样例文本找出能描述并区分文本类别的分类器，然后利用该分类器对新的未分类的文本进行分类。根据机器学习的观点，文本自动分类问题可以归结为一个机器学习任务：假定全体文本空间为D，预定义的文本类别集合为C{c1,c2,…,c3}。待学习分类法称为目标分类器，记作y，一般来说，y是从文本集到类别集的一个映射，即y：DC，通常情况下该映射存在，但没有解析表达式。文本分类中机器学习的目的就是找到映射y的一个近似表达式或估计：y：DC，使对于D中所有文本d有h(d)=y(d)，或使得h(d)≠y(d)的概率最小。其中h为分类器[3]。

随着web上海量文本信息的增加，文本分类技术的处理对象从普通的文档扩展到了web文本，即形成了web文本分类技术，显然，文本分类技术是web文本分类技术的基础。

2 RBF神经网络

径向基函数（Radial Basis Function，简称RBF）神经元网络是在借鉴生物局部调节和交叠接受区域知识的基础上提出的一种采用局部接受域来执行函数影射的人工神经元网络。在人的大脑皮层区域中，局部调节及交叠的感受是人脑反映的特点。RBF网络同BP网络类似，也是一种三层前馈式神经网络，输入层节点传递输入信号到隐含层，隐含层节点由像高斯函数那样的辐射状作用函数构成，而输出层节点通常是简单的线性函数。网络模型如图1所示。

从RBF的网络模型图可以看出，RBF网络由两部分组成，第一部分为非线性变换层，它的输出公式如公式(1)所示：

(1)

其中X={x1,x2,…xn}为输入向量，Ci={Ci(1),Ci(2),…Ci(N)}为第i个非线性变换单元的中心向量，Ct(q)表示第t个中心的第q个分量，σi为第i个非线性变换单元的宽度，||・||表示的是范数，通常情况下取2范数，g(・)表示的是非线性函数关系，一般取Gauss函数，Gauss函数的函数关系如公式(2)所示：

(2)

第二部分：线性合并层，它的作用是将变换层的输出线性加权合并，公式如(3)所示，其中l为隐含层神经元的个数，m为输出层神经元的个数。

(3)

RBF网络通过径向基函数能够更确切的描述人类神经元的活动特性。在中心附近的区域内网络的输出最大，网络的输出随着中心距离的增大，逐渐减小，而这个过程的快慢则是由σ参数来决定的，σ越大则函数输出曲线越平缓，对输入的变化就越不敏感，因此，可以通过调节σ来进一步模拟人类的神经元。RBF网络最常用的算法是梯度下降法，常用的训练就是选定某种性能指标，然后采用梯度下降的方法来校正网络参数，使该网络性能指标取得最优值，因此RBF网络的学习实质上就是一个最优化问题。具体的训练算法为：对于一般的RBF网络结构，取性能指标如公式(4)所示。

(4)

其中，i为网络的输出，具体关系式如下面的(5)式、(6)式和(7)式所示：

(5)

(6)

(7)

由上面的三个公式可以看出， J是关于Cj，wjt和σj的函数。网络的训练过程就是调整以上三组参数，使J趋于最小。求取J对各网络参数wts,ct(q),σt的偏导数，其中1≤t≤P（P是隐含层单元的个数），1≤s≤M（M是输出层单元的个数），1≤q≤N（N是输出层单元的个数），得到参数的校正方法。具体的校正方法为：权值wts的校正方向如公式(8)所示：

(8)

中心ct(q)的校正方向如公式(9)所示：

(9)

宽度σt的校正方向如公式(10)所示：

(10)

由此，可以得到RBF网络的梯度下降法校正公式如(11)所示：

(11)

其中，1≤t≤P，1≤s≤M，1≤q≤N，P为隐含层单元个数，N为输入层单元个数，M为输出层单元个数，λ为步长，通常λ=0.05左右。

隐含层到输出层之间的变换是线性变换，所以采用的是比较成熟的RLS算法。给定样本输入，则在当前的网络隐含层单元中心Cj及宽度σj（1≤j≤P）参数下，隐含层单元输出向量为HT=[h1,h2,…,hP]，P为隐含层单元个数。

Y=HTW (12)

其中，Y=[y1,y2,…,yM]，W=[w1,w2,…,wM]，wi=[w1i,…,wpi]，这样，根据RLS算法有权值的修正递推公式如公式(13)所示：

(13)

这样，按照上面的公式对网络参数不断地进行循环校正，最终网络性能将达到所要求的性能指标[5]。

3 实验

实验过程中，首先设计网络拓扑结构，确定RBF网络输出层神经元个数，根据类别的个数来确定输出层神经元的个数，实验数据分别属于10个类别，因此网络输出层神经元个数为10。输入层神经元的个数为文档在进行特征提取之后向量的维数，实验中，经过降维以后的每篇文档特征向量的维数为30，所以将网络的输入层神经元的个数选取为30。由于输入样本空间是确定的，可以预先给定一个隐含层节点数，只要与输入样本的实际类别数相差不是很大时，就可以使用梯度下降法来不断修正网络的中心值，使网络的特性逼近于实际系统，这种方法比较简单，也是一种比较常用的方法，因此，实验中隐含层神经元的个数取值为9。

RBF网络结构设计完成之后就可以对网络进行训练了，实验数据来自中国期刊网上下载的600篇文档，涵盖了政治、经济、教育、娱乐等10个类别，每个类别包含60篇文档，选取其中的500篇文档作为样本训练集，每个类别选择50篇，另外100篇文档作为网络的测试集。首先需要对实验数据进行文本特征提取、降维等过程。其次采用的是Matlab软件进行编程以实现网络的训练，网络训练完成以后，输入测试集中的数据，测试网络能否正确地将相关的文档区分到各个类别中。表1是RBF网络的分类结果。

4 结论

从上面的训练结果分析，RBF网络能够将大部分的文本正确地划分到所属类别，对于体育、娱乐、外语方面的文档能够取得较高的识别率，对于政治、经济、军事等方面的文档的识别率较低，主要原因是这些类别的文档中互相包含着相关的特征信息，这种类型的文档在进行文本分类的时候，需要在文本特征提取的时候进行相应的处理，以使得在输入神经网络的时候能够得到正确的分类结果。从实验结果可以看出，RBF网络完全可以应用到文本分类中来，并且能够取得较好的分类效果。

参考文献：

[1] 蒲筱哥.Web自动文本分类技术研究综述[J].情报科学,2009:233.

[2] Crimmins F, Smeaton A, Dkaki T, et al.Information discovery on the internet[J].IEEE Intell.Syst.,1999(14):55-62.

[3] 王晓庆. 基于RBF网络的文本自动分类的研究[D].南昌:江西师范大学,2003:9.

[4] Abhijit S, Rober B. 神经网络模式识别及其实现[M].徐勇,荆涛,译.北京：电子工业出版社,1999:30-32,57-114.

[5] 柯慧燕. Web文本分类研究及应用[D].武汉:武汉理工大学,2006:14-15,16-17.

神经网络文本分类篇2

中图分类号： TN98?34 文献标识码： A 文章编号： 1004?373X（2015）17?0107?03

Fault diagnosis for engines based on improved LVQ neural network

GUO Zengbo1， BA Yinliang2， WANG Shuti2， XIE Xin2

（1. Karamay Vocational & Technical College， Karamay 834000， China；

2. College of Machinery and Traffic， Xinjiang Agricultural University， Urumqi 830052， China）

Abstract： Since learning vector quantization （LVQ） neural network can classify input vector pattern accurately by supervised learning， the fault diagnosis method for engines based on LVQ neural network is proposed. LVQ neural network and its improved learning method are introduced. Taking Great Wall Harvard GW2.8TC engine as the experimental subject， faults are set for the engine under idle speed condition. The data stream of the engine is collected by using Kinder KT600 computer fault diagnosis tester. The diagnosis model was established by using the improved LVQ neural network. The diagnosis results show that the improved LVQ neural network can classify engine faults accurately， and the precision rate is relatively high.

Keywords： improved LVQ neural network； engine； fault diagnosis； neurone

0 引 言

人工神经网络（Artificial Neural Networks，ANNs），也称为神经网络（NNs），是模拟生物神经网络进行信息处理的一种数学模型。它以对大脑的生理研究成果为基础，目的在于模拟大脑的某些机理与机制，实现一些特定的功能。由于人工神经网络具有联想记忆功能、优化计算能力以及其他的一些性质，所以人工神经网络具有较强的分类识别功能。学习向量量化（LVQ）神经网络是常用的一种神经网络，LVQ神经网络是一种有导师训练竞争层的方法，竞争层自动学习识别输入向量，并对输入向量分类。

本文以长城哈佛GW2.8TC型发动机为例，运用LVQ神经网络对发动机进行故障诊断。

1 LVQ神经网络

1.1 LVQ神经网络结构

LVQ神经网络是两层的网络结构，即竞争层和线性层。竞争层对输入向量进行学习分类，把竞争层的分类称为子分类；线性层根据用户的要求将竞争层的分类结果映射到目标分类结果中，把线性层的分类称为目标分类。LVQ神经网络结构如图1所示。

由图1可以看出，竞争层和线性层每一类别各有一个神经元，竞争层通过学习，可以得到S1类子分类结果；然后，线性层将S1类子分类结果再分成S2类目标分类结果（S1始终大于S2）。例如，假设竞争层的第1，2，3个神经元对输入空间的子分类所对应的线性层的目标分类为第2类，则竞争层的第1，2，3个神经元与线性层的第2个神经元的连接权将全部为1，而与其他线性层神经元的连接权全部为0，这样，当竞争层的第1，2，3个神经元中的任意一个神经元在竞争中获胜时，线性层的第2个神经元将输出1。

1.2 LVQ神经网络学习算法的改进

LVQ神经网络学习算法的改进是在LVQ1的基础上进行的，它可以改善LVQ1学习结果的性能。

改进的LVQ网络的学习过程与LVQ1类似，在应用LVQ1进行学习后，再用改进的LVQ网络进行学习，不同的是，改进的LVQ是针对最接近输入向量的两个相邻神经元的权值进行的，其中一个神经元对应正确的分类模式，另一个神经元对应错误的分类模式，而输入向量位于定义的窗口时，有：

[mindidj，djdi>s，s=1-ω1+ω] （1）

式中：[di，][dj]分别表示输入向量[p]与[iIW1，][jIW1]的欧几里得距离，[ω]在0.2～0.3之间取值。例如，当[ω]取为0.25时，[s]=0.6，那么，当[di]和[dj]两个距离之比大于0.6时，则对[iIW1]和[jIW1]进行调整。

当第[i]个神经元对应的输出分类模式错误时，[IW1]的第[i]行可以按下式进行修正：

[iIW1（q）=iIW1（q-1）-αp（q）-iIW1（q-1）] （2）

当第[j]个神经元对应的输出分类模式正确时，[IW1]的第[j]行可以按下式进行修正：

[jIW1（q）=jIW1（q-1）+αp（q）-jIW1（q-1）] （3）

这样，如果给定两个很相近的输入向量，其中一个对应正确的分类，而另一个对应错误的分类，则改进的LVQ也能对靠的非常近，甚至对刚刚可分的模式进行正确地分类，从而提高分类结果的鲁棒性。

2 改进的LVQ神经网络在发动机故障诊断中

的应用

基于改进的LVQ神经网络在发动机中的故障诊断仿真步骤如下：

（1） 让发动机处在怠速状态下，并对其进行故障设置，用电脑检测仪及其他设备测出发动机有无故障时的数据流参数；

（2） 用改进的LVQ神经网络建立诊断模型，并用已知的样本数据训练网络；

（3） 用训练好的网络对发动机进行故障诊断，并对训练结果进行分析。

2.1 发动机故障设置及采集样本

为了验证改进的LVQ神经网络在发动机故障诊断中的可行性，本文以长城哈佛GW2.8TC型发动机为研究对象，让发动机在怠速状况下，对发动机进行故障设置，并利用金德KT600故障诊断仪采集发动机数据流。以发动机在正常怠速、油门踏板1接地线开路、凸轮轴传感器线路故障、1缸喷油器线路故障、冷却液温度传感器线路串联某阻值电阻和油门踏板插头开路六种状态下，采集发动机数据流，采集到的样本数据如表1所示。

2.2 程序设计

在Matlab环境中，调用LVQ神经网络工具箱，创建的代码如下：

在代码中，[p]中数据为样本数据；[t]中以1表示正常状态，以2表示故障状态；T=ind2vec（t）为使[t]中的向量转换成学习向量量化网络使用的目标向量；net=newlvq（）为创建LVQ神经网络，神经元数目设置为20，0.17和0.83，分别表示所采集的样本种类中正常状态和故障状态所占的比例，网络学习率设为0.5；net=init（net）为网络初始化，使其每次训练时权值都是随机的，这样可以达到预期的目标；网络训练步数设置为200；训练间隔设置为50；训练目标设置为0；网络设置好后，开始训练网络，运行程序后所得的网络训练状态图如图2所示，训练曲线如图3所示。

由图2和图3所示，网络训练只训练了8次，用时不到1 s，就达到了预期目标，可见，用改进的LVQ神经网络进行故障诊断，速度非常快，精确度很高。

3 结 语

LVQ神经网络将监督学习和无监督学习结合起来，可以完成对输入向量模式的准确分类。本文以长城哈佛GW2.8TC型发动机为实例，并对发动机进行故障设置，采集数据流，介绍了LVQ神经网络及其改进的学习算法，运用改进的LVQ神经网络建立诊断模型，诊断结果表明，改进的LVQ神经网络能对发动机故障进行模式识别和准确分类，诊断结果完全正确，而且训练速度极快。改进的LVQ神经网络具有较高的研究价值，该方法不仅可以运用到汽车诊断领域，而且可以运用到其他故障诊断领域。

参考文献

[1] 董长虹.神经网络与应用[M].北京：国防工业出版社，2005.

[2] 史忠植.神经网络[M].北京：高等教育出版社，2009.

[3] 孙祥，徐流美，吴清.Matlab 7.0[M].北京：清华大学出版社，2005.

[4] 周开利，康耀红.神经网络模型及其Matlab仿真程序设计[M].北京：清华大学出版社，2005.

[5] 张德丰.Matlab神经网络应用设计[M].北京：机械工业出版社，2009.

[6] 李国勇.智能控制及其Matlab实现[M].北京：电子工业出版社，2005.

[7] 舒宁，马洪超，孙和利.模式识别的理论与方法[M].武汉：武汉大学出版社，2004.

神经网络文本分类篇3

文本分类数是据挖掘的一个重要研究领域，国内外的众多学者已经进行了比较深入的研究，取得了不少研究成果。常见的文本分类技术有最小距离方法、朴素贝叶斯方法、KNN方法、支持向量机方法（SVM）、模糊c均值（FCM）算法和等，现在有很多学者把神经网络的方法应用到分类算法中，在这些分类算法中，神经网络的文本分类更具有优越的性能。袁飞云利用SOINN自动产生聚类数目和保留数据拓扑结构的两项能力，寻找更有效的单词和设计更有效的编码方式，提出了基于自组织增量神经网络（SOINN）的码书产生方法；申明金利用自组织特征映射神经网络（SOM）以无监督方式进行网络训练，具有自组织功能的特点，利用自组织特征映射神经网络对不同产地金银花进行分类；彭俊等将不同空气质量等级下的各空气指标作为原型模式，通过输入样本模式，利用竞争网络的竞争特点得到胜者，以此得出空气质量等级；郝晓丽等通过筛选基于轮廓系数的优秀样木群，来寻找最佳初始聚类中心，并将该改进算法用于构造径向基函数神经网络分类器和快速有效地确定隐含层节点径向基函数中心及函数的宽度，从而提高了分类精度；孙进进利用神经网络技术中的自组织映射SOM）网络对我国主要机场进行聚类分析评价，得出我国主要机场分为8层的主要结论；刘艳杰在非监督的自组织映射神经网络的基础上进行了一定的改进，构建了有监督的神经网络分类模型；李杨将神经网络与群体智能算法、云计算相结合的方法，实现对不同规模农业数据集的分类，提出基于神经网络分类器的设计与优化方法。而竞争型神经网络的自组织、自适应学习能力，进一步拓宽了神经网络在模式分类和识别方面的应用。竞争型神经网络依靠神经元之间的兴奋、协调、抑制或竞争的作用来进行信息处理，可在训练中无监督自组织学习，通过学习提取数据中的重要特征或内在规律，进而实现分类分析的功能。

1竞争型神经网络的描述

1.1竞争型网络的结构

竞争学习网络的结构如图1所示，该网络具有R维输入和s个输出，由前馈层和竞争层组成。图中的llndlstll模块表示对输入矢量P和神经元权值矢量w之间的距离取负。该网络的输出层是竞争层，图中的模块c表示竞争传递函数，其输出矢量由竞争层各神经元的输出组成，这些输出指明了原型模式与输入向量的相互关系。竞争过后只有一个神经元有非零输出，获胜的神经元指明输入属于哪类（每个原型向量代表一个类）。

1.2竞争型神经网络的原理

竞争型神经网络在结构上，既不同于阶层型的各层神经元间非单向连接，也不同于全连接型。它有层次界限，一般是由输入层和竞争层构成的两层网络。两层之间各神经元实现双向全连接，没有隐含层，有时竞争层各神经元之间还存在横向连接。在学习方法上，不是以网络的误差或能量函数的单调递减作为算法准则。而是依靠神经元之间的兴奋、协调、抑制、竞争的作用来进行信息处理，指导网络的学习与工作。

网络在刚开始建立的时候，输入层和输出层之间的连接权值已经开始了，如果与竞争层某一神经元对应的矢量子类别属于线性层某个神经元所对应的目标类别，则这两个神经元的连接权值为1，否则二者的连接权值为0，这样的权值矩阵就实现了子类别到目标类别的合并。在建立竞争型网络时，每类数据占数据总数的百分比是已知的，这也是竞争层神经元归并到线性层的各个输出时所依据的比例。

1.3存在的问题

竞争型神经网络按Kohonen学习规则对获胜神经元的权值进行调整，通过输入向量进行神经元权值的调整，因此在模式识别的应用中是很有用的。通过学习，那些最靠近输入向量的神经元权值向量得到修正，使之更靠近输入向量，其结果是获胜的神经元在下一次相似的输入向量出现时，获胜的可能性更大；而对于那些与输入向量相差很远的神经元权值向量，获胜的可能性将变得很小。这样，当经过越来越多的训练样本学习后，每一个网络层中的神经元权值向量很快被调整为最接近某一类输入向量的值。最终的结果是，如果神经元的数量足够多，则具有相似输入向量的各类模式作为输入向量时，其对应的神经元输出为1；而对于其他模式的输入向量，其对应的神经元输出为0。所以，竞争型神经网络具有对输入向量进行学习分类的能力。

例子：以竞争型神经网络为工具，对下面的数据进行分类：

运用Matlab编程实现，发现网络的训练误差能达到要求，最后也能实现很好的分类效果。运行结果如图2所示。

有运行结果可以看到，训练误差达到要求，分类结果也很合理。

但是在实际应用过程中，我们发现，当对于训练数据的数据特征十分明显的时候，本文设计的网络模型可以对训练的数据进行合理有效的分类，但是，当训练数据的特征不太明显区分的时候，本文设计的训练模型的分类效果就不是太有优势，所得到的分类结果就不能达到我们预期的效果。

我们利用竞争型神经网络对数据样本进行分类，其中参数设置为学习效率0.1，网络竞争层有4个神经元，运用Matlab编程实现，发现结果如下：

例子：我们利用本文设计的网络分类模型进行对数据分类处理：进行分类处理数据的样本数据如下所示：

通过运行学习发现训练误差较大，分类结果也达不到要求。

2改进的方法

2.1问题分析

通过比较分析我们发现，上面的数据样本没有明显的分类特征，所以，以竞争型神经网络进行分类，其输入向量仅仅依靠数据本身的固有的特征时不够的，但我们可以把数据样本看作是二维数据，假设同符号的特征值为1，不同符号的特征值为2，于是一个新的训练样本就确定了，即成为三维数据模型。

2.2改进的算法

第一步：给定数据集X=[X1，X2……，Xi），对网络进行初始化，随机给定网络竞争层与输入层间的初始权向量wj（=wj[w1j w2j…wnj]；j=1，2，…，m xp；wijE（0，1））；给定输出层与竞争层间的连接权值wjo=1/m，o=1，2，…P （P表示第二隐层和输出层的连接权矢量）。

第二步：创建竞争型神经网络，首先根据给定的问题确定训练样本的输入向量，当学习模式样本本身杂乱无章，没有明显的分类特征，网络对输入模式的响应呈现震荡的现象，不足以区分各类模式时，在创建网络之前，提取训练样本的特征值，设置输入样本的特征向量，然后再创建网络模型，并根据模式分类数确定神经元的数目，最后任取一输入模式Ak。

第三步：计算竞争层各神经元的输入值si：

第四步：对本文建立的网络进行训练学习，网络训练最大次数的初始值设置为230，当训练误差大于预期的设定值的时候，可以尝试增加训练的最大次数，按“胜者为王”（Winner Takes All）原则，将训练网络中获得最接近预期值的神经元作为胜者，输出状态设置为1，没有获胜的神经元的输出状态设置为0。如果有两个以上神经元的sj相同，取左边的为获胜单元。

第五步：获胜神经元连接权修正如下：

第六步：另选一学习模式，返回步骤3，直至所有学习模式提供一遍。

第七步：如果不满足要求，则返回到最初的训练状态，反复训练直至训练网络中神经元获得最接近预期值，最终的训练结束。

第八步：根据测试样本利用Matlab编写程序进行仿真实验。

神经网络文本分类篇4

1.1  AlexNet网络    

AlexNet网络是著名的卷积分类网络，可成功实现对1000类别物体的分类。其结构可以分为特征提取器和分类器两部分。    

特征提取器主要由卷积层、池化层、激活函数组成。卷积层由大小不同的卷积核组成，卷积核类似于传统视觉中的特征提取算子。但区别于传统视觉算子，卷积核参数由网络自己学习得到，可以提取图像从底层到高层的不同特征信息。池化层常连接在卷积层之后，一般常用最大池化操作。池化层可以加强网络对平移变化的鲁棒性。激活函数为网络引入非线性因素，使得网络可以逼近任意函数形式。    

分类层主要由全连接层和多类逻辑回归函数组成。全连接层学习用合理的方式组合特征，可以看为函数映射。逻辑回归函数进行类别概率判别，逻辑回归判别见公式。同时，为了防止全连接层过拟合，AlexNet网络引入dropout层，dropout[9]采用随机置零的方式，防止神经元以特定的方式组合工作，从而防止深度网络的过拟合。p}Y}}}=j1二(‘);B)=艺  e醉x})丫‘eBTx}' }e'  j代表类别，二(i)为输入，k代表类别总数，8，表示将样本x}')映射到j类的参数，B代表er,r=i,z,~…  ,，组成的矩阵，p(少‘)=j}x(仍表示x}'}属于j类的概率。1.2标准SVM    SVM是基于结构风险最小化理论的有监督学习算法，通过寻找最优分割超平面来实现分类[}10}。相比于神经网络，SVM在小样本数据集上也能表现出良好的分类效果，因而得到广泛使用。标准的SVM通过寻求公式(2)的最优解来找到最优超分割平面。minw,b含，，w，，(2)yc> (w·二(‘)+b) >_ 1，i=1, 2,……，m尹)代表第i个样本标签，x}'}代表第i个样本特，m为训练集大小。分类模型设计    

本文提出的分类模型主要分为两部分，特征提取部分和多类SVM分类器。整体结构如图1所示。    

图1中，特征提取器主要对输入图片进行特征提取和融合，最终得到图像的高阶特征并将提取到的信息特征送入多类SVM分类器。dropout层进行参数随机丢失步骤，此步骤通过随机失活神经元可有效防止过拟合的发生;然后结合不加正则化项的SVM算法进行分类，得到最终输出结果。

神经网络文本分类篇5

【关键词】图像处理技术 海底输油管道 BP神经网络

自主式水下机器人（Autonomous Underwater Vehicle，AUV）是人们探索海底资源和进行海洋活动的重要工具。由于AUV的独特优势，其在海底石油管线巡检中正发挥着越来越大的作用。AUV在工作时实现管道追踪和航线轨迹规划主要依靠声学或光学等手段。当AUV距离管道目标较近时，AUV的水下成像和处理系统可以生成较为清晰直观的管道图像并实时存储，这些图像除了能让AUV实现光学上的轨迹导航，后期还能帮助作业人员分析管道的状态，判断管道的腐蚀和破坏程度，给后续施工提供参考材料。

另一方面，由于水下环境较为复杂，AUV水下成像系统所拍摄的底片常常包含有各种噪点和背景物。因此，为了提高水下成像和处理系统的工作质量和效率，有必要对图片进行数字化处理，以准确获取信息，实现AUV对管道的高效追踪和巡检。

为了实现这一目的，本文首先研究了采用图像信号处理的方法对水下图像进行处理，通过计算机数字图像处理，本文获得了大量优质的可用于分析的水下图像；其次，本文利用神经网络的相关方法，采用BP神经网络对获得的水下图像进行分类识别，经过网络训练，获得了具有较好分类效果的BP神经网络，可以对不同目标物的图像进行分类识别。本文的主要研究思路如图1所示。

1 常见的水下图像类型

为了验证本文提出的图像处理及BP神经网络分类方法的有效性，我们选取了几类典型的通过的水下图像，分别为分布有石块的海底、海底沙滩、海底沟壑和海底输油管道，具体图像见图2。

本文将利用数字图像技术对这几种典型的水下图像进行处理，以获得供BP神经网络训练的优质样本。

2 水下图像数字处理技术

要对水下图像进行分析和识别，首先需要大量包含丰富信息的优质数字图像，以便进一步的分析。本文将获得水下图像进行灰度变换、中值滤波、模糊增强和阈值化等数字处理技术进行处理，以获得可以更好为计算机软件识别的特征信号，通过此方法获得的数字图像可以作为本文研究的基础。图3为常见的两种水下仿真图像经过处理后的数字图像。

3 基于BP神经网络的水下图像的分类和识别

3.1 BP神经网络水下图像识别的基本原理

要对水下图像进行机器识别必须先对其图像特征进行描述。根据相关研究文献，本文选择图像中目标物长径比、伸长度、圆形度、一阶不变矩4个特征参数来对水下目标中最常见的输油管道、分布有石块的海底、海底沙滩、海底沟壑进行描述；通过研究这4类特征参数在不同图像中的不同值，来确定水下样片中的核心图像为管道还是岩石、沟壑等物。

BP神经网络即后反馈神经网络，是一种改进型的神经网络，该神经网络可以以任意的精度逼近任意一个连续函数，利用BP神经网络可以很好地实现预测和分类的功能。

本文采用BP神经网络，以经过数字技术处理后的水下图像为研究对象，以长径比、伸长度、圆形度、一阶不变矩为判定指标，对图像进行了分类识别研究。

从通过前文介绍方法采集到的水下数字图像中，选择出10组作为BP网络研究的样本，通过matlab计算每张图像中的4个特征参数，获得图像类型与特征参数的关系如表1所示。

3.2 定义输入和输出样本数据

（1） 定义输入样本数据。从表1中的10组数据中随机选择6组（序号分别为：1、3、6、7、8、10）作为输入样本，经数据归一化以后输入Matlab软件。

（2）对输出状态进行编码。输出为4维向量，定义期望输出向量如表2所示。

（3） 构建BP神经网络：由于本文构建的网络的输入和输出情况较为简单，为了简化网络结构，提高运算速度，采用包含一个隐含层结构的BP神经网络。其中，网络输入单元为4种水下图像的特征参数，输出单元为4种海底图像形貌。根据网络为4-x-4结构形式，由经验公式可知隐含层节点数为3～13之间的整数，计算每个值对应的表征神经网络性能的均方误差值（MSE），可知当隐含层层节点数为4时，得到的MSE值最小为26，因此，网络的隐含层节点数选为4。本文所用BP神经主要传递函数为“logsig”和“purelin”函数。

（4）BP神经网络的训练。在Matlab中应用输入和输出样本向量对网格进行训练，定义期望误差为1e-6。训练过程中，BP神经网络经过13次迭代之后达到了满意的期望误差限。

（5）利用BP神经网络进行水下图像的分类判断。下面利用所有的10个样本对训练出的神经网络进行测试检验，在Matlab中输入表1中归一化后的所有数据，获得网络的输出数据，经过整理，结果如表3所示。由表3可看到，经过训练后的BP神经网络可以很好地对各个样本的状态进行判断分类，且判断的结果具有很高精度。另一方面，表中2组和9组样本的诊断出现了错误。为了提高网络诊断精度，可以在训练样本中加入这个样本，重新对网络进行训练。

4 结束语

视觉探测系统是AUV的重要系统，影响着其海底管道巡检的工作效率，而水下图像的分类识别技术又是视觉探测系统的核心。本文主要利用了计算机数字图像技术对海底图像原片进行处理，提取其特征后，利用BP神经网络进行训练，获得成熟的网络以用于图像的分类，最后得到的目标图像可用于AUV的光学轨迹导航等。本文的研究思路对相关AUV水下目标识别与跟踪等研究领域有一定借鉴意义。

参考文献

[1]李左车.AUV管道巡检的相关研究与工程应用[J].机器人，2013，35（4）：56-59.

[2]李亚兵.水下图像增强算法的研究[D].中国海洋大学硕士学位论文，2008

[3]高俊.基于神经网络的视觉检测方法[J].计算机工程，2005.35（4）：76-81.

[4]左宾.神经网络技术在数字图像分类中的应用[J].光学技术，2012，22（1）：45-51.

作者简介

神经网络文本分类篇6

关键词：数据库安全 PNN概率神经网络 入侵检测

Abstract：The thesis uses the neural network's powerful self-learning and self-adaptive to improve the performance of the security audit system. In many neural networks， the Probabilistic Neural Network is particularly suitable for the misuse detection of intrusion mode. The thesis combines the method of the Probabilistic Neural Network with the technique of intrusion detection， and constructs a model of intrusion detection system applied to the corporation database. The mode can detect the known intrusion modes， in the same time， provides the basis for system to deal with the intrusions in time.

Key words： Database security Probabilistic Neural Network Intrusion detection

数据库作为企业和部门信息系统的重要组成部分，存储着大量的数据，其中某些数据可能是机密的重要数据，这些数据一旦遭到破坏，会给企业和部门造成不可挽回的损失，所以，这些数据的安全性在信息系统的安全中起着至关重要的作用。当前，数据库安全技术的研究已经成为信息安全的重要课题，入侵检测技术是新一代的动态安全保障技术，它用来检测内部用户的不合法操作和外部非法入侵者的恶意攻击。检测系统在检测到攻击的同时，还会采取适当的处理与保护措施，对有效保护数据库安全提供了一种很好的解决思路，被称为防火墙之后的第二道安全闸门。其本身也成为当今信息安全领域的一个研究热点。

入侵检测ID（Intrusion Detection）是近十年发展起来的一种预防、动态监测和抵御系统入侵行为的安全机制，弥补了传统安全技术的不足。入侵检测系统IDS（Intrusion Detection System）可以实时监控网络和计算机主机，发现可疑事件，入侵行为一旦被检测出来，系统就会采取报警、记录和切断连接等措施，在对系统安全产生的危害之前及时消除风险。

神经网络技术具有自适应和自学习的能力，只要给系统提供所需的网络数据包和审计数据，它就可以通过自学习构造出相对正常的用户或系统活动模型，从而检测出异常活动的攻击模式，因此在检测方法上，将神经网络引入到入侵检测的研究中，使得入侵检测的智能性研究逐渐成为热点。

PNN概率神经网络在数据库入侵的误用检测中，能够对入侵行为模式进行快速准确的检测及判断，为系统及时采取相应的措施提供依据。误用检测是指运用已知的攻击方法，根据定义好的异常模式，通过判断这些异常模式是否出现来检测。本文围绕PNN神经网络的运用，对整个数据处理过程进行了介绍，从数据采集，到网络训练，以及测试网络性能，提出利用PNN概率神经网络进行入侵行为模式判断的优势，进而总结出一种新型的企业数据库入侵的误用检测模型。

一、PNN神经网络算法模型

概率神经网络PNN（Probabilistic Neural Network）是根据径向基函数网络发展而来的一种前馈型神经网络，是径向基网络的一种变化形式，其理论依据是贝叶斯最小风险准则。PNN具有结构简单、训练快捷等优点，在分类问题中，它的优势在于可以利用线性学习算法来完成非线性算法所做的工作，同时又可以保持非线性算法高精度的特点。其结构如图1所示。

输入层测试向量X（X1…Xn）通过传递机制传递到模式层，经过模式层的相应处理产生新的信息量依次经过该网络的所有层，其神经元的数目由训练数据的维数决定。模式层中各个类别组的输出为：

其中Wi表示连接输入层与模式层的权值，δ表示平滑因子。

求和层具有线性求和的功能，估计分类模式的各个类别的累计概率。概率密度函数为：

其中m为属于类别A的训练样本数，XAi为样本中属于类别A的第i个训练样本，σ为平滑因子。训练过程可以表示如下：首先通过输入层输入训练样本向量，然后在模式层中分别计算该向量与代表不同类别组的神经元之间的距离，再在求和层中求出每个类别模式的概率，最后在输出层计算各个类别的概率估计，由阈值辨别器从中选择并传递出后验概率密度最大的神经元的输出即1，而其他的输出0。

二、数据采集

入侵检测的数据采集可以收集系统、网络、数据及用户活动的状态和行为，一般可以利用的信息主要来自以下三个方面。

1、系统和网络日志文件

2、非正常的程序执行

3、非正常的目录和文件改变

入侵检测的准确性很大程度上依赖于收集信息的可靠性和正确性，因此很有必要只利用精确的软件来报告这些信息。本文利用SQL Server的事件探查器（SQL Server Profiler）跟踪各客户端的数据库调用。首先建立跟踪文件，使用SQL Profile标准模板，将跟踪的结果存储到表。表1为SQL事件探查器监控的事件分类。

本文主要跟踪企业数据库，相应数据库事件类主要为

1、TSQL分类中的SQL：BatchCompleted、SQL：StmtCompleted和SQL：StmtStarting

2、安全审核分类中的Audit Login和Audit LogOut

3、存储过程中的RPC：Output Paramete、RPC：Completed、RPC：Starting、SP：CacheHit、SP：CacheInsert、SP：CacheMiss、SP：Cac-

heRemove、SP：Completed、SP：ExecContextHit和SP：Recompile

4、会话分类中的Existing Connection事件类。

相应的事件类数据为EventClass（捕获的事件类类型）、LoginName（客户数据库登录名）、CPU（CPU占用时间）、Reads（服务器代表事件执行的逻辑磁盘读取数）、Writes（服务器代表事件执行的物理磁盘写入数）、ClientProcessID（客户端进程号）、SPID（SQL Server指派的与客户端相关的服务器进程ID）和objectID（系统分配对象）。

SQL探查器将采集到的数据存储在表中，为后续的神经网络训练与测试提供直接的数据源。

三、实验

（一）实验数据

本文选取实验数据为从SQL事件探查器中采集到的具有入侵行为模式分类的入侵数据，有5类入侵模式，所以用1、2、3、4、5分别代表各类入侵模式。本文所采用的入侵数据的特征向量为上节所采集的各个数据列，在上述监控的八个数据列里面去掉LoginName数据列，选取EventClass、LoginName、CPU、Reads、Write、ClientProcessID、SPID和objectID七个数据列作为神经网络的七个特征向量。一共有4500个入侵数据样本，随机选取其中的4000个入侵数据样本作为PNN神经网络的训练集，其余的500个数据样本作为测试集以测试PNN神经网络的性能。此入侵数据集为4500×8维的矩阵，1到7列为七个特征向量，第8列为分类的输出，也就是入侵类别。实验采用MATLAB2012B软件及其神经网络工具箱。

（二）入侵检测的实现

如图1，在对入侵数据进行测试时，输入层接收具有分类号的数据样本（训练样本向量）的值，即1、2、3、4、5，将入侵数据样本的属性传递给网络。模式层计算输入特征向量（样本属性）与训练集中各个模式的匹配关系，求和层将属于某类的概率累计，按式（1）计算，从而得到各类的估计概率密度函数。模式层由5类入侵类型的数据样本构成，将分类好的样本向量填充到模式层，即可完成该PNN的构建。

测试时，输入层把未分类的需要测试的入侵数据样本向量Xn送至所有的模式层单元。每个模式层单元计算测试入侵数据样本向量Xn和该单元训练向量之间的距离，求和层各单元把模式层单元的输出按类别号相加求和，获得各分类对应的分布密度。输出层从求和层中求得输入测试数据相对于各类别号的分布密度最大值，并将其对应的类别号1、2、3、4、5作为PNN的输出。

（三）PNN神经网络性能分析

选取1530到1580这50个样本来分析，在这50个样本中有2个样本判断错误，如图2所示。实际上在此次PNN网络训练过程中，4000个样本只有5个样本判断错误，如图3所示。并且，用预测样本进行验证的时候，选取150到200个这50个样本，其中有1个样本的入侵模式类别判断错误，如图4所示。而实际在此次PNN网络检测过程中，500个样本只有2个样本的入侵模式类别判断错误，精度高达99.6%。将网络重复运行10次，其平均精度为99.64%。

（四）PNN神经网络优势

1、PNN过程简单，收敛速度快。PNN神经网络网络结构简单，需要调节的参数很少，其处理数据的时间与其他神经网络相比有较大优势。

2、PNN网络基于贝叶斯最小风险分类准则，能够最大限度地考虑样本数据的先验信息，即使分类问题异常复杂，只要用于学习的样本向量足够多，就能够得到Bayes判别准则下的最优解。

3、样本的追加能力强，且可以容忍个别错误样本，即使训练样本改变也不需要花费较多时间重新训练网络。由于PNN神经网络考虑的是训练样本属于各个类别的概率，在估计出各个类别的概率密度函数（PDF， Probability Density Function）之后，即使根据实际问题有新的入侵行为模式的加入，只需要相应改变模式层神经元数目，而无需重新训练网络。

4、PNN在异常与否分类问题应用中，通过线性学习算法来完成非线性学习算法所做的工作，同时能保持非线性算法的高精度等特性。

5、PNN网络不需要训练，因而能够满足数据库入侵检测实时处理的要求。

四、企业数据库入侵检测的系统模型

该模型主要由以下三个模块组成：

1、数据采集模块。该模块主要利用SQL Server事件探查器采集相关数据。

2、特征数据库模块。该模块为训练好的PNN神经网络，相当于事件数据库，其征数据库与被监控数据库分离存储。

3、报警单元模块。该模块对检测到的异常事件进行处理，将数据损失降低到最小，提供报警的可视化界面，将报警信息反馈给系统管理员并记录到相关文件，以便及时处理或进行事后分析。

该模型主要流程为：利用事件探查器实时跟踪各客户端调用，采集相关数据并进行处理，将数据直接导入特征数据库，利用PNN神经网络对误用检测的优势，实现快速检测及判断各种数据是否为已知的异常调用，如有匹配则为某种入侵行为模式，将数据送入报警单元，不匹配的数据则为正常行为，不作处理。

总结：

随着互联网迅猛发展，企业数据库的安全显得非常重要。入侵检测作为一种重要的安全保障手段，涉及到广泛的技术领域。本文提出一种基于PNN概率神经网络的算法，实验结果表明将PNN概率神经网络引入到入侵检测中的具有快速、精准的优势，由此结合PNN概率神经网络与入侵检测技术研究了一类企业数据库的安全保护技术，实现了企业数据库入侵检测的系统模型，并详细介绍了模型各个模块的具体实现方法及流程。可以有效的防范到来自内部的越权操作、违规操作和恶意破坏等，并可以抵制外部的远程非法入侵，是运用神经网络技术解决企业数据库安全保障的有效尝试。基于企业数据库的数据采集方法和神经网络检测技术为今后的工作打开了思路。

参考文献：

[1]王小川，史峰等。《MATLAB神经网络30个案例分析》.第一版.北京：北京航空航天大学出版社，2010：176-182.

[2]张德丰等.《MATLAB神经网络应用设计》.第二版.北京：机械工业出版社，出版年2011：320-323.

[3]金波.入侵检测智能方法的研究.上海：华东理工大学，2000：29-131.

[4]李钢.基于神经网络的入侵检测研究与实现.南京：南京师范大学.2006.

神经网络文本分类篇7

中图分类号TM63 文献标识码 A 文章编号 1674-6708（2014）123-0165-02

0 引言

随着计算机技术的日益普及与应用，电力企业的信息数据量呈现出爆炸式增长的趋势。电力企业对智能变电站的日常管理，分析决策等方面都面临着大数据的考验，而且在数据结构上的多样化也使得数据管理，分析，处理等应用更加复杂。合理地利用智能变电站的全景数据，使其服务于电力企业管理、发展是解决此类问题的关键。

人工神经网络在数据挖掘技术的发展过程中扮演着重要的角色。本文提出的改进ART型网络相比于原型有以下几点优势：1）在分类结果差别细小的情况下，运行时间明显缩短；2）可以在一定程度上缓解ART型网络产生的模式漂移问题。

1 ART神经网络

美国波士顿大学的S. Grossberg在1976年提出了自适应共振理论（Adaptive Resonance Theory， ART）模型[2]。ART型神经网络由输入层和输出层两层神经元构成，也称为为比较层和识别层。ART型网络的学习可以分以下几个步骤：

1）初始化

设网络的输入层为个神经元，输出为个神经元，则前馈和反馈连接权值分别为：

（1）

（2）

2）比较阶段

设网络输入为， 识别层神经元的净输入为

（3）

比较，获胜的神经元设为1，其余置0。然后计算相似度

（4）

将与阈值比较，若则进入学习阶段，否则进入搜索阶段。

3）学习阶段

根据获胜神经元调整前馈和反馈连接权值

（5）

（6）

4）搜索阶段

前一次获胜的神经元受到抑制，选择排在第二位的神经元再一次进行比较，如果所有已存在的分类都不能与输入模式匹配，则新增一个神经元来表示该输入的分类。

2 多输出型ART神经网络（MOART）及应用

多神经元输出（Multi-Output）型ART型神经网络结构，在识别层可以使用2个或更多的神经元来表示某一个输入的分类结果，具体步骤如下：

1）设比较层神经元个数为，识别层神经元个数为，在分类数时，改进算法与原算法保持一致；

2）当时，选择2个获胜神经元来表示新的分类；

3）改进的算法将分类表达分成2个部分，① 由单个识别层神经元表示的分类；② 由2个识别层神经元共同表示的分类。在一个新的输入模式经过比较划分到第①种分类之后，可以在学习阶段对前馈和反馈连接权值进行学习，而分到第②种分类，则不改变前馈和反馈连接权值。

全景数据是反映变电站运行的稳态、暂态、动态数据、设备运行状态以及图像、模型等数据的集合，其中既包含了结构化数据，也包含了文档、图形、音视频信息等非结构化数据。

现阶段电力企业内部非结构化数据的主要形式有合同、案件、授权委托书、证照、法律法规等等。文档分类的主要判定是依据关键词来进行的，而文档中出现频率较低的关键词对最终结果几乎没有影响。ART型网络的输入神经元要求为二进制数据，所以需要对权值进一步处理，将次要关键词过滤：

（7）

（8）

然后将处理过的二进制权重向量输入到ART与MOART型网络。分类类别为：合同、案件、授权委托书、法律法规、公文、通知、公告、档案、知识、专题等10个类别，文档样本总数为1000，其准确率如下图所示：

由此可见，在准确率方面ART网络和MOART网络基本处于同一水平，时间效率方面MOART的优势明显。在智能变电站的全景数据平台中，对非结构化数据查询的响应时间上采用MOART网络较ART网络的提升效果明显。

图1 ART1和MOART1的分类准确率对比

3 结论

ART神经网络在数据挖掘的分类算法中应用广泛，但是其自身的特点也带来了很多不足之处。本文提出的改进型ART网络机制可以在时间效率上对原网络进行加强，并通过实验验证了分类准确率相差不大，而且对原算法容易产生模式漂移等问题也在一定程度上得到缓解。针对ART型神经网络的各种改进算法也可以应用在此多神经元输出模型上，另外，本改进算法的思路也可以应用于ART2型网络，提高系统的效率。

参考文献

[1]史忠植.神经网络[M].北京：高等教育出版社，2009.

[2]Grossberg S.Adaptive pattern classification and universal recording： 1. Parallel development and coding of neural detectors[J]. Biological Cybernetics，1976（23）.

[3]施彦，韩力群，廉小亲. 神经网络设计方法与实例分析[M].北京：北京邮电大学出版社，2009.

神经网络文本分类篇8

中图分类号：TP18 文献标识码：A 文章编号：1009-3044（2013）33-7558-02

现代社会生活节奏的加快，女性患乳腺癌的几率也随之变大。乳腺癌已成为影响现代女性健康的一大杀手。根据中国抗癌协会公布的相关数据显示，近年来，我国乳腺癌的发病率正以每年3%的速度递增，发病人群呈现年轻化的趋势。乳腺癌已成为现代城市中死亡率增长最快的癌症 [1]。医生在采取治疗措施之前，必须能够快速的对乳腺癌的种类进行确定，这对治疗乳腺癌的有效治疗手段的选择至关重要。传统的有效分类方法是穿刺，但是此类方法往往耗时，通常需要3天左右，并且病人需要克服对穿刺的心理恐惧。因此应用机器进行快速学习分类的乳腺癌辅助诊断方法应运而生。

作为一种常用的机器自动分类方法基于人工神经网络模型的分类方法是基于仿生学理论来实现，在对人类大脑工作机制进行高度仿真的基础上，完成对网络的训练，使训练后的神经网络能够展现出人类大脑的功能，比如感知学习、逻辑推理等等。基于所采用的样本相似性，人工神经网络技术可以利用各种融合结构来完成网络权值的表述，具体步骤为：（1）、利用神经网络中的特定算法完成知识的获取，得到必须的不确定性推理机制；（2）、根据得到的推理机制完成融合过程，对网络权值进行修正，然后重新进行在学习，最后使输出的信号误差达到允许的范围之内。

在现有的多种神经网络模型中，该文采用基于误差反向传播理论的前馈网络算法（简称BP法）进行乳腺癌的自动分类。

1 BP神经网络系统的设计

1）样本的选取

本文采用由威斯康星大学医院威廉博士提供的699组乳腺癌数据，每组数据包括乳腺癌患者的9个特征参数，它们分别是：肿块密度、细胞的大小的一致性、细胞形状的一致性、边缘附着力、单上皮细胞大小、裸核、布兰德染色质、正常核仁、有丝分裂。这些患者中良性患者458人（65.5%），恶性患者241人 （34.5%）。随机选取500组作为网络训练样本，另外199组作为测试样本。

2）隐层数的设计

设计隐层数前，应对网络的训练样本及样本映射问题进行确认。根据乳腺癌数据，评价乳腺癌的特征参数有9个，故网络输入层点数为9。输出点数确定应以乳腺癌良性和恶性归类为依据。故可确定输出节点数为2。

在对多层前馈网络结构进行设计时，主要应考虑两大问题：一是，需要设计几个网络隐层；二是，针对所设置网络隐层，分别应设置几个隐节点，方可实现最佳。从理论角度进行分析，可以得知采用单隐层前馈神经网络能够映射所有连续函数，因此多采用单隐层前馈神经网络。而需要两个或两个以上的隐层的情况，一般是学习不连续函数[3]。在本项研究中，采用的是单隐层结构的神经网络。

3）隐节点数的设计

隐节点的设计主要用以提取和记忆学习样本数据的的内在规律。隐节点的数量一般是不确定的。每一个隐节点均有若干权值。而每一个权值均可以怎强网络映射能力。隐节点数确定对构造网络结构十分关键。隐节点数过多易出现出现过度吻合，减弱神经网络泛化能力，增加网络的训练时间等问题。例如网络对如噪音等非规律内容的记忆。隐节点过少易出现不能有效的概括和体现样本数据，获取信息能力相对较差。

在确定隐层节点个数时，主要应考虑三大决定因素，一是，样本噪声的大小；二是，提供给训练网络的样本数目；三是，样本数据中蕴含规律的复杂程度。在对最佳隐层节点个数进行确定时，我们较为常用的方法是试凑法。即，在样本集相同的前提下，由少到多的逐步增加，分别进行训练，以最终得出的训练结果来确定误差最小时的隐节点数。该文中我们采用了确定隐节点数的经验公式[m=n+l+a]进行估计，其中[m]表示隐层节点数，[n]表示输入层节点数，[l]为输出节点数。[α]为1～10之间的常数[3-4]。因此根据本文中输入节点数为9，输出节点数为2，我们选择隐层数分别为5、6、7、8、9、10、11、12、13的网络进行训练和测试。

2 神经网络设置

经过反复训练和测试，用于乳腺癌的自动分类的BP神经网络，选取的网络参数如表1所示。根据网络参数，该文采用的BP神经网络模型如图1所示。

表1 网络参数选取结果

[参数名称＼&参数值＼&参数名称＼&参数值＼&输入节点个数＼&9＼&最小均方误差＼&1e-2＼&输出节点个数＼&2＼&隐层节点个数＼&5-13＼&最小梯度＼&1e-20＼&隐层转移函数＼&Logsig＼&输出层转移函数＼&Purelin＼&最大训练步数＼&1000＼&]

3 仿真实验

为BP算法的可行性进行验证，本项研究引入Matlab神经网络工具箱作为变成工具，实现对乳腺癌的自动分类。

图2给出了神经网络训练过程，从图中可看出，经20步训练后，达到表1设定的允许误差范围。

（上方线为训练误差曲线，下方线为目标误差）

4 实验测试效果及评价

改变隐层节点数，对训练好的网络进行样本测试，测试结果如表2所示。199组测试数据中，识别正确率均在98%以上，识别效果较好。经过反复训练，隐层节点数设置为12时，分类效果最佳。同时也说明BP神经网络模型适合于乳腺癌的分类。

5 结束语

本文设计了不同BP神经网络模型参数对乳腺癌进行自动分类实验，通过调节不同隐层节点数，得到最佳网络参数设置，识别率较高。该方法可以针对乳腺癌的诊断，为医生提供辅助判别参考，能有效提高医生的工作效率。

参考文献：

[1] 章永来，史海波，尚文利，等.面向乳腺癌辅助诊断的改进支持矢量机方法[J].计算机应用研究，2013，8（30）：2374-2376.

神经网络文本分类篇9

在经济全球化的趋势下，信用将成为主要的交易方式，金融危机的爆发更是显示出信用风险管理和信用风险分类的重要性。从20世纪60年代至70年代的统计学方法，20世纪80年代的专家系统到90年代的神经网络，各种信用风险评级方法层出不穷。在我国，信用风险的度量和管理较为落后，金融机构没有完善有效的评级方法和体系，目前所应用的方法主要是粗略的定性方法，如综合利用宏观经济与行业风险、所有权及治理结构、信用风险及其管理、市场风险及其管理、资金来源/流动性、盈利能力等进行“加权”加分，信用风险的度量模式显得比较单一，所以对于信用风险分类方法是学术界和实务界必须解决的课题之一。

一、文献综述

（一）国外文献Logistic模型最早是由Martin （1977）用来预测公司的破产及违约概率。他从1970年至1977年间大约5700家美联储成员银行中界定出58家困境银行，并从25个财务指标中选取总资产净利润率等8 个财务比率，用来预测公司的破产及违约概率，建立了Logistic回归模型，根据银行、投资者的风险偏好设定风险警界线，以此对分析对象进行风险定位和决策。同时还将Z-Score模型，ZETA模型和Logistic模型的预测能力进行了比较，结果发现Logistic回归模型优于Z- Score模型和ZETA模型。Madalla （1983） 则采用Logistic模型区别违约与非违约贷款申请人，其研究结果表明，当违约概率p>0.551时是风险贷款；当p

（二）国内文献 在国内的研究文献中，齐治平（2002）从我国沪、深两交易所选取164 家上市公司，然后随机分成两组，运用线性判别模型、Logistic 回归模型以及含有二次项和交叉项的Logistic 模型对数据样本提前两年进行预测。结果发现，含有二次项和交叉项的Logistic模型对前一年数据的预测准确率最高。吴世农（2003）使用剖面分析、单变量分析、线性概率模型（LPM）、Fisher二类线性判定、Logistic模型等统计方法对财务困境公司进行预测研究，其中Logistic模型对前一年数据的预测准确率达到93.53%，Fisher判别分析法和LPM的准确率都为89.93%。庞素琳（2003）利用多层感知器分别对我国2000年106家上市公司进行信用评级，信用评价准确率高达98.11%。本文即是从上市公司的财务指标入手，通过logistic回归分析和BP神经网络，构建衡量企业信用状况的模型，并通过实证研究考察模型的适用性，对比两者信用风险分类的准确度。

二、研究设计

（一）样本选取和数据来源本研究选取沪深两市A股市场上2005年至2007年三年中部分被进行特别处理的118家ST公司和126家非ST公司，数据主要来源于CSMAR深圳国泰安信息技术有限公司提供的财务指标数据，将118家ST公司的财务数据和126家非ST公司的财务数据划分为训练样本和测试样本。样本集选取如（表1）所示。

（二）变量选取本文采取的财务数据在参考了已有文献以及考虑到实际数据可得性的基础上，选取了能够反映短期还款能力，长期还款能力，盈利能力和营运能力4方面共12个财务指标。指标变量名称及自变量符号具体见表。因变量为0-1变量，信用级别高的设置为1，信用级别低的设置为0。在做logistic回归的时候会进一步运用向后筛选法剔除方差贡献率不大的指标变量。具体如（表2）所示。

（三）模型设定

（1）Logistic回归模型：

（2）多层次前向神经网络。本文所应用的是一种称为前向网络的特殊神经网络结构。本研究应用Rumehhart于1986年提出的如下函数：Ii=wijxj+?准，xi=fi=其中，Ii为神经元i的层输入，xi为神经元的输出，wij为神经元间的连接权，?准为神经元i的偏置。每一条连接弧都被赋予一定的数值来表示连接弧的连接强度，正的权值表示影响的增加，负的权值表示影响的减弱。在前向网络中，神经元间前向连接，同层神经元互不连接，信息只能向着一个方向传播。前向网络的连接模式是用权值向量W来表示的。在网络中，权值向量决定着网络如何对环境中的任意输入作出反应典型的学习算法是搜索权值以找到最适合给定样本的权值。在本研究中应用的是多层前向网络的BP算法，其主要作用是知识获取和推理，采用有导师学习的训练形式，提供输入矢量集的同时提供输出矢量集，通过反向传播学习算法，调整网络的连接权值，以使网络输出在最小均方差意义下，尽量向期望输出接近，通过修改各层神经元的连接权值，使误差减小，然后转入正向传播过程，反复循环，直至误差小于给定的值为止。本文建立的BP神经网络图（见图1）。本文建立财务困境神经网络预警模型主要考虑以下两方面的问题：一是确定网络结构；二是学习参数的调整。首先考虑网络结构的确定。网络结构主要包括连接方式、网络层次数和各层结点数。网络的连接方式代表了网络的拓扑结构，Lippmann（1987）证明在一定条件下，一个三层的BP神经网络可以用任意精度去逼近任意映射关系，而且经过实验发现，与一个隐层相比，用两个隐层的网络训练并无助于提高预测的准确。因此在本研究中采用单隐层的BP网络。各隐含层节点数的选择并无确定的法则，只能结合实验并根据一些经验法则：隐层节点数不能是各层中节点数最少的，也不是最多的；较好的隐层节点数介于输入节点和输出节点数之和的50%~75%之间；隐层节点数的理论上限由其训练样本数据所限定。

三、实证结果分析

（一）logistic模型的参数估计及结果常规的线性判别模型计算得到的Z值只是个抽象的概念，无法从经济学上进行解释，Logistic回归分析解决了这个问题，其前提假设符合经济现实和金融数据的分布规律，残差项小要求服从止态分布。本文运用SPSS自带的Wald向后逐步选择法筛选变量，提高模型的判别性能，从全变量模型开始，逐步提出对残差平方和贡献最小的变量，具体的回归结果见（表2）。以2005年为例，根据SPSS计算结果中的参数表，估计Logistics模型的判别方程，（表3）反映了最大似然迭代记录（显示最后的迭代过程），（表4）反映了参数估计结果。步骤9是经过9步变量筛选后最后保留在模型中的变量。从各个系数的Wald值及伴随概率p来看，最终选定的5个指标变量具有最高的解释能力。综上，2005年公司分类的logistic模型为：p=。从（表5）步骤1及步骤9的分类结果看出，剔除不显著变量之后，分类准确率并未大幅下降，可以认为最终的模型能通过检验。（表6）显示了最终的Logistic模型参数估计结果。（表7）显示了模型分类准确率。

（二）BP神经网络的参数估计及结果首先对输入输出样本进行数据处理，消除影响预测结果的噪声，神经网络输入的变量要求规范在［-1，1］（若使用tanh函数）或［0，1］（若使用logistic函数）之间。本文对输入数据进行标准化处理，采用以下方法：X=。X为规范后的变量，x为每个变量的实际值，x1为每个变量的最小值，x2为每个变量的最大值。Matlab中相应的函数为［output_X，PS］=mapminmax（X，output_min，outpt_max）由于实际财务困境评价往往非常复杂，企业财务状况的好坏与财务比率的关系常常是非线性的，而神经网络作为一种非线形建模过程，并不依赖判别模型的假设，能找出输入与输出的内在联系，因此本文决定尝试使用神经网络技术进行信用状况的分类研究，分为训练集和测试集两组对神经网络进行训练，过程如下：第一，输入层和输出层神经元数目的确定。第一层为输入层，采用判别分析得出的模型变量为输入变量，共有12个结点，每个结点代表相应的财务比率。第三层为输出层，用一个结点表示，训练导师值为0代表信用级别“差”的公司，1代表信用级别“好”的公司。第二，隐含层数和隐结点个数的确定。本文选择单隐层的前馈BP网络；通过学习逐步增加隐神经元数，训练反复调整。最后定为10个隐结点。第三，用训练集的数据训练这个神经网络，使不同的输入向量得到相应的输出值，当误差降到一个指定的范围内时，神经网络所持有的那组权数值就是网络通过自学习得到的权数值，即完成了神经网络的自学习过程。第四，输入待评价的样本（本文直接在输入矩阵中划分为训练），让训练好的神经网络输出企业财务状况的标志（0或1），即实现神经网络的模式分类。神经网络的初始权重由Matlab随机产生的。训练算法采用专用于模式分类的trainscg方法，各种训练参数见（表8）。由此看出，算法逐步收敛，最终达到误差标准见（表9）。

（三）两种模型比较分析 本文对Logistic和BP神经网络分别对我国上市公司的信用状况给予两类模式的评级，最终发现，Logistic和BP神经网络在我国市场上的分类效果相当（见表10）。主流观点认为，人工神经网络具有良好的模式识别能力，可以克服统计等方法的限制，因为它具有良好的容错能力，对数据的分布要求不严格，具备处理资料遗漏或是错误的能力。最为可贵的一点是人工神经网络具有学习能力，可以随时依据新准备的数据资料进行自我学习、训练、调整其内部的储存权重参数以应对多变的企业运作环境。但是本文得出的结果是：传统的Logistic方法和神经网络方法的分类效果相当。现代人工智能方法并未表现出理论上的优势。可能的原因是：网络不稳定，训练样本的仿真准确率很高，但对测试样本的仿真准确率会降低；解释性差，网络最终确定后，每个神经元的权值和阈值虽然已知，但不能很好地分析各个指标对结果的影响程度，对现实问题中的经营管理也就不能起到很好的借鉴作用；网络的输入个数与隐层节点个数的确定没有理论指导，只能通过经验确定。

四、结论

本文选取2005年至2007年部分被进行特别处理的118家ST公司和126家非ST公司，以其财务指标为样本，进行Logistic回归和BP神经网络分类，对这两种信用风险评判模型在中国市场做了实证研究。结果发现：两种模型均适用于中国上市公司两模式分类（ST和非ST公司），而BP神经网络在我国市场上并未体现其分类的优势，分类准确度和Logistic相当。即使如此，本文证实了Logistic和BP神经网络模型对于我国上市公司的评级还是有效的，能够为投资者的科学决策提供建设性的指导意见，使投资者理智地回避风险和获取收益。同时，该判别模型也有利于准确评价一个企业的信用状况，从而为银行等放贷机构提供决策依据。

参考文献：

［1］吴世农、卢贤义：《我国上市公司财务困境的预测模型研究》，《经济研究》2001年第6期。

［2］齐治平、余妙志：《Logistic模型在上市公司财务状况评价中的应用》，《东北财经大学学报》2002年第1期。

神经网络文本分类篇10

中图分类号：TE319 文献标识码：A文章编号：1007-9599 (2011)05-0000-02

Application of Self-organization Competition Network in Log Data Lithological Identification

Zong Chunmei

(Xinzhou Teachers University,Xinzhou034000,China)

Abstract:Using self-organizing and self-learning ability of self-organizing neural network,analyze the impact factor to establish self-organizing competitive network model based on MATLAB.By comparing the two structures of basic competitive network and self-organizing competitive network to achieve lithology classification.Experimental results show that the use of self-organizing network model of competition test well lithology identification information is feasible,the correct rate,for the lithology of the research to identify new methods.

Keywords:Self-organizing competitive network;Log data lithology identification;MATLAB

一、引言

目前，岩性识别主要有以下几种方法：(1)概率统计方法；(2)聚类分析方法；(3)人工神经网络方法。人工神经网络方法以其自身特有的样本学习能力获得识别模式，以与岩性相关的测井资料作为神经网络的输入参数，已知岩性种类作为输出总数。前两种数理统计方法，两者的差别只是参数选择的要求不同。人工神经网络具有很强的自组织性、自适应性、容错性和推理思维能力，人们运用神经网络在测井资料岩性识别领域做了大量的研究，取得良好效果。

二、自组织竞争神经网络原理

自组织竞争网络是以无教师教学的方式进行网络训练，具有自组织功能，网络通过自身训练，自动对输入模式进行分类，让网络竞争层中的各种神经元通过竞争来获取对输入的响应机会，最后仅剩一个神经元成为竞争的获胜者，并对那些与获胜神经元有关的各连接全部朝着更有利于它竞争的方向调整，这一获胜神经元的输出则代表对输入模式的分类，正是自组织竞争神经网络具有自组织能力、自适应能力和较高的容错能力的特点，为测井资料岩性识别提供了新的方法。在竞争层中，神经元之间相互竞争，最终只有一个或者几个神经元获胜，以适应当前的输入样本。竞争胜利的神经元就代表着当前输入样本的分类模式。

三、样本数据的获取

（一）样本的选取

样本包括样本特征选取及样本数目的确定。本文样本源于北方某地区2004年的测井资料，该地区属于碳酸盐地层，因此需要判断的岩性有三种，即泥岩、砂岩和石灰岩。通过对已知井段测井数据进行学习，来预测同一地区其他井段的岩性。

（二）样本数据的预处理

测井资料的样本数据中包含了影响岩性的5个重要因子，即补偿中子空隙度CNL、补偿密度曲线DEN、声波时差DTC、自然伽玛GR和微电阻率RT。归一化后的数据如表3.1所示。

表3.1 归一化后的岩性影响因子

序号 CNL DEN DEC GR GT 岩性

1 0.4036 0.4365 0.4860 0.5161 0.3419 泥岩

2 0.4154 0.4711 0.4639 0.4981 0.3806

3 0.5352 0.6408 0.6145 0.6299 0.7154 砂岩

4 0.5524 0.6528 0.6234 0.6715 0.7025

5 0.7709 0.7812 0.8204 0.8425 0.8622 石灰岩

6 0.7589 0.7965 0.8125 0.8506 0.8709

四、测井岩性识别模型的建立

（一）测井岩性识别算法

应用自组织竞争网络进行测井资料岩性识别，首先获取样本资料，即测井数据。在应用自组织竞争人工神经网络对数据进行处理前，利用归一化公式对所有测井数据进行归一化。利用自组织竞争网络的神经网络工具箱函数创建网络。网络创建好后需要对网络进行初始化，接着对网络进行训练，并设置训练次数，由于竞争型神经网络采用的是无教师学习方式，没有期望输出，所以训练过程中不需要设置判断网络训练是否结束的误差项，只要设置网络的训练次数就可以了，网络训练完毕后，利用仿真函数检验网络对岩性模式的分类。利用函数vec2ind将数据串行化输出，为了检验网络的分类性能可以采用同一地区的测试数据对网络进行测试，进行岩性识别。如果岩性识别没有成功，重新对网络进行初始化，重新对网络进行训练、测试。

（二）自组织竞争神经网络结构设计

自组织竞争网络的神经网络工具箱提供了大量的函数工具。自组织竞争网络由输入层和竞争层组成。用newc函数创建一个竞争层，构建一个基本竞争型网络。权值函数为negdist，输入函数为netsum，初始化函数为midpoint或者initcon，训练函数或者自适应函数为trains和trainr，学习函数为learnk或者learncon函数。函数返回值是一个新的竞争层。由于需要识别的类别数目是3，神经元数目也设置为3，为了加快学习速度，将学习速率设置为0.1。用newsom函数创建一个自组织特征映射网络。自组织特征映射网络的输入层中的每一个神经元，通过权与输出层中的每一个神经元相连。构成一个二维平面阵列或一个一维阵列。输入层和竞争层的神经元之间实现全互连接。利用基本竞争型网络进行分类，需要首先设定输入向量的类别总数，再由此确定神经元的个数。但利用自组织特征映射网络进行分类却不需要这样，这种网络会自动将差别很小的点归为一类，差别不大的点激发的神经元位置也是邻近的。两种网络模型各自创建好网络后，对网络进行初始化，论文用到函数initcon。接着就可以对网络进行训练，当达到最大训练次数时，训练停止。此时用仿真函数sim检验网络对岩性分类模式的分类。为了检验网络的分类性能采用训练样本以外的数据对网络进行测试。利用自组织竞争神经网络进行岩性识别，不必对输入的测井数据进行统计，只要将网络自动分类号与相应的岩性对应，即可实现自动岩性分类识别。

五、在MATLAB环境下实现测井资料岩性识别

（一）用函数newc创建一个自组织竞争网络来对岩性分类：

1.建立网络

net=newc(minmax(P)，3，0.1);

2.网络训练

net=init(net); %初始化函数为initcon

net.tranParam.epochs=200;%训练步数为200

net=train(net，P);

训练结果显示当达到最大训练次数时训练停止。

3.仿真

为了检验训练好的网络的分类性能，利用仿真函数检验网络对上述岩性模式的分类。

Y=sim(net，P)%对训练好的网络仿真

Yc=vec2ind(Y)

运行结果表明网络成功地将岩性模式分成三类。

4.测试：用样本以外的数据测试网络的分类性能。结果显示测试数据属于石灰岩，网络识别成功，网络的性能是不错的。

5.绘曲线图

wts=net.IW{1，1} %查看权重

wts=wts'

运行结果如图5.1所示。

图5.1 训练后网络权重散点图

由图5.1分析可知，竞争型网络会根据输入向量的分布来调整它的权重向量。离输入向量越近(越相似)的权重向量，通过调整靠的越近。训练结果就是，有几类输入向量也就有几类与输入向量相似的权重向量。

（二）用newsom函数创建一个自组织特征映射进行岩性分类：

1.建立网络

net=newsom(minmax(P)，[6 5]); %网络竞争层的神经元的组织结构6 5 plotsom(net.layers{1}.positions);%绘制神经元初始位置

title('神经元位置的初始分布')

figure;

运行结果表明神经元位置是均匀分布的，网络还没有对输入向量进行分类的能力。

2.网络训练与网络仿真

net.trainParam.epochs=10;

net=train(net，P);

训练结果：

TRAINR， Epoch 0/10

TRAINR， Epoch 10/10

TRAINR， Maximum epoch reached.

y=sim(net，P) %对训练好的网络仿真

yc=vec2ind(y)%转换为串行数据

运行结果表明训练次数为10时，网络成功的对岩性进行了分类。由此可知训练步数为100时，网络分成了5类，这种分类结果就比较细化了，因为根据深度的不同，砂岩还可以分为粗粒砂岩和细粒砂岩。

3.测试：结果表明该组数据为属于石灰岩。

4.绘曲线图：

图5.2 训练10次后输入向量分布

图5.3 训练10次后神经元分布

由图5.3可知，经过10次训练后，神经元的位置就发生了明显的改变，神经元位置的分布情况表示它们已经对输入向量进行分类了，此时再增加训练次数已经没有什么实际意义了。

实验结果表明，两种网络结构都成功地对岩性进行了正确分类。自组织特征映射网络在训练次数较少的时候就可成功地对岩性进行分类，在提高训练次数的时候分类结果比较精细。

六、结束语

论文研究结果表明，采用自组织竞争网络与自组织特征映射网络进行测井资料岩性识别是可行的，识别率比较高。由于测井资料所携带的重要的地质信息可以确定地层含油储量，而且还是制订开采规划的重要依据，因此利用自组织竞争网络进行测井资料岩性识别具有很大的意义。此外利用自组织竞争网络还可以对我国油田进行油气层识别，提高油田的产量。不足之处在于岩性复杂地区所需要的信息量较大，需要考虑样本数量的需求、模式和测井数据的完备性。

参考文献：

[1]陈祥光,裴旭东.人工神经网络技术及应用[M].北京:中国电力出版社,2003

[2]张立明.人工神经网络的模型及其应用[M].上海:复旦大学出版社,2004

[3]飞思科技产品研发中心.神经网络理论与MATLABR2007实现[M].北京:电子工业出版社,2007

[4]高隽.人工神经网络原理及仿真实例[M].北京:机械工业出版社,2005

[5]许东,吴铮.基于MATLAB 6.x的系统分析与设计[M].西安:西安电子科技大学出版社,2003

[6]王洪元.人工神经网络技术及其应用[M].北京:中国石化出版社,2002

神经网络文本分类篇11

中图分类号：TP18 文献标识码：A文章编号：1009-3044(2011)07-1543-03

On BP Neural Network in Pattern Recognition Application

LIN Jia-xiang, GE Yuan

(Information Engineering College, Shanghai Maritime University, Shanghai 200135, China)

Abstract: Pattern recognition technology, widely used in all works. Automatic detection of industrial and medical equipment on the inspection of samples, military satellites detect Police, intelligence has a pivotal role. This article describes the pattern recognition based on BP neural network method. Based on the use of BP Improved neural network algorithm, will be based learning is introduced into pattern recognition, data on the sample study and training, to form a good network Contact, and finally with the already trained network to test the whole process, because to a certain accuracy, to avoid the traditional method of calculating property Weight problems.

Key words: pattern recognition; BP neural network

模式识别作为一门新的学科，从1960年代开始逐渐应用于各科技及工业领域。尤其，人脸识别、声音识别、指纹识别、医学诊断领域的研究应用，使模式识别成为一门热门的学科。模式识别，研究的内容是让机器通过学习自动识别事物。但传统的模式识别方法，很难完成人脸识别、声音识别等需要直接感知外界信息领域的识别任务。因此，近些年来结合神经网络来研究模式识别成为一个新的课题。

神经科学作为一门科学起始于19世纪末。近几十年来，神经科学和脑功能研究的发展极为迅速。人工神经网络由于其自组织和非算法特性，在模式识别应用方面有很大的发展潜力。在神经网络模式识别系统中，用得最广泛的要算是BP神经网络。1986年，Rumelhart等人在多层神经网络模型的基础上，提出了多层神经网络模型的反向传播学习算法，它是基于误差前向传播(Error Back Propagation，简称BP)算法的一种具有非线性连续转移函数的多层前馈网络。BP算法，解决了多层前向神经网络的学习问题，证明了多层神经网络具有很强的学习能力，它可以完成许多学习任务，解决了许多实际的问题。

本文主要介绍BP神经网络在模式识别中的应用，并结合实例予以说明。

1 模式识别概述

1.1 模式识别研究内容

人类在长期的生活实践和科学研究中，逐渐积累起来了通过感觉器官辨别不同事物的能力。例如，人们可以根据物体的形状、颜色、质地、组成以及各部分的结构关系把不同物体区别开来；可以根据人的高矮、胖瘦、性别、年龄、肤色、脸型把不同的人区分开来。人们之所以能进行这样的辨别，重要的原因在于不同事物具有不同的特征，包括物理特征及结构特征。由此使人们想到，如果能把事物的关键特征抽取出来，以不同的特征组合代表不同的事物，并且用适当的让计算机能接受的形式表示出来，这样就有可能使计算机具有识别能力，使它能区分不同的事物。像这样用事物的特征所构成的数据结构就成为相应事物的模式，或者说模式是对事物定量的或结构的描述。由具有共同属性的模式所构成的集合称为模式类，它是一个抽象出各有关模式的共同属性而废弃各具体模式不同属性的分类概念。识别能力原本是人类和其他生物的一种基本属性，人们通过模式感知外部世界的各种事物，这是获取知识、概念和作出反应的基础，是一种思维和抽象过程。而在人工智能或信息科学范畴内，模式识别是指用数学、物理方法和技术实现对模式的自动处理、描述、分类和解释，目的在于用机器部分实现人的这种智能活动，所以在目前模式识别所研究的内容可以分为两类：一是对人类和其他生物识别能力及其机理的研究。二是对满足某些应用需要的识别装置的理论和技术的研究。

前者研究的内容主要涉及神经机理和认知心理等方面，往往是它的研究为后者提供理论基础和模仿的依据。而第二个课题主要是通过工程、计算机和其他信息科学等方面的技术和知识，达到以机器模拟或局部超过人的识别能力的目的。它在技术上的提高不但验证了前者的结论，而且为其进一步的研究提供了手段。可以看出在人工智能或信息科学范畴内，所谓的模式识别（Patten Recognition)是研究一种自动技术，依靠这种技术，机器将自动地把待识别模式根据其特征分到各自的模式类中去。

1.2 模式识别系统的结构

计算机对识别对象进行识别的过程实际上是一个决策过程，它根据一定的识别规则对识别模式的特征进行判定，从而决定它所属的模式类。一个典型的模式识别系统，分别由数据获取、预处理、特征提取、分类决策、和分类器设计五步骤组成。通常一个完整的系统分为两个部分，第一部分是用来完成未知类别的模式分类。第二部分是训练分类器设计，确定分类器各项参数。模式识别系统结构如图1所示。

以下简要说明模式识别系统各组成部分功能：

1）数据提取： 计算机提取的数据通常有三种类型。第一种是一维波型信息，如心电图、气象信息图等。第二种是二维图像信息，如图片、指纹、文字等。每三种是物理参数，如气温参数、水文参数等。

2）数据预处理：计算机对初步提取的数据信息进行去除噪声、复原、提取相关参数信息。

3）数据特征提取：对预处理提取的数据信息，进行变换处理，获取反映分类本质的特征。对原始数据的高维数测量空间，进行转换，形成反映分类识别的低维数特征空间。

4）分类器设计：对特征空间的识别对象进行分类。训练样本，确定分类器判别函数，并不断改进判别函数和误差检验。

2 BP神经网络的模型

2.1 BP神经网络的结构

BP神经网络 (Back-Propagation) ，又称误差反向传递神经网络。它是人工神经网络(ANN)中的一种模型，是利用率很高的一种神经网络，约有80%的神经网络属于BP神经网络。BP神经网络是一种依靠反馈值来不断调整节点之间的连接权值而构建的一种网络模型。图2显示了一个3层BP神经网络的体系结构，它分为输入层、隐含层和输出层，其中隐含层根据具体情况的需要，可以是一层结构也可以为多层结构。

设输入层有n个神经元节点，隐含层有q个神经元节点，输出层有m个神经元节点。利用该网络可实现n维输入向量Xn=(X1,…,Xn)T到m维输出向量Ym=(Y1,…,Ym)T的非线性映射。输入层和输出层的单元数n、m根据具体问题确定，而隐含层单元数q的确定尚无成熟的方法，一般可设定不同的q值根据训练结果来进行选择。

BP神经网络结构(n、q、m)确定后，神经网络还包括的参数有：

wij：输入层第i单元到隐含层第i单元的权重，其中i=1,…,n;j=1,…,q。

wjk：隐含层第j单元到输出层第k单元的权重，其中j=1,…,n;k=1,…,m。

θj：隐含层第j单元的激活阈值，j=1,…,q。

θk：输出层第k单元的激活阈值，k=1,…,m。

以上权重和阈值的初值在网络训练之前随机生成。

f(x)：激活函数一般采用Sigmoid型函数，即f(x)1/[1+exp(-x)]。

2.2 BP神经网络的学习算法

2.2.1 BP神经网络的学习过程

1）输入模式正向传播：输入模式由输入层经中间层向输出层的模式正向传播过程。

2）输出误差反向传播：网络的期望输出与网络实际输出之间的误差,由输出层经中间层传向输入层的误差反向传播过程。

3）循环记忆训练：模式正向传播与误差反向传播的计算过程反复交替循环进行。

4）学习结果判别：判定网络的全局误差是否趋向极小值的学习收敛过程。

2.2.2 BP算法

3层BP神经网络，输入节点xi，隐层节点yj，输出节点zk。输入节点与隐层节点间的网络权值为wij，隐层节点与输出节点间的网络权值为wjk，如图3所示。

当输出节点的期望值为dk时，BP算法如下：

1）隐含层节点的计算输出：

2）输出层节点的计算输出：

输出节点误差为：

3）输出单元的权值对误差的影响：

4）隐含层节点对误差函数的影响：

5）由于权值的修正Δwij，Δwij正比于误差函数沿梯度下降，则有:

6）阈值的修正。阈值θ也是变化值，在修正权值的同时也需要修正，原理同权值修正一样。

输出层阈值修正：θk(t+1)= θk(t)+ ηδk

隐含层阈值修正：θj(t+1)= θj(t)+ η'δj

传递函数f(x)的导数：采用S型函数f(x)=1/(1+e-x)

f'(netk)=zk(1-zk),f'(netj)=yj(1-yj)

以上式子中出现的η（η>0）为学习参数。

3 应用BP神经网络进行字符特征识别的仿真实验

运用matlab7.0建立BP神经网络，并通过样本训练，完成对26个英文字母的识别仿真实验。

3.1 建立BP网络

通过5*7像素的二值数字图像来表示英文字母的对应图像。以字符的35个布尔数值作为BP网络输入。以26个字符的所在位置作为输出向量。现实中的字符图像不一定很精确，所以要求BP网络要有一定的容错能力。

利用newff函数设计一个两层的BP神经网络。以logsig传递函数，建立第一、第二层的神经元。

3.2 训练BP神经网络

设定训练函数和训练样本。先使用无噪声的信号对BP网络进行训练，一直到1000个时间单位和误差小于0.1时，完成BP网络训练。BP网络训练的误差变化情况如图4所示。

再对BP网络进行含噪声的样本训练，重复训练10次。使含噪声样本训练后的BP网络可以准确识别无噪声或含噪声的输入样本。

3.3 进行仿真实验并测试输出

利用输入样本，对BP网络进行仿真。仿真实验测试结果如图5所示。

图5中，虚线表示无噪声样本训练的网络，实线表示含噪声样本训练的网络。从图可以看到，输入噪声指标低于0.1情况时，两个网络对字符识别的能力都很高。当输入噪声指标大于0.1的情况下，经过含噪声样本训练的网络，容错能力比较高。因此，网络训练中增加噪声样本的比重可以提高网络的容错能力。

4 小结

BP(Back Propagation)神经网络,是能实现映射变换的前馈网络中最常用的一类网络，它是一种典型的误差修正方法，具有理论上能逼近任意非线性连续函数的能力，且结构简单，易于编程，在众多的领域得到了广泛的应用。本文应用matlab建立BP神经网络,并通过样本训练，仿真对字符的识别。从中可知，相对于传统模式识别方法，BP神经网络对字符识别准确度高，容错能力强。BP神经网络在模式识别中应用十分广泛，但也存在一些问题有待解决：1）局部极小点问题。BP神经网络不能保证使权值收敛于全局最小点；2）收敛速度问题。对于复杂的问题，网络训练时间较长；3）稳定性问题。增加训练样本，网络对训练好的权值和阈值无记忆能力，要重新开始训练。

参考文献：

[1] Theodoridis S,Koutrourmbas K.模式识别[M].北京:机械工业出版社,2009.

[2] 边肇祺,张学工.模式识别[M].北京:清华大学出版社,2000.

[3] 丁永生.计算智能－理论、技术与应用[M].北京:科学出版社,2004.

神经网络文本分类篇12

中图分类号：TP18 文献标识码：A 文章编号：1009-3044（2015）09-0200-02

Abstract： The paper is aimed at the problem of traditional exploration methods can not predict the remaining oil and gas accurately， the methods of fuzzy theory and self-organizing map are approached. It takes the advantage of Fuzzy neural network system converging faster and higher prediction accuracy， as well as the unsupervised competitive learning mechanism of self-organizing map， it achieves the goal of predicting the remaining oil and gas. The method of neural network improve the precision of remaining oil and gas， it obtains better effect of prediction.

Key words： neural network； predict； remaining oil and gas； pattern recognition； train

石油是国家经济发展的命脉，油气勘探开发则是石油工业的基础，在国民经济的地位举足轻重。随着地震勘探理论方法日趋成熟，我国各大油气田勘探程度相继提高，油气田已经被大幅度开采。然而我国的石油平均采收率并不高，约为30%多一点，还有近70%的油气并未采收，传统的油气勘探方法已经不能满足增加石油的采收率。当前我国各大油田的地质勘探工作已经进入中后期，迫切需要一些新的方法研究方法和技术，对油气田剩余油气的分布和变化趋势做出预测，以便在寻找新的勘探开发领域，同时也能继续对老油气田进行挖掘，从而提高油气产量。

近些年来，随着神经网络技术[1]的日趋成熟，基于模式识别的各类方法技术，如统计模式识别、神经网络、模糊判别等技术和理论在剩余油气预测方面都得到了较多的应用，也取得了较好的结果。其中模糊理论具有很强的表达能力并且容易被人理解，神经网络的自适应学习能力很强。由于模糊理论和人工神经网络各自的优点，常常被单独或者是组合起来运用到实践中，本文主要介绍神经网络的方法运用于预测剩余油气的工作中。

1 模糊理论

1.1 发展历程

1965年美国加州大学伯里克分校的扎德教授首先创立了模糊集合的数学理论，随后P.N.Marions也开始从事相关研究，于1966年发表了一份关于模糊逻辑的研究报告。1974年扎德教授作了模糊推理的研究报告，同年英国的E.H.Mamdanl运用模糊逻辑和模糊推理首次实现了蒸汽机的实验性控制，从此模糊理论的雏形形成了，随后模糊理论[2]掀起了一波热潮。

1.2 在剩余油气预测中的应用

在预测剩余油气[3]的实践中，首先对地震资料做初步的特征提取，然后将提取的样本用模糊理论的聚类方法进行训练，对训练样本进行几类。每类都有各自对应的神经网络，用专属于每类的样本依次训练各自对应的神经网络。具体步骤如下：

1）流体属性的提取

流体属性数据是三维数据，属性的提取方法依赖于具体的物理问题与数据网格的划分。三维数据场属性边界的提取所采用的方法是求出网格点的梯度，特征区域一般是梯度模值较大的区域。对于均匀的三维网格，估计其梯度的方法可采用三维差分。为得到网格点上的梯度值，简单的方法是利用前、后、左、右、上、下六个邻近点的场值进行简单的差分估计。在计算流体力学问题中，采用的网格大都是结构化网格，为计算网格点上的梯度，需将网格变换为均匀规则正交网格。设三维网格交换为[x=T1（ξ，η，?）]，[y=T2（ξ，η，?）]，[z=T3（ξ，η，?）]，在点（m，n，p），其场值梯度在两种网格上的关系式为：

[?f?ξ?f?η?f??=?f?x?f?y?f?z?x?ξ?x?η?x???y?ξ?y?η?y???z?ξ?z?η?z??]

2）模糊系统处理流体属性

确定输入输出的学习样本[（αK，βK，γk）]，k为样本个数。利用模糊聚类的方法将输入样本分成N类，N类样本对应N条神经网络。利用各自的样本训练各自的神经网络，选择合适的学习样本，系统经过多次样本训练和样本学习之后，优化出一部分识别精度高的样本，优选的样本到达能辨别精度后，将该样本输出，这样就可以被识别了。

2 自组织神经网络

2.1 结构与工作过程

自组织神经网络是上世纪80年代芬兰Helsink大学的Kohonen在Willshaw与Von der Malsberg在的工作上，结合对自然界中的生物神经系统的理解，创建Kohonen模型，又称Kohonen网络。自组织神经网络[4]的特征映射是基于生物的大脑神经系统，模拟它的自组织特征映射机制，在样本训练中有很强大学习能力，在组织学习中不需要监控，是一种无监督竞争式学习的前馈网络。自组织神经网络通过学习，从而提取某组数据中的某种重要特征或内在规律，按离散时间的方式进行分类。网络可以把任意高维的输入作为输入神经元，映射到低维空间得到输出神经元，并且使得输入神经元内部的某些相似性质表现为几何上邻近的特征映射，这就是人们常说的降维处理。这样输出神经元会聚集成一个输出层，输出层就可以绘制成一维或二维离散几何图形，并且其拓扑结构保持不变。此分类反映了样本集之间的本质区别，大幅度降低了一致性准则中的人为因素。

如图1所示，SOM网络是一种比较简单的双层网络， 由若干输入神经元和输出神经元组成。输入层与输出层各神经元之间实现了全部互相直接或间接的连接方式，每个输出神经元可通过可变连接权与所有输入神经元相连， 且输出神经元间存在局部相互连接。每个连接都具有对应的连接权值，用于表示该连接的强度。各个神经元的连接权值均具有一定的分布，每个输入神经元与输出神经元之间的联系通过连接权来传达。输出层的神经元之间实行侧向连接，相邻的神经元相互激励，距离较远的神经元则相互抑制，然而超过了一定的距离的神经元又具有较弱的激励作用，最后剩下的一个神经元或一组神经元，则反映该类样本的属性。

2.2 预测剩余油气的步骤

1）根据勘探数据体提取流体属性[5]，并对其进行预处理。

2）优选出所要了解的流体属性，对其进行降维压缩，将压缩集作为模式识别的输入，以统计的油气储层参数作为输出来训练组组织神经网络。

3）利用模式识别[6]参数和降维压缩集对储层的油气进行预测，从而得到如今的剩余油气的分布。

3 结束语

本文针对传统油气勘探的方法难以满足预测油气田剩余油的难题，着重介绍了模糊理论和自组织神经网络的方法，这两种神经网络的方法各有优势。其中模糊神经网络的系统训练和学习速度快，收敛较快，预测的精度高。自组织神经网络的竞争模式起到了快速优选的作用，神经元之间的协作模式在某种意义上则缩短了整个流程的工作时间。总而言之，神经网络的技术与方法在预测油气田的剩余油气的实践中取得了不错的成果。

参考文献：

[1] 汪镭，周国兴，吴启迪.人工神经网络理论在控制领域中的应用综述[J].同济大学学报：自然科学版，2001，03：357-361.

[2] 王晓军，杨海峰，邱志平，等.基于测量数据的不确定性结构分析的模糊理论[J].北京航空航天大学学报，2010，08：887-891.

[3] 熊艳，包吉山，肖慈.模糊神经网络预测储层及油气[J].石油地球物理勘探，2000，02：222-227.