神经网络 I：概述及发展
人脑是如何工作的？人类能否制作模拟人脑的人工神经元？多少年以来，各类科学家试图从医学、生物学、生理学、哲学、信息学、计算机科学、认知学、组织协同学等各个角度认识并解答上述问题。在寻找上述问题答案的研究过程中，逐渐形成了一个新兴的多学科交叉技术领域，称之为“神经网络”。神经网络的研究涉及众多学科领域，这些领域互相结合、相互渗透并相互推动。不同领域的科学家又从各自学科的兴趣与特色出发，提出不同的问题，从不同的角度进行研究。
一、神经网络概述
所谓人工神经网络就是基于模仿生物大脑的结构和功能而构成的一种信息处理系统（计算机）。需要指出，尽管人工神经网络是对大脑结构的模仿，但这种模仿目前还处于极低的水平。
人工神经网络的过程可以分为两阶段，一是训练学习、二是操作预测：
1. 训练学习
训练时，把要教给神经网络的信息（外部输入）作为网络的输入和要求的输出，使网络按某种规则（称为训练算法）调节各处理单元间的连接权值，直至加上给定输入，网络就能产生给定输出为止。这时，各连接权已调接好，网络的训练就完成了。
2. 正常操作（回忆操作）
对训练好的网络输入一个信号，它就可以正确回忆出相应输出，得到识别结果。
人工神经网络的学习主要分为两类，有指导的训练：将输入样本加到网络输入并给出相应的输出，通过多次训练迭代获得连接权值。好像告诉网络：“当你看到这个图形（比如5）时，请给我指示5”。无指导的训练：网络通过训练自行调节连接加权，从而对输入样本分类。在网络训练时，有时只能给出大量的输入图形，没有指定它们的输出，网络就自行按输入图形的特征对它们进行分类。如小孩通过大量观察可以分辨出哪是狗、哪是猫一样。
二、神经网络发展
初始（萌发）期–MP模型的提出和人工神经网络的兴起。
1943年，美国神经生理学家Warren Mcculloch和数学家Walter Pitts合写了一篇关于神经元如何工作的开拓性文章：“A Logical Calculus of Ideas Immanent in Nervous Activity”。该文指出，脑细胞的活动像断/通开关，这些细胞可以按各种方式相互结合，进行各种逻辑运算。按此想法，他们用电路构成了简单的神经网络模型，并预言大脑的所有活动最终将被解释清楚。虽然问题并非如此简单，但它给人们一个信念，即大脑的活动是靠脑细胞的组合连接实现的。此模型沿用至今，并且直接影响着这一领域研究的进展。因而他们两人可称为人工神经网络研究的先驱。
第一次高潮期–感知器模型和人工神经网络
1957年，计算机专家Frank Rosenblatt开始从事感知器的研究，它是一种多层的神经网络。后续他将此制成硬件，通常被认为是最早的神经网络模型。这项工作首次把人工神经网络的研究从理论探讨付诸工程实践。当时世界上许多实验室仿效制作感知机，分别应用于文字识别、声音识别、声纳信号识别以及学习记忆问题的研究。
1959年，两位电机工程师Bernard Widrow和Marcian Haff开发出一种叫作自适应线性单元（ADALINE）的网络模型，并在他们的论文“Adaptive Switching Circuits”中描述了该模型和它的学习算法（ Widrow-Haff算法）。该网络通过训练，可以成功用于抵消通信中的回波和噪声，也可用于天气预报，成为第一个用于实际问题的神经网络。
反思期—神经网络的低潮
1969年，Marvin Minsky和Seymour Papert合著了一本书“Perception”（如下图所示），分析了当时的简单感知器，指出它有非常严重的局限性，甚至不能解决简单的“异或”问题，为Rosenblatt的感知器判了“死刑”。此时批评的声音高涨，导致了*停止对人工神经网络研究所需的大量投资。不少研究人员把注意力转向了人工智能，导致对人工神经网络的研究陷入低潮。
第二次高潮期—Hopfield网络模型的出现和人工神经网络的复苏
随着人们对感知机兴趣的衰退，神经网络的研究沉寂了相当长的时间。直到1984年，Hopfield设计研制了后来被人们称为Hopfield网的电路，较好地解决了TCP问题，找到了最佳解的近似解，引起了较大轰动。1985年，Hinton、Sejnowsky、Rumelhart等研究者在Hopfield网络中引入随机机制，提出了所谓的Bolziman机。1986年，Rumelhart等研究者独立地提出多层网络的学习算法—BP算法，较好地解决了多层网络的学习问题。
人们重新认识到神经网络的威力以及付诸应用的现实性。随即，一大批学者和研究人员围绕着 Hopfield、Hinton等提出的方法展开了进一步的工作，形成了80年代中期以来人工神经网络的研究热潮。1990年12月，国内首届神经网络大会也在北京成功举行。
第三次高潮期–深度学习
第二轮高潮之后，神经网络的发展就开始不温不火，有段时间影响力都还不如支持向量机。不过Hinton等人于2006年提出了深度学习的概念，2009年Hinton把深层神经网络介绍给做语音的学者们，然后2010年语音识别就产生了巨大突破。接下来11年CNN又被应用在图像识别领域，取得的成绩令人瞩目。2015年LeCun、Bengio和Hinton三位大牛在Nature上刊发了一篇综述，题为Deep Learning，这标志着深度神经网络不仅在工业届获得成功，还真正被学术界所接受。
2016、2017应该是深度学习全面爆发的两年，Google推出的AlphaGo和Alpha Zero，经过短暂的学习就完全碾压当今世界排名前三的围棋选手；科大讯飞推出的智能语音系统，识别正确率高达到了97%以上，其也摇身一变成为AI的领跑者；百度推出的无人驾驶体统Apollo也顺利上路完成公测，使得共享汽车离我们越来越近。种种的成就让举世哗然的人类再次认识到神经网络的价值和魅力。
三、神经网络的研究方向
神经网络的研究可以分为理论研究和应用研究两大方面。
理论研究可分为以下两类：
1、利用神经生理与认知科学研究人类思维以及智能机理，进一步丰富对人脑的认识；
2、希望在理论上寻找新的突破，深入研究网络算法和性能，如：稳定性、收敛性、容错性、鲁棒性等；开发新的网络数理理论，如：深度神经网络、卷积神经网络、神经网络动力学、非线性神经场等。
应用研究可分为以下两类：
1、大部分的神经网络研究都停留在理论先行，因此需要强有力的软件模拟和硬件实现；目前常用的软件框架有TensorFlow、Caffe、Theano、Keras等；专用硬件实现的方法和技术包括FPGA实现、GPU实现、神经芯片、DSP加速板以及TPU实现等
2、神经网络毕竟只是一个算法模型，真正发挥价值需要跟各个领域中的应用相结合，常见的领域包括：模式识别、信号处理、知识工程、专家系统、优化组合、智能控制等等。随着神经网络理论本身以及相关理论、相关技术的不断发展，神经网络的应用定将更加深入。
在理论及应用方面做得较好的华人目前有吴恩达、李飞飞、李开复、洪小文、张潼、李航、周志华等；国内做的较好的企业有BAT（百度目前最强）、华为、科大讯飞、今日头条、第四范式、旷视科技Face++等。
目前人工神经网络已经在一些特定领域取得了举世瞩目的成绩，可它的学习和训练往往是一个艰难的过程，首先网络的设计没有严格确定的方法（一般凭经验），所以选择训练方法和所需网络结构没有统一标准。而且脱机训练往往需要很长时间，为了获得最佳效果，常常要重复试验多次。最后网络收敛性的问题也很难保证。不过随着越来越多科研工作者的投入，未来人工神经网络的理论和应用均会越来越成熟，其用武之地不可想象。
参考资料
- https://wenku.baidu.com/view/601de31452d380eb62946d7b.html 05神经网络原理及应用
- https://item.jd.com/11867803.html 《机器学习》 周志华
- https://item.jd.com/11962552.html 《神经网络与深度学习》 吴岸城
- http://www.360doc.com/content/15/0711/13/21966267_484214274.shtml 深度学习史上最全总结