山重水复疑无路_最快下降问梯度（深度学习入门系列之七）

摘要： “天下武功，唯快不破”。欲速览无限风光，必攀险峰；欲速抵山底幽谷，则必滚陡坡。这滚山坡的道理，其实就是梯度递减策略，而梯度递减策略，则是BP算法成功背后的“男（ji）人（chu）”。想知道为啥，来一探究竟呗！

更多深度文章，请关注：https://yq.aliyun.com/cloud

系列文章：
一入侯门“深”似海，深度学习深几许（深度学习入门系列之一）
人工“碳”索意犹尽，智能“硅”来未可知（深度学习入门系列之二）
神经网络不胜语，M-P模型似可寻（深度学习入门系列之三）
“机器学习”三重门，“中庸之道”趋若人（深度学习入门系列之四）
Hello World感知机，懂你我心才安息 (深度学习入门系列之五)
损失函数减肥用，神经网络调权重（深度学习入门系列之六）

一年多前，吴军博士写了一本畅销书《智能时代》[1]。书里提到，在人工智能领域，有一个流派叫“鸟飞派”，亦称之为“模仿派”。说的是，当人们要学习飞翔的时候，最先想到的是模仿鸟一样去飞翔。
很多年前，印度诗人泰戈尔出了本《飞鸟集》，里面有个名句：“天空没有留下翅膀的痕迹，但我已经飞过”。有人对此解读为，“人世间，很多事情虽然做过了，却不为人所知，但那又如何？重要的是，我已做过，并从中获得了许多。”
两千多年前，司马迁在《史记•滑稽列传》写到：“此鸟不飞则已，一飞冲天；不鸣则已，一鸣惊人。”。说的是当年楚庄王在“势不眷我”时，选择了“蛰伏”。蛰伏，只是一个储势过程，迟早有一天，蓄势待发，“发”则达天。
这三者的情感交集，让我联想到出了本章的主人公杰弗里•辛顿（Geoffrey Hinton）教授，在学术界里，他就是这样的一个“励志”人物！
1986年，辛顿教授和他的小伙伴们重新设计了BP算法，以“人工神经网络”模仿大脑工作机理，“吻”醒了沉睡多年的“人工智能”公主，一时风光无限。
但“好花不常开，好景不常在”。当风光不再时，辛顿和他的研究方向，逐渐被世人所淡忘。
这被“淡忘”的冷板凳一坐，就是30年。
但在这30年里，辛顿又如“飞鸟”一般，即使“飞过无痕”，也从不放弃。从哪里跌倒，就从哪里爬起。实在不行，即使换个马甲，也要重过一生。
玉汝于成，功不唐捐。
终于，在2006年，辛顿等人提出了“深度信念网（Deep Belief Nets，DBN）”（这实际上就是多层神经网络的马甲）[2]。这个“深度信念网”后期被称为“深度学习”。终于，辛顿再次闪耀于人工智能世界，随后被封为“深度学习教父”。
但细心的读者可发现，即使辛顿等人提出了“深度信念网”，在随后的小10年里，这个概念亦是不温不火地发展着（如图1所示）。直到后期（2012年以后），随着大数据和大计算（GPU、云计算等）的兴起，深度学习才开始大行其道，一时间甚嚣尘上。

473387ba332c29a061579c612ecdcabd36b2d99a
图7-1 深度学习的谷歌趋势图
回顾起杰弗里•辛顿过往40多年的学术生涯，可谓是顾跌宕起伏，但最终修得正果。但倘若细细说起，这“牛逼”，还得从1986年吹起。

7.1 1986年的那篇神作
1986年10月，杰弗里•辛顿还在卡内基梅隆大学任职。他和在加州大学圣迭戈分校的认知心理学家大卫·鲁梅尔哈特（David Rumelhart）等人，在著名学术期刊《自然》上联合发表题为：“通过反向传播算法的学习表征（Learning Representations by Back-propagating errors）”的论文[3]。该文首次系统简洁地阐述反向传播算法（BP）在神经网络模型上的应用，该算法把网络权值纠错的运算量,从原来的与神经元数目的平方成正比，下降到只和神经元数目本身成正比。
与此同时，当时的大背景是，在八十年代末，Intel x86系列的微处理器和内存技术的发展，让计算机的运行速度和数据访存速度也比二十年前高了几个数量级。这一下（运算量下降）一上（计算速度上升），加之多层神经网络可通过设置隐含层 (hidden layer)，极大增强了数据特征的表征能力，从而轻易解决感知机无法实现的异或门 (XOR gate)难题，这些“天时地利人和”的大好环境，极大缓解了当年明斯基对神经网络的责难。
于是，人工神经网络的研究，渐渐得以复苏。
http://click.aliyun.com/m/23532/