中国电子信息工程科技发展研究（深度学习专题）

作者简介

内容简介

第1章 全球发展态势
　　深度学习属于机器学习的范畴。与传统机器学习方法有显著差异的是，其使用多层非线性处理单元级联进行特征提取和转换，实现了多层次的特征表示与概念抽象的学习[1，2]。深度学习避免了传统机器学习方式下对特征工程的要求，可以容易地实现端到端的训练，并且在大数据下展现出明显的效果优势。深度学习在语音、视觉和自然语言处理等领域广泛应用并取得巨大成功，也使得机器学习更加接近人工智能的初始目标。
　　近几年深度学习在学术界和工业界产生了巨大的影响。学术界多个领域使用深度学习方法取得突破，深度学习相关论文激增，深度学习成为各大学术会议的大热关键词，相关专利更是最近几年人工智能专利申请量的主力。工业界进展突飞猛进，产品层出不穷，大大改善了人类的工作、学习和生活的方式，促进了社会的进步。深度学习已经广泛地被应用于很多重要的领域，其中在信息获取、信息交流、购物、医疗、金融、工业生产等领域，越来越多的应用依赖于深度学习技术。在2019年和未来几年，它们将越来越多地出现在我们的日常生活中。
　　1.1 深度学习技术发展情况
　　1.1.1 深度学习发展历史
　　虽然深度学习近年来才火热起来，但深度学习技术并不是一时兴起的，而是经历了漫长的发展过程。当前主流的深度学习方法是基于神经网络的，而神经网络的研究历史非常悠久，并且经历了几次起落。
　　神经网络思想的起源可追溯到1943年。美国数学逻辑学家沃尔特 皮茨（Walter Pitts）和心理学家沃伦 麦克洛克（Warren McCulloch）发表论文《神经活动中内在思想的逻辑演算》，提出了神经元的形式化数学描述和网络结构方法。
　　1958年，康内尔大学教授弗兰克 罗森布拉特（Frank Rosenblatt）提出了由两层神经元组成的感知器（Perceptron）人工神经网络模型，采用海布（Hebb）学习规则或最小二乘法来进行训练。感知器的提出吸引了大量科学家对人工神经网络研究的兴趣。
　　1969年，马文 明斯基（Marvin Minsky）和LOGO语言的创始人西蒙 派珀特（Seymour Papert）从数学角度证明了关于单层感知器的局限性，它甚至不能解决异或（XOR）问题，同时在当时不能有效地训练多层感知器。20世纪70年代，人工神经网络进入了寒冬期。
　　直到1986年，由大卫 鲁姆哈特（David Rumelhart）、杰弗里 辛顿（Geoffrey Hinton）和罗纳德 威廉姆斯（Ronald Williams） 重新提出适用于多层感知器（Multi Layer Perceptron， MLP）的反向传播（Back Propagation， BP）算法，引起人们的重视，人工神经网络研究进入第二次热潮。
　　1989年，罗伯特 赫克特-尼尔森（Robert Hecht-Nielsen）证明了MLP的万能逼近定理。同年，杨立昆（Yann LeCun）提出了深度学习常用模型之一卷积神经网络（Convolutional Neural Network，CNN），并将其成功用于手写体数字识别。
　　由于20世纪80年代计算机的硬件水平有限，计算能力不足以支撑深层网络的训练，并且当神经网络的规模增大时，BP算法会出现“梯度消失”的问题，这使得神经网络的研究和应用受到很大限制。再加上90年代，以支持向量机（Support Vector Machine， SVM）为代表的其他类型的浅层机器学习算法被提出，并在分类、回归等问题上均取得了很好的效果，人工神经网络的发展再次进入低谷期。
　　2006年，可看作是深度学习元年。杰弗里 辛顿（Geoffrey Hinton）以及他的学生鲁斯兰 萨拉赫丁诺夫（Ruslan Salakhutdinov）正式提出了深度学习的概念[3]。他们在国际学术期刊Science发表的一篇文章中详细地给出了“梯度消失”问题的解决方案——通过无监督的学习方法逐层训练算法，再使用有监督的反向传播算法进行调优，这使得深层神经网络技术再次引起大家关注。
　　之后随着计算机硬件的快速进步，特别是图形处理器（Graphics Processing Unit， GPU）的大幅进步和广泛应用，算力得到极大提升。而互联网又带来了海量的数据，工业界对于大数据下的机器学习愈发重视，这都为深度学习的发展奠定了很好的基础。
　　2011年前后，杰弗里 辛顿与微软的研究员们将深度学习应用于语音识别，效果取得了明显提升。2012年，在ImageNet 图像识别大赛中，杰弗里 辛顿领导的小组采用深度学习模型AlexNet[4]一举夺冠，成功地把错误率从26%降到了15%。
　　深度学习在语音和图像任务上的突破性进展，极大吸引了学术界和工业界对深度学习领域的关注，引发了深度学习研究和应用的热潮。之后的几年，深度学习从算法模型研发、编程框架建设到底层训练加速、上层应用拓展都如火如荼，在更广泛领域取得了新的突破，并开始产生社会、经济效益。
　　值得一提的是深度学习在计算机围棋上取得的突破性进展，其趣味性和公众的高关注度让深度学习和人工智能等概念为大众所熟知，促进了社会大众对深度学习和人工智能相关研究及应用的接受程度。
　　2016年，谷歌DeepMind基于深度学习开发的AlphaGo，以4∶1的比分战胜世界冠军韩国围棋9段李世石，引发新的震撼。后来，AlphaGo又接连击败众多世界级围棋高手。这标志着在围棋领域，基于深度学习技术的AI棋手已经超越了人类。
　　2017年，AlphaGo升级到AlphaGo Zero，完全抛弃了人类棋谱，采用“从零开始”“无师自通”的学习模式，经过3天自我对弈训练以100∶0的比分轻而易举打败了AlphaGo。AlphaGo Zero，把计算机围棋做到了极致。
　　AlphaGo 和AlphaGo Zero其实是整合了深度学习和强化学习技术，深度学习强在感知能力，强化学习偏向决策能力。AlphaGo 结合了深度强化学习和蒙特卡洛树搜索，构建了两个网络来提升搜索效率。通过策略网络选择落子位置降低搜索宽度，使用价值网络评估局面以缩小搜索深度，搜索效率大幅提升的同时胜率估算也更加精确。AlphaGo同时使用了强化学习的自我博弈来对策略网络进行学习，使用自我博弈和快速走子结合形成的棋谱数据进一步训练价值网络。最终在线对弈时，结合策略网络和价值网络的蒙特卡洛树搜索在当前局面下选择最终的落子位置。
　　升级版的AlphaGo Zero将策略网络和价值网络整合在一起，使用纯粹的深度强化学习方法进行端到端的自我对弈学习。打败李世石的AlphaGo使用了大量人类棋谱进行训练，并且训练过程中也引入了部分人工设计特征。而AlphaGo Zero从随机初始的神经网络开始完全根据自我对弈进行学习，需要更少的硬件资源和更短的时间就达到了更好的水平。深度神经网络技术的更充分利用对于AlphaGo Zero的成功发挥了关键作用，使用了更深的残差网络，能在更加复杂的棋盘局面中将棋局直接作为输入来学习；原先独立的策略网络和价值网络合并成一个从输入层到中间层完全共享的统一网络，训练更快，效果更好。整体上AlphaGo Zero的架构更加简洁和统一，“简单粗暴”但却更加有效。
　　AlphaGo和AlphaGo Zero的成功，攻克了人类棋类智力游戏中较复杂、变化较多的围棋，展示了深度学习和强化学习等技术结合产生的巨大威力，也使深度学习更为社会公众所熟知。
　　1.1.2 深度学习成为全球学术研究热点
　　深度学习成为国际学术会议的焦点，论文数量激增。近几年，人工智能相关的论文发表数量快速增长，其中围绕深度学习研究或使用深度学习方法的论文占比越来越高。根据斯坦福Artificial Intelligence Index 2018 Annual Report介绍的人工智能子类论文情况，机器学习和概率推理类论文在2010年的比例为28%，而2017年高达56%。其中，神经网络相关论文的数量2010—2014年复合年增长率（CAGR）为3%，2014—2017年复合年增长率为37% [5]。如图1.1所示。
　　从近几年各大学术会议的论文投稿和被接收情况来看，深度学习无疑是最受关注的研究方向之一。如国际机器学习大会（International Conference on Machine Learning，ICML）、神经信息处理系统大会（Neural Information Processing Systems，NeurIPS）、美国人工智能协会年会（Association for the Advance of Artificial Intelligence，AAAI）、国际人工智能联合会议（International Joint Conference on Artificial Intelligence，IJCAI）、国际计算语言学协会年会（the Association for Computational Linguistics，ACL）等国际会议上，深度学习相关的论文无论是投稿数还是接收量都位居前列。
　　图1.1 人工智能论文引用情况
　　全球深度学习专利申请量快速增长。近年来，随着人工智能技术和产业的快速发展，相应的专利申请量也呈快速增长态势，而其中的深度学习相关专利更是最近几年人