当前位置:主页 > 数据驱动 >

从起源到具体算法,这是一份适合所有人读的深度学习综述论文

 发布时间:2018-05-26 来源:
自 2012 年多伦多大学 Alex Krizhevsky 等人提出 AlexNet 以来,「深度学习」作为一种机器学习的强大方法逐渐引发了今天的 AI 热潮。随着这种技术被应用到各种不同领域,人们已经开发出了大量新模型与架构,以至于我们无法理清网络类型之间的关系。近日,来自 University of Dayton 的研究者们对深度学习近年来的发展历程进行了全面的梳理与总结,并指出了目前人们面临的主要技术挑战。机器之心觉得这是一份非常详细的综述论文,既适合从零开始了解深度学习的人,又适合有基础的学习者。

论文地址:https://arxiv.org/abs/1803.01164

近年来,深度学习作为机器学习的新分支,其应用在多个领域取得巨大成功,并一直在快速发展,不断开创新的应用模式,创造新机会。深度学习方法根据训练数据是否拥有标记信息被划分为监督学习、半监督学习和无监督学习。实验结果显示了上述方法在图像处理、计算机视觉、语音识别、机器翻译、艺术、医学成像、医疗信息处理、机器人控制和生物、自然语言处理(NLP)、网络安全等领域的最新成果。本报告简要概述了深度学习方法的发展,包括深度神经网络(DNN)、卷积神经网络(CNN)、循环神经网络(RNN)(包括长短期记忆(LSTM)和门控循环单元(GRU))、自 编码器(AE)、深度信念网络(DBN),生成对抗网络(GAN)和深度强化学习(DRL)。此外,本文也涵盖了深度学习方法前沿发展和高级变体深度学习技术。此外,深度学习方法在各个应用领域进行的探索和评估也包含在本次调查中。我们还会谈到最新开发的框架、SDK 和用于评估深度学习方法的基准数据集。然而,这些论文并没有讨论某些大型深度学习模型和最新开发的生成模型方法 [1]。

介绍

自 20 世纪 50 年代以来,作为人工智能子领域的机器学习已经开始革新若干个领域,而诞生自机器学习的深度学习实现了迄今为止最大的原创性突破,几乎在每个应用领域取得了显著成功。图 1 给出了 AI 的谱系。深度学习(学习或分层学习方法的深层架构)是从 2006 年兴起的一类机器学习技术。在深度学习中,学习即是评估模型参数,使学习模型(算法)可执行特定任务。例如,在人工神经网络(ANN)中,参数是权重矩阵从起源到具体算法,这是一份适合所有人读的深度学习综述论文。另一方面,深度学习在输入层和输出层之间包含若干个隐层,使得不同阶段的非线性处理单元具有层级结构,以用于特征学习和模式分类 [1, 2]。基于数据表征的学习方法也被称为表征学习 [3]。根据最新文献,基于深度学习的表征学习涉及特征或概念的层次结构,其中高级概念可以从低级概念定义,低级概念可以从高级概念定义。在一些文章中,深度学习也被描述为一种通用学习方法,可以解决不同应用领域的几乎所有问题(不局限于特定任务)[4]。

 

A. 深度学习方法的类型

像机器学习一样,深度学习方法可以分为以下几类:监督、半监督、部分监督以及无监督。此外,还有另一类学习方法称为强化学习(Reinforcement Learning)或深度强化学习(Deep Reinforcement Learning),它们经常在半监督或非监督学习方法的范围内讨论。

 

从起源到具体算法,这是一份适合所有人读的深度学习综述论文

 

图 1:人工智能谱系:AI、机器学习、神经网络、深度学习和脉冲神经网络(SNN)。

1) 监督学习

一种使用标注数据的学习技术。在其案例中,环境包含一组对应的输入输出。比如,输入是 x_t,智能体预测,则会获得损失值。接着智能体不断迭代调整网络参数,从而更好地近似期望输出。成功训练之后,智能体可对环境问题做出正确回答。监督学习主要有以下几种:深度神经网络 (DNN)、卷积神经网络 (CNN)、循环神经网络(包含 LSTM)以及门控循环单元(GRU)。上述网络将分别在 2、3、4、5 章节中详述。

 

2) 半监督学习

一种使用部分标注数据的学习技术(通常被称之为强化学习)。本文第 8 节调查了其方法。在一些案例中,深度强化学习(DRL)和生成对抗网络(GAN)常被用作半监督学习技术。此外,包含 LSTM 的 RNN 和 GRU 也可划分为半监督学习。GAN 将在第 7 节讨论。

3) 无监督学习

一种不使用标注数据的学习技术。在这种情况下,智能体学习内部表示或重要特征以发现输入数据中的未知关系或结构。无监督学习方法通常有聚类、降维和生成技术等。有些深度学习技术擅长聚类和非线性降维,如自编码器(AE)、受限玻尔兹曼机(RBM)和 GAN。此外,RNN(比如 LSTM)和 RL 也被用作半监督学习 [243]。本文第 6、7 节将分别详述 RNN 和 LSTM。

4) 深度强化学习(DRL)

一种适用于未知环境的学习技术。DRL 始于 2013 年谷歌 Deep Mind[5,6]。从此,人们基于 RL 提出了几种先进的方法,例如:如果环境样本输入:agentρ,agentpredict:,agentreceivecost:,其中 P 是未知概率分布,环境向智能体提出问题,并给其一个有噪音的分值作为答案。有时这种方法也被称为半监督学习。许多半监督和无监督学习方法已经基于这个概念实施(第 8 节)。在 RL 中,我们没有一个简单的前向损失函数,因此与传统的监督方法相比,这使得机器学习变得更困难。RL 和监督学习之间的根本区别在于:首先,我们无法获取你正在优化的函数,而必须通过交互来查询它;其次,我们正在与基于状态的环境交互:输入 x_t 取决于先前的动作。

 

 

从起源到具体算法,这是一份适合所有人读的深度学习综述论文

 

图 2:深度学习方法的分类

B. 特征学习

传统机器学习和深度学习之间的关键区别在于如何提取特征。传统机器学习方法通过应用几种特征提取算法,包括尺度不变特征变换(SIFT)、加速鲁棒特征(SURF)、GIST、RANSAC、直方图方向梯度(HOG)、局部二元模式(LBP)、经验模式分解(EMD)语音分析等等。最后,包括支持向量机(SVM)、随机森林(RF)、主成分分析(PCA)、核主成分分析(KPCA)、线性递减分析(LDA)、Fisher 递减分析(FDA)等很多学习算法都被人们应用于分类和提取特征的任务。此外,其他增强方法通常多个应用于单个任务或数据集特征的学习算法,并根据不同算法的多个结果进行决策。

文章评论

互联网 自媒体专栏 智能硬件 资本动态 移动互联网 游戏 数据驱动 滚动新闻 O2O 访问移动版
Copyright © 2002-2013 搞数码网 版权所有  电话:0510-898978789 邮箱:89898989@qq.com 地址:北京市新会金水岸国商大厦B-6-B