深大教授石大明：深度学习在神经网络中的作用

    11月12－13日，由OFweek中国高科技行业门户、高科会主办的“OFweek2018（第三届）中国高科技产业大会”在深圳成功举办。在13日“OFweek2018（第三届）人工智能产业大会AI技术专场”上，深圳大学计算机与软件学院特聘教授石大明带来了“从神经网络到深度学习”的主题演讲，针对深度学习在神经网络的发展方向进行了详细分析。
    
    深圳大学计算机与软件学院特聘教授石大明
    神经网络是一门重要的机器学习技术，也是目前最为火热的研究方向，即深度学习的基础。石大明教授首先详细分析了人工智能两大学派：符号主义与连接主义，紧接着又讲述了机器学习的两大方法：有监督学习和非监督学习，循序渐进。
    神经网络发展包含四个里程碑，分别是感知器、多层感知器、支持向量机、深度学习，并对神经网络中的难点进行了分析。他提出，深度学习在神经网络发展中的地位实质是靠强大的计算和存储能力进行搜索而完成自动特征提取，同时具有理论上无突破，缺乏网络结构和参数优化等缺点。石大明表示，深度学习的发展方向应当是：结合领域知识的特征提取的同时，定量优化网络结构。
    深度学习不是万能的
    大脑的工作过程，是一个对接收信号不断迭代、不断抽象概念化的过程。例如，从原始信号摄入开始，接着做初步处理、抽象，再进一步抽象，最后识别人脸。这个过程其实和人们的常识是相吻合的，因为复杂的图形，往往就是由一些基本结构组合而成的。因此，石大明介绍到：大脑是一个深度架构，认知过程也是深度的。深度学习，恰恰就是通过组合低层特征形成更加抽象的高层特征。
    深度学习通过学习深层非线性网络结构，只需简单的网络结构即可实现复杂函数的逼近，并展现了强大的从大量无标注样本集中学习数据集本质特征的能力。深度学习能够获得可更好地表示数据的特征，同时由于模型的层次深、表达能力强，因此有能力表示大规模数据。对于图像、语音这种特征不明显的问题，深度模型能够在大规模训练数据上取得更好的效果。相比于传统的神经网络，深度神经网络作出了重大的改进，在训练上的难度可以通过“逐层预训练”来有效降低。
    石大明认为，深度学习并不是万能的，其需要结合特定领域的先验知识，需要和其他模型结合才能得到最好的结果。此外，类似于神经网络，深度学习的另一局限性是可解释性不强，像个“黑箱子”一样不知为什么能取得好的效果，以及不知如何有针对性地去具体改进，而这有可能成为产品升级过程中的阻碍。
    深度学习应用最广泛的三个主要研究领域
    深度学习极大地促进了机器学习的发展，收到世界各国相关领域研究人员和高科技公司的重视，石大明表示语音、图像和自然语言处理是深度学习算法应用最广泛的三个主要研究领域：
    1、深度学习在语音识别领域研究现状
    长期以来，语音识别系统大多是采用GMM来描述每个建模单元的概率模型。由于这种模型估计简单，方便使用大规模数据对其训练，有较好的区分度训练算法，在很长时间内占据了语音识别应用领域主导性地位。
    2、深度学习在图像识别领域研究现状
    对于图像的处理是深度学习算法最早尝试应用的领域。起初卷积神经网络在小规模的问题上取得了当时世界最好成果。但是在很长一段时间里一直没有取得重大突破。主要原因是卷积神经网络应用在大尺寸图像上一直不能取得理想结果，而现在的深度学习网络模型已经能够理解和识别一般的自然图像。深度学习模型不仅大幅提高了图像识别的精度，同时也避免了需要消耗大量时间进行人工特征的提取，使得在线运行效率大大提升。
    3、深度学习在自然语言处理领域研究现状
    自然语言处理问题是深度学习在除了语音和图像处理之外的另一个重要的应用领域。深度学习在自然语言处理上取得的成果和在图像语音识别方面相差甚远，仍有待深入研究。
    更多详细内容，敬请关注OFweek人工智能网后续专题报道。