华为高级研究员谢凌曦: 下一代人工智能计算模型探索

    导 读
    为什么、难在哪、怎么做：——下一代人工智能计算模型探索
    Next Generation of AI－Computing Models：——Why， What， and How下一代人工智能计算模型，主要是使用一些自动化技术帮助我们设计更好的深度学习网络结构，并在任务中提升性能。本文会重点从Why、What、How这3个地方重点讲解。
    第一部分 什么是网络架构搜索（NAS）？为什么很重要？
    一、AI领域未来面临的挑战
    有3件事是确定的：数据（data），模型（model），知识（knowledge）
    
    1． 数据
    Data－efficiency：如何利用有限或多模态数据训练模型？
    在如今的数据爆炸时代，会产生海量的数据，其中只有很少的数据有数据标注，大量的数据没有数据标注，且数据很“脏”。于是引出了第一个问题：如何从海量数据重，真正学习到自己想要的东西。
    AI未来的发展方向是从全监督发展成自监督和无监督的方向。
    2． 模型
    Auto－learning：如何为人工智能应用设计强大高效的模型？
    这一代的计算模型主要是基于深度学习的，尤其是卷积神经网络。深度学习在图像识别领域的应用，使得原先的模型从手工识别特征发展到自动学习特征。
    基于这种发展的趋势，我们将模型继续推进一步，使得深度学习的网络设计也从手动转为自动。这是模型部分所面临的挑战。
    3． 知识
    Knowledge－aware：如何定义和存储知识，使训练后的模型安全可靠？
    现有模型的算法，大部分都是拟合和训练数据，并不能保证拟合得到的结果具备分析常识的能力，即“不能真正地学习知识”。由于计算机缺乏常识，对知识的学习，可能会成为AI未来5年的研究方向。
    二、AutoML介绍
    本文的重点是模型部分，主要分析手动和自动，这两种思路的区别。
    2017年自动化网格搜索架构被提出后，“手动更好”还是“自动更好”这类争论不断。在争论的过程中逐渐催生出了一个新的方向，称为自动化机器学习（AutoML）。这一方向在工业界得到了更多的关注度。
    工业界的关注度超过学术结，主要有两个原因：
    （1） 工业界的算力更强。
    AutoML算法对计算资源的消耗非常大。例如，Google发表的NAS方面的论文，需要上万个GPU ／天才能完成这样的计算。
    （2） 工业界有很强的需求。AutoML可以帮工业界节省很多的开发成本。
    以华为为例，华为有各种各样不同的手机产品，从旗舰机到低端的手机，芯片的计算能力会差很多。用户会需要在不同的手机中完成相似的功能（如拍视频），因此针对不同的芯片需要设计不同的网络架构以满足用户的需求；另一方面，用户的需求（如清晰度的要求）是实时变化的，如果使用人工机器学习算法，会带来巨大的人力投入。基于此，工业界存在自动化算法的需求。