DeepMind开发了一项可衡量AI推理能力的测试


    强人工智能
    人工智能已经非常擅长完成特定的任务,但它离强人工智能(编者注:强人工智能Artificial General Intelligence是指在各方面都能和人类比肩的人工智能,具备了意识、感知和智慧的人工智能,目前还只存在于理论中。)还有很长一段路要走,这是一种让人工智能在世界上导航的方式,就像人类甚至动物一样。
    强人工智能的一个关键要素是抽象推理——超越“现在和现在”的思考能力,可以看到更细微的模式和关系,并进行复杂的思考。周三,DeepMind的研究人员发表了一篇论文,详细介绍了他们试图测量各种人工智能的抽象推理能力的尝试,并以此来衡量我们自己的推理能力。DeepMind是一家专注于人工智能的谷歌子公司。
    人类智商
    在人类中,我们使用相当直观的视觉智商测试来测量抽象推理。一个叫做Raven的渐进矩阵的流行测试,有几行图像,最后一行丢失了它的最终图像。由测试者根据已完成的行的模式选择接下来应该出现的图像。
    测试并不能直接告诉测试者在图像中寻找什么——也许这个过程与每个图像中的对象的数量、颜色或位置有关。这是由他们自己来用他们的抽象推理能力来解决的。
    为了将这个测试应用到人工智能,DeepMind的研究人员创建了一个程序,可以产生独特的矩阵问题。然后,他们训练了各种人工智能系统来解决这些矩阵问题。
    最后,他们测试了系统。在某些情况下,他们使用与训练集相同的抽象因素的测试问题——比如训练和测试人工智能上的问题,这些问题需要它考虑每个图像中形状的数量。在其他情况下,他们使用测试问题合并不同的抽象因素比训练集。例如,他们可能会训练所需的人工智能问题考虑的数量在每幅图像的形状,然后测试它在那些需要考虑形状的位置计算出正确的答案。
    测试结果并不理想
    当训练问题和测试问题集中在相同的抽象因素上时,系统运行良好,75%的时间正确地回答了问题。然而,如果测试集与训练集不同,即使差异很小(例如,对带有深色物体的矩阵进行训练,并在带有浅色物体的矩阵上进行测试),人工智能的表现也非常差。
    最终,该团队的人工智能测试显示,即使是当今最先进的人工智能,也无法解决我们没有训练过的问题。这意味着我们离强人工智能还有很长的路要走。但至少我们现在有了一种直接的方式来监控我们的进展。(编译丨吉吉)