谷歌大脑,微软探讨了人工智能网络的神秘面纱
胡说科技我们生活在一个网络时代。从Facebook的社交图到身体中蛋白质的相互作用,越来越多的世界被表现为网络中的连接。
例如斯坦福大学的拉里佩奇和谢尔盖布林首次建立网络网络,称为“PageRank”,这是Google的基础。
人工智能领域的一些重要人物一直在研究如何使机器学习技术更加智能地理解网络。近日,来自微软,谷歌的谷歌大脑部门,斯坦福大学,剑桥大学和蒙特利尔学习算法研究所的人工智能领域的一些报告称其在使神经网络破译Reddit等社交网络的隐藏结构方面取得了突破性进展。
题为“ Deep Graph Infomax ”的论文由剑桥大学的主要作者,蒙特利尔学习算法研究所的Yoshua Bengio和William Hamilton,微软的研究人员,谷歌的Google Brain部门和斯坦福大学撰写。他们提出了一种破解网络中看不见部分的新方法。
他们的发明,Deep Graph Infomax,分发有关整个社交网络Reddit的全球信息,虽然不完整,但要弄清楚Reddit中较小的“本地”社区的细节,这是一种从大型图片向小型线索反向工作的方式。
网络可以是通过连接的任何事物,通过Reddit,Reddit成员的个人帖子含有转到其他帖子的链接,帖子之间的连接网络为每个帖子提供了上下文和含义,从而实现通过神经网络来预测Reddit网络的“社区结构”。
但是存在扩展问题。在像Reddit这样拥有数百万个帖子的大型网络中,不可能从一开始就收集所有帖子及其连接。这是Page和布林在90年代末建立Google时首先遇到的问题:PageRank必须映射所有网络,而无法“看到”未知的网络部分。
该解决方案涉及结合神经网络中的多个突破的阻力。
作者改编了微软的R.Devon Hjelm的早期作品“Deep Infomax”。Hjelm的Deep Infomax试图改善图像识别,而不是对网络的理解。通过在图像的片段和这些图像的高级“表示”之间共享信息,称为“互信息”的过程,Deep Infomax能够比其他图像识别手段更好地执行。
作者采用Deep Infomax方法并将其从图像转换为网络表示。他们训练了一个卷积神经网络(CNN)来协调有关网络拓扑的一小部分区域的已知信息以及整个网络的已知信息。通过这样,他们重新创建了通常由人提供的“标签”来训练AI模型,在相互信息的使用基本上重新创建了标签通常提供给神经网络的“监督”。
作者指出,Deep Graph Infomax能够与其他程序竞争,以分析它以前从未见过的图形,称为归纳分析。虽然其他方法仅了解网络的一部分的细节,但作者创建的模型中的每个“节点”都可以访问网络的整个图的结构属性。
有趣的是,通过抛弃典型的网络分析方法(称为“随机漫步”),作者写道他们的方法比其他分析更复杂。
“已知随机游走物镜以结构信息为代价过度强调接近度信息。” 从这个意义上说,随机游走有一种偏见,这是人工智能科学家想要消除的。
相比之下,Deep Graph Infomax使网络中的每个节点都“注意到图形的全局结构特性”。
报告有一个更大的要点:神经网络可以将有关细节的信息与有关更大图片的信息进行匹配,可以实现更好的“表示”。表示意味着对主题具有更高级别的抽象。因此,这项工作有助于不断追求让AI更高层次的理解,而不仅仅是它所关注的相关性。