情报机构希望软件能够阻止AI木马攻击

    对人工智能系统的最严重攻击可能不是来自恶意软件，而是来自单个粘滞便笺。
    由于人工智能系统处理大量数据以“学习”如何在其环境中进行交互，因此单个异常（例如粘贴在停止标志上的粘滞便笺）可能会根据技术的训练方式改变技术对所看到内容的看法。因此，粘滞便笺不是解释停止标志，而是可以触发启用AI的自动驾驶车辆将其注册为限速标志，这些标志在某些地方是黄色和方形的，从而造成潜在的伤害。如果你在AI系统的学习数据中嵌入足够的触发器，你可以大大改变它的行为。
    情报高级研究项目活动（IARPA）的官员正在寻找可以帮助阻止这种被称为特洛伊木马或后门攻击的场景的软件包，并且正在向业界寻求帮助。
    该情报界的研究部门 周六发布了一份广泛的机构声明草案，呼吁行业提供一个解决方案，可以评估和保护AI平台的数据和培训渠道，以保护其免受潜在的木马攻击。
    IARPA的程序，称为TrojAI，旨在检测何时潜在的木马触发器被放置在AI系统用于在部署用于实际操作之前进行训练的数据中。但是这样的目标本身并非没有挑战。
    “对木马攻击的明显防御是网络安全（以保护训练数据）和数据清理（以确保训练数据准确），”BAA说。“不幸的是，现代人工智能的进步的特点是庞大的众包数据集，这些数据集对于清理或监控是不切实际的。”
    人工智能系统还包含用于训练其他人工智能的公共数据集，并根据特定用例进行调整，这一过程称为转移学习。因此，在没有开发人员知识的情况下，可以在多个AI系统的学习数据中离散地摄取特洛伊木马触发器。
    “为了使特洛伊木马攻击有效，在正常操作环境中触发必须很少，因此它不会影响AI在测试数据集或正常操作中的性能，”IARPA官员说。“此外，触发器理想情况下是攻击者可以在AI的操作环境中控制的东西，因此他们可以激活木马行为。或者，触发器是世界上自然存在的东西，但仅在对手知道AI想要做什么的时候出现。“
    TrojAI计划希望开发一种解决方案，可以在AI系统经过培训后检测到这些触发器。具体而言，他们正在寻找具有深度学习，网络安全和其他经验的行业合作伙伴，以帮助制定AI内部处理的检查技术，以确定何时以及是否已放置特洛伊木马触发器。
    官方表示，他们将首先测试已经暴露于木马攻击的深度神经网络的潜在解决方案，并将其扩展到其他AI，因为它变得更有效。
    该计划将运行一个基准年，具有选项年和可能的额外后续工作。
    IARPA官员表示，他们将接受有关BAA草案的反馈，评论和问题，直到1月4日，随后将在晚些时候发布最终的BAA。