企业人工智能平台建设的最佳实践


    智能可能是人工的,但这种趋势是真实的。人工智能已经成为企业实现许多目标的迫切需求的功能之一,从开发新产品和不同的产品,到提高现有产品和服务的速度、质量和效率。
    人们很快发现人工智能代表了多种工具和技术。其中大部分都是利基产品,越来越多的产品具有“即插即用”功能。然而,这些技术发生的变化比人们的预期还要快。同时,由于数据驱动的企业专注于构建不同类型的人工智能,他们面临着一些共同的挑战。
    在某些情况下,人工智能项目花费的时间太长。这可能是由于一些经常出现的障碍,其中包括没有一个一致的平台,或者由于缺乏人才,以及缺乏干净、准确的数据来训练人工智能。还有一些则在展示具有良好价值的概念和证明,但由于缺乏正式的治理,组织仍然对将人工智能部署到生产中犹豫不决。虽然有些人可能无法确定强有力的用例,但其他人试图管理一组高度动态的用例。
    企业将人工智能用于要求重大技术敏捷性和不确定性的业务模型中。
    而处理这种复杂性可能就像在飞行中建造飞机一样。如果人们不确定需要什么,那么将如何决定投资方向?采用哪些解决方案能够满足这些需求?以及需要哪些资源来满足这些需求?答案在于开发企业级人工智能平台。
    企业级人工智能平台
    企业级人工智能平台是大规模加速企业级人工智能项目实施的生命周期的框架。它为组织提供了一种结构化且灵活的方式来创建当今和长期的人工智能驱动解决方案。它还使人工智能服务能够从概念证明扩展到生产规模系统。它通过面向服务和事件驱动架构世界的特定准则来实现整合。
    如果设计良好,企业人工智能平台将促进人工智能科学家和工程师之间的更快、更高效和更有效的协作。它有助于以各种方式控制成本,避免重复工作,自动执行低价值任务,并提高所有工作的可重复性和可重用性。它还消除了一些成本昂贵的活动,即复制和提取数据以及管理数据质量。
    更重要的是,企业人工智能平台可以帮助解决技能差距。它不仅成为新人入职的焦点,而且还有助于开发和支持人工智能科学家和机器学习工程师团队的最佳实践。而且,它可以帮助确保工作分配更均匀、更快完成。
    在企业人工智能平台中,元素被组织为五个逻辑层:
    数据和集成层提供对企业数据的访问。这种数据访问是至关重要的,因为在采用人工智能过程中,开发人员不用人工编写规则。相反,机器正在根据它所访问的数据来学习规则。数据组件还包括数据转换和治理元素,以帮助管理数据存储库和数据源。数据源可以封装在可以在抽象层次与数据进行交互的服务中,为现有的平台数据本体提供单一的参考点。最重要的是,数据必须具有高质量,人工智能科学家必须能够在不依赖IT团队的情况下构建他们所需的数据流水线,其理想情况是采用简单的自助服务,以便他们可以根据需要进行实验。
    实验层是人工智能科学家开发、测试和重复假设的地方。良好的实验层为特征工程、特征选择、模型选择、模型优化和模型可解释性带来自动化。理念管理和模型管理是授权人工智能科学家合作和避免重复的关键。
    运营和部署层对于模型治理和部署非常重要。这就是进行模型风险评估的地方,以便模型治理团队或模型风险办公室可以验证,并查看模型证明模型的可解释性、模型偏差和公平性以及模型故障安全机制。操作层包含AI DevOps工程师和系统管理员的实验结果。它提供工具和机制来管理跨平台的各种模型和其他组件的“容器化”部署。它还能够监控模型性能的准确性。
    智能层在运行时支持人工智能,在实验层中处理训练时间活动。它是技术解决方案和产品团队与认知体验专家一起工作的产物。智能层可以将可重用的组件(如低级服务API)公开到许多低级API的复合编排的智能产品中。智能服务的协调和交付的核心是智能层,它是指导服务交付的主要资源,并且可以简单地作为从请求到响应的固定中继来实现。然而,理想情况下,它使用诸如动态服务发现和意图识别等概念来实现,以提供灵活的响应平台,尽管认知方向不明确,但能够实现认知交互。
    体验层通过会话用户界面(UI),增强现实和手势控制等技术与用户进行交互。人工智能平台是一个不断增长的领域,其中包含可以为解决方案提供视觉和会话设计工作的组件。它通常由拥有传统用户体验工作者、会话体验工作者、视觉设计师和其他创造性人员的认知体验团队所拥有,他们通过人工智能技术创造出丰富而有意义的体验。
    以下更深入地检查操作层,讨论人工智能的治理和部署。
    在操作层:管理思想、模型和配置
    作为一个组织探索使用人工智能的机会,它需要一种正式的方法来跟踪这些想法:测试可能性,捕捉可行性,并为经过测试,并确定为不成立的概念维护这些想法。
    这听起来很简单,但潜在的想法数量和它们之间的细微差别,很快就会变得势不可挡。为了避免这种复杂性,企业应该设计和实施一个自动化的想法管理流程,以跟踪和管理想法和实验的生命周期。这样做有助于追踪创意表现,并确保创意质量。通过提供团队范围的可见性来获得成功的想法,并管理重复作品和潜在的冲突,也可以提高效率。
    类似的方法可以应用于管理模型。构建真实世界的机器学习算法是复杂且高度迭代的。人工智能科学家在达到符合某些验收标准之前可能会建立数十甚至数百个模型。现在,想象一下,没有正式流程或工具来管理这些工作产品的人工智能科学家。
    模型管理的正式流程将缓解个人和组织面临的问题。它使人工智能科学家能够详细跟踪他们的工作,为他们提供实验记录。这样的过程也使他们能够捕捉到重要的见解,从规范化影响结果到细化特征如何影响某些数据子集的性能。
    在整个组织中,健全的模型管理使数据科学家能够审查、修改并构建彼此的工作,帮助加快进度,并避免浪费时间。它还使企业能够跨模型进行元分析,以回答更广泛的问题(例如,“哪些超参数设置最适合这些功能?”)。
    要在企业范围内取得成功,组织必须能够存储、跟踪、索引模型以及数据管道。传统的模型管理应该扩展到包含配置管理。记录每个模型,其参数和数据管道使模型能够被查询、复制、分析和共享。
    例如,考虑模型管理将追踪已经经过测试的超参数并记录最终用于部署的内容。但是,模型管理不会同时测试什么功能被测试和丢弃,对数据管道做了哪些修改,或者提供了哪些计算资源来支持充分的培训。
    与模型管理数据一起,跟踪这种配置信息可以加速人工智能服务的部署,同时减少重复工作。而只是通过电子表格管理模型,企业永远不会达到这种可见度和分析水平。
    使知识成为服务
    企业人工智能平台为组织提供智能服务和产品铺平了道路,不仅允许人工智能科学家也允许所有员工和客户使用他们需要的工具或工具组合。
    不会受到任何一种人工智能类型或解决方案的束缚,它可以快速配置高性能环境,以支持几乎任何种类的人工智能。简而言之,它将人工智能从一系列有限点解决方案转变为企业能力,随着时间的推移,它可以定制和部署以实现业务目标,并可以不断改进。
    随着人工智能成为每个数据驱动型组织的中流砥柱,必须以敏捷性和可扩展性为重点进行战略管理。最成功的组织将是那些花时间为企业构建企业级人工智能平台的企业。采用这种方法,他们不仅可以在当今更快地提供更多的价值,也可以在未来获得新的机会。
    通过企业级人工智能平台(而不是独立工具的拼凑),企业将能够很好地应对人工智能使用案例和其他新兴支持技术的进步。