【维科杯】寒武纪参评“维科杯·OFweek 2024人工智能行业技术突破奖”
维科杯· OFweek 2024(第九届)人工智能行业年度评选(OFweek 9th AI Awards 2024)由高科技行业门户举办已有数年,作为高科技产业的核心评选活动,该评选是人工智能行业内的一大品牌盛会,亦是高科技行业具有专业性、影响力的评选之一。
此次活动旨在为人工智能行业的产品、技术和企业搭建品牌传播展示平台,并借助OFweek平台资源及影响力,向行业用户和市场推介创新产品与方案,鼓励更多企业投入技术创新;同时为行业输送更多创新产品、前沿技术,一同畅想人工智能行业的未来。
维科杯· OFweek 2024(第九届)人工智能行业年度评选(OFweek 9th AI Awards 2024)将于2024年7月1日-7月19日进入网络投票阶段,颁奖典礼将于8月28日在深圳举办。目前,活动正处于火热的企业申报阶段,业内企业积极响应。
寒武纪参评“维科杯·OFweek 2024人工智能行业技术突破奖”
参评奖项:维科杯·OFweek 2024人工智能行业技术突破奖
参评项目:寒武纪基础系统软件平台(训练及推理软件平台)
项目亮点:
(1)训练软件平台
报告期内,公司持续推进训练软件栈的研发和改进,新增加了功能和通用性支持,并大力推进大模型及推荐系统业务的支持和优化。
在新增功能方面,训练软件平台为客户模型迁移提供了多种工具,降低了客户的适配迁移成本。公司重点投入分布式和大规模集群的软件栈支撑,增加支持了多个分布式训练库,使训练软件栈能够支撑更多大模型分布式训练需求。软件栈完成了对典型操作系统的支持和发布,支持了生态的发展。
在通用性方面,公司增加了框架算子的支持数量,完成了重点客户提出的大量定制化算子扩展需求, 适配了多个重点客户的业务场景, 实现了更全面的数据类型支持,更好地支撑了大模型训练场景。
在性能方面, 公司通过重点客户性能优化需求的牵引,针对多个网络进行了优化,分析并实现了多个算子和框架层面的性能优化点,并在通信上持续进行了单机多卡和多机多卡的低延迟优化,通信延迟和带宽利用率达到了业界领先水平。
在大模型训练领域,公司完善了大模型的训练软件栈研发,进行了多个大模型的微调及预训练支持工作。 通过持续的技术优化和适配工作, 进一步优化了大模型训练性能,在大模型训练的性能和精度方面都取得了较强的竞争力,达到业务落地的性能和精度要求。 报告期内,公司成功验证了大模型在分布式集群上的预训练功能,实现了较长时间的稳定运行,且计算效率达到了业界领先水平。
此外,在搜索、广告推荐领域进行了优化或完成组件开发, 支撑多家客户的私有网络适配工作,客户需求网络性能远超既定目标。 完成了蛋白质模型领域的网络训练任务。
( 2)推理软件平台
报告期内,公司开发了支持大语言模型和多模态 AIGC 推理业务的基础软件,并分别对传统模型和生成式大模型进行了持续性能优化,加速了实际应用部署。
针对传统模型推理业务的性能优化,在包括语音合成、搜索推荐和视觉处理等领域的高频使用网络中,公司通过持续的优化工作,确保了该业务模型保持业界领先水平,满足客户业务的落地需求。
在大语言模型推理业务方面,公司研发了分布式推理加速库 BangTransformer,适配了主流大模型,经过深度性能优化,大模型推理达到了业界领先的模型计算效率,并成功实现了在客户业务环境下的应用。公司将 BangTransformer 集成到部分开源大模型推理框架中,进一步丰富了大模型生态系统。
在推理性能提升方面, BangTransformer 引入了多项优化技术,相较于传统框架,显著提高了运行效率。在图像生成领域,利用 MagicMind 对 StableDiffusion 等关键网络进行了优化和加速,成功服务了客户基于寒武纪推理软件平台的应用。
参评理由:
2023年,寒武纪基础系统软件平台的持续优化,软硬件平台易用程度有所提升,生态建设持续发展; 凭借过硬的技术能力,良好的服务意识,公司品牌影响力也在持续增强。此外,公司重视产学合作,已和多所高校开设了基于寒武纪平台的人工智能课程,建立了较完善的高校课程生态体系,此举将进一步助力公司生态建设的发展。
企业介绍:
寒武纪成立于2016年,专注于人工智能芯片产品的研发与技术创新,致力于打造人工智能领域的核心处理器芯片,让机器更好地理解和服务人类。
寒武纪提供云边端一体、软硬件协同、训练推理融合、具备统一生态的系列化智能芯片产品和平台化基础系统软件。寒武纪产品广泛应用于服务器厂商和产业公司,面向互联网、金融、交通、能源、电力和制造等领域的复杂 AI应用场景提供充裕算力,推动人工智能赋能产业升级。
投票时间:
本届“OFweek 9th AI Awards 2024”活动将于7月1日进入投票阶段,请关注维科网人工智能相关评选新闻,欢迎届时踊跃投票。
人工智能年度评选专题链接:
https://www.ofweek.com/award/2024/AI/
参评表单:
https://forms.ofweek.com/Form/preview/form_id/1652
