商汤智研院发布白皮书,首次系统解读元宇宙


    中国世界青年峰会与商汤科技、增强现实核心技术产业联盟(CARA)联合发布了《元宇宙“破壁人”:做虚实融合世界的赋能者》白皮书。
    当前,元宇宙概念热火朝天,市场呈现千军万马竞逐趋势,商汤科技也不甘落后。
    《白皮书》指出,虽然业内对元宇宙并没有一个统一的定义,但普遍认为元宇宙应同时具备“沉浸感、开放性、随时随地,以及经济系统”四大基础共性。
    《白皮书》的观点认为,元宇宙不只是独立且平行的虚拟世界,它的意义和价值还在于与真实世界的连接和交互,并赋能实体经济的发展,提高人们的生活体验。
    不是要让经济脱实向虚,而是要虚实结合,去盘活经济的存量价值,创造经济的增量价值,让我们的生活变得更充实、更美好,这才是我们发展元宇宙产业的最终目标。否则它的意义只是一款游戏,或者说只是一个APP。
    此前,商汤IPO招股书中称,“SenseME、SenseMARS等业务已让公司成为最大的元宇宙赋能平台之一,SenseMARS软件平台内含3500个人工智能模型,支持感知智能及混合与增强现实系统(MARS),创造了全新的元宇宙体验。”
    IPO聆讯资料显示,商汤计划持续开发与推进元宇宙相关服务的商业化,继续提升SenseMARS上人工智能、增强现实和混合现实的功能和能力,夯实客户基础,建立更完整的研发生态,以巩固公司在元宇宙领域的领先地位。
    【SenseCore商汤AI大装置:打造融合元宇宙的生产力底座】
    元宇宙将是一个复杂巨系统,不仅表现为超高并发的数据体量,由于信息维度的升级,信息复杂度也将呈现指数级上升,远远超出人脑计算极限。
    如何高效的处理高并发且复杂度极高的信息资源,并使得处理的结果能够进一步指导产业、治理和科研的发展需要,快速响应需求变化,将成为元宇宙智能技术发展的关键驱动力。
    《白皮书》指出,“ 基模型(Foundation Model)”被认为是解决复杂巨系统问题的重要途径之一。各国在基模型上都投入了大量的资金和研发力量,BERT、DALL-E、GPT-3 等基模型相继出现,AI 科研正在经历一场范式改变,基模型竞争时代到来。
    商汤SenseCore的算力底座支撑对真实世界数字化后海量多模态数据的实时分析、模型训练和实时推理。通过超大规模、集约化的算力部署,可以降低计算和AI 模型研发成本。
    截至2021年6月30日,商汤已在主要区域市场建立了23个智能计算集群,拥有超过20000块GPU,总算力达到1170Petaflops。同时,也正在建设上海临港新一代智能计算中心(简称AIDC),建成后将成为亚洲最大的超算中心之一,总体算力将达到3740Petaflops 的计算能力,能满足四个20000万以上人口的超大规模智慧城市的计算需求。
    商汤基于SenseCore 也在持续投入对基模型的研发,即通过“大算力+ 大数据”训练产生具有通用能力的“大模型”,从而进一步提升AI 模型的生产效率,同时帮助解决复杂系统中存在的大量的长尾问题。目前,基于SenseCore 所训练的CV 基模型已具有高达300 亿个参数,是目前CV 领域公开信息中最大参数量的模型。
    【商汤的“造物者”平台SenseMARS】
    《白皮书》指出,交互引擎支持人们在虚拟世界中沉浸式体验,并可将虚拟世界带入现实,并帮助实现虚拟世界与现实世界的精准叠加和虚实交互。
    例如,基于Niantic的高级增强现实引擎平台 “Real World Platform”制作的《Pokémon GO》游戏曾经风靡世界,可以实现多人、跨平台的AR 游戏体验。其他还有谷歌的ARCore,苹果的ARKit,以及商汤SenseMARS都是旨在打造无缝融合虚拟世界和物理世界的全新增强现实体验。
    商汤通过SenseMARS火星混合现实平台为用户构建一个元宇宙的“造物者”平台,通过构建SenseCore AI 大装置实现虚拟世界与真实世界的“破壁”和连接。通过与合作伙伴的合作共生不断拓展元宇宙生态的边界和内涵。
    围绕“人”、“物”、“场”三大基本元素,商汤的“造物者”平台SenseMARS对外输出功能和服务,包括创作元宇宙虚拟化身的SenseMARS Avatar、支持数字人等元宇宙“原住民”开发的SenseMARS Agent、物理世界的数字重建SenseMARS Reconstruction。
    
    图:SenseMARS Avatar
    《白皮书》中介绍,通过SenseMARS Avatar可以结合个人影像快速生成不同风格的虚拟形象,并通过智能手机、AR/VR等终端设备对姿态、表情等识别和捕捉,驱动虚拟形象在元宇宙世界里自由穿梭。
    
    图:数字人
    此外,商汤的SenseMARS Agent通过自然语言处理,以及语音、手势及视线的感知及决策智能,给元宇宙中的“原住民”装上“智慧的大脑”,从而让我们与“他们”之间可以互动起来。例如,SenseMARS数字人,他/ 她不仅可以“听懂”人话,还能够通过语言、表情、肢体动作等与我们进行交流。同时,经过不同领域知识数据的训练学习,数字人可以晓通百事,成为我们在各个领域的“超级助手”。
    
    图:园区(左)和物体(右)的数字重构
    SenseMARS Reconstruction借助多算法融合(譬如三维语义分割算法、稠密三维重建算法等),赋能用户利用消费级移动设备(包括手机、运动相机及无人机)就可以高效重建物理世界的三维模型,从小物体到购物商场、交通枢纽乃至城市都可以做到厘米级高精度复刻。
    【“共生”生态 扩展元宇宙世界的边界和范畴】
    商汤在技术共生方面,例如为了降低元宇宙的应用门槛,同时也为创作者提供更广阔的创作舞台,SenseMARS通过与芯片厂商、设备厂商合作,实现与多交互终端系统的适配兼容,覆盖更广泛的用户群体。
    商汤在业务共生方面,例如,与一些数字孪生平台型企业一起形成战略合作,在创造的“城市复刻体”之上,结合AI能力实现对城市多样化、细分场景的实时感知和智能决策,打造虚实融合的“城市元宇宙”。与AR眼镜厂商战略合作,为 “文博元宇宙”的创造和体验提供端到端AR 解决方案。与能源、电力等基础设施厂商合作建立数字资产库,为未来的“能源、电力元宇宙”奠定数字化基础。
    《元宇宙“破壁人”:做虚实融合世界的赋能者》
    白皮书获取方式 ↓
    
    “维科网人工智能”公众号后台回复文字
    “商汤元宇宙白皮书”
    
    “商汤智研院”
    即可获取