Imagination推出新款光追GPU IP,适用于高端VR一体机、VR版Roblox或于2023年上线Quest平台

VR陀螺

    外媒:VR版Roblox或于2023年上线Quest平台
    据The Verge网站的官方“Command Line”简讯板块的消息人士透露,有着超过5880万日活跃用户的大型游戏平台之一Roblox,可能会在今年晚些时候在Meta Quest上发布VR版。
    Roblox在技术上已经可以兼容使用PC VR头显(如HTC VIVE和Valve Index)在VR中体验了。如果消息属实,这对两家公司来说意义非凡。一些爆料消息称Meta将会推出"Quest 3",虽然上市时间未定,但VR版Roblox有可能成为其首发产品。
    
    图源:Roblox
    2021年5月,Roblox首席执行官兼联合创始人Dave Baszucki在公司财报电话会议上表示有兴趣将Roblox引入Quest平台,他说:"我们对元宇宙的沉浸式3D多人云游戏有同样的愿景,我们认为无论是观看还是互动,这应该在所有设备上都能访问。"
    "而且我们在手机、平板电脑、PC和Xbox游戏机上围绕这一点进行了创新,如开发者可以创建内容,并推送到我们的云端,刚才提到的设备都能运行,还能自动翻译成多种语言。从长远来看,Switch、PlayStation、Quest等,这些平台对Roblox来说都是非常有意义的。"
    PICO VR入股同歌一期基金,合伙人包含歌尔股份、米哈游
    近日,天眼查显示, 青岛同歌一期创业投资基金合伙企业(后简称同歌一期资金)发生工商变更,合伙人新增抖音旗下PICO VR关联公司青岛小鸟看看科技有限公司、宁波泰启股权投资合伙企业(有限合伙);同时,该企业出资额由约5.56亿人民币增至约7.58亿人民币。
    据悉,同歌一期资金成立于2022年5月,执行事务合伙人为青岛同歌创业投资管理有限公司,经营范围包括以私募基金从事股权投资、投资管理、资产管理等活动,除该执行事务合伙人外,其合伙人还包括歌尔股份有限公司、上海米哈游天命科技有限公司、三七互娱网络科技集团股份有限公司。
    
    图源:天眼查
    【CES2023】DigiLens宣布与豪威集团合作,未来将开发面向不同商业领域的投影仪和眼镜
    在 CES 2023 期间,知名光波导厂商 DigiLens 宣布与半导体设计公司豪威集团合作,为新市场和新应用开发 AR/VR/XR 新产品。
    
    图源:网络
    DigiLens 产品业务部副总裁兼总经理 Nima Shams 表示:“十多年来,DigiLens 公司一直在推动领先的 XR 技术,而豪威集团致力于开发创新、前瞻性的解决方案,助力客户占据 LCOS 显示和成像技术的领先地位。未来,我们很高兴能继续与豪威集团开展合作,开发面向不同商业领域的投影仪和眼镜。”
    豪威集团物联网和新兴应用市场总监 Devang Patel 表示:“到 2030 年,全球 XR 市场规模预计将达到 4,563 亿美元,2022-2030 年的复合年增长率为 58%。XR 涉及触觉、视觉、听觉、嗅觉等多种感官,因此在医疗保健、教育、工程等众多领域都有潜在的应用案例。正是出于这一原因,我们与 DigiLens 的合作是如此令人振奋、至关重要——我们打算通过新的应用,在新市场中扩大 AR/VR/XR 的使用。”
    
    图源:网络
    豪威集团在官方推文中表示,豪威集团的硅基液晶(LCOS)面板有助于 DigiLens 制造出针对其全息波导进行优化的 LCOS/LED 投影仪。LCOS 可为各种显示应用提供优秀的投影技术,豪威集团的 LCOS 面板是 DigiLens 的首款 30 度横向视场 LCOS-LED 高清显示光引擎 EnLiten30 的理想选择,可为佩戴者的眼睛提供超过 2,500 尼特/流明的亮度,同时具有 28 毫米的良视距和 85% 的透视率。
    在智能眼镜领域,豪威集团的核心摄像头技术使 Digilens 的设备具有视觉测距、六自由度(6DoF)以及同步定位和映射(SLAM)功能。豪威集团的全局快门鱼眼摄像头组件设计用于经济高效地实现众多消费类和工业机器视觉应用,例如 AR/VR 头显和配件、工业自动化、机器人、农业无人机和 3D 建模, 助力 DigiLens 智能眼镜方案实现空间定位功能。
    SimX获得美国太空部队合同,为宇航员和太空发射开发VR医学模拟训练
    近日,SimX公司宣布其作战准备学习虚拟推进项目(VALOR)已被美国太空部队(USSF)授予一个多年期项目,将为宇航员恢复和太空发射任务开发一种新型的VR医疗模拟训练能力。
    该项目旨在加强为美国太空部队伞兵救援专家、战斗救援人员和飞行外科医生提供的特殊、关键任务的临床培训,使他们能够识别和治疗在其他情况下看不到的各种医疗状况。
    
    图源:SimX
    最初的170万美元计划承诺将侧重于调整现有的SimX VR医疗模拟系统(VRMSS),以包括太空特定的组件以及现有的入院前太空医疗护理课程(PHSMCC)所概述的特殊医疗场景。这些将与美国太空部队第24特种作战联队以及第一太空军第3支队人类太空飞行支援行动合作开发,并由其进行测试。
    该计划的资金是通过与太空系统司令部(SSC)合作的SpaceWERX第二阶段SBIR合同提供的,由太空部队生命周期管理中心特种作战部队和人员恢复部(AFLCMC/WIS)管理这项工作,该部门是支持全世界特种作战和特种作战司令部作战人员的太空部队项目办公室。技术和专题知识由第一太空军(AFSPACE)提供。该模拟平台将在完全无线的HTC Focus 3 VR头显上运行。
    "VALOR计划的任务是调整VR医疗模拟训练,以实现任何情况下的高质量、可重复且易于访问的临床训练,"VALOR首席研究员兼SimX首席技术官Karthik V Sarma博士说道。"我们很荣幸有机会通过帮助美国国防部的精英医疗人员保护我们的宇航员和太空发射人员的健康,将VRMSS带入下一个前沿领域。"
    这些新的功能旨在为太空作业医疗支持提供更快、更频繁、更有效和更具成本效益的培训,使宇航员和太空发射人员获得更好的医疗保障。所开发的功能也将提供给商业使用,以支持蓬勃发展的商业载人航天市场,最初将包括对 "Dragon"和 "Orion"太空舱以及各种发射场景和地点的具体支持。SimX将开发一个全面的培训课程,包括代表从长期太空飞行中返回而身体不适的宇航员的特殊生理挑战场景。
    "这个项目的任务影响将提高全球救援部队应对载人航天飞行应急着陆的整体医疗能力,”美国国防部人类太空战斗支持办公室的Brent Maney代表太空部队说道。"这些能力对于确保我们的PJ在准备继续扩大人类太空飞行行动时提供高标准的护理至关重要。”
    SimX创建了一个VR医学模拟平台,该平台被世界各地的机构使用,包括梅奥诊所、斯坦福大学、西北大学、宾夕法尼亚大学、美国空军和其他许多机构。它允许受训者在多人VR案例中一起工作,既可以在同一空间一起工作,也可以在自己家里舒适地工作。SimX开发了一个系统,允许在没有下拉菜单或虚拟选择的情况下获得 更加沉浸和自由的体验。受训者与虚拟病人交谈和互动的方式与现实中的一样。可扩展的SimX情景系统允许快速开发新的培训材料和案例,并即时部署给所有学员。
    UBITUS宣布与元宇宙社交平台Sansar合作,为后者独家提供串流技术
    云端串流解决方案供应商UBITUS公司日前宣布,将独家提供其串流技术给元宇宙社交平台Sansar,以支持Sansar的应用程序发布LG智能电视和浏览器版本。
    在近期召开的CES 2023上,Sansar首次在LG智能电视上展示了其云版本,并宣布用户今后将可以通过PC和智能手机登陆浏览器版本。
    
    图源:Sansar
    Sansar是一个多功能的VR元宇宙平台,最初是由运营《第二人生》的美国公司Linden Labs开发的,后来被出售给了初创公司Wookey ProjectCorp,由后者开发和运营。
    该平台提供了一个基于“用户生成内容(UGC)”的经济圈,用户可以自由编辑自己的头像,构筑属于自己的世界,组织现场表演等活动,并邀请他们的朋友一起欣赏。
    这个以高清晰度和高还原度为特色的元宇宙平台,使用户能够从VR、PC和电视等设备上体验到身临其境的感觉。此前,用户往往需要一个高配置的电脑主机,但得益于UBITUS的云流媒体技术,Sansar实现了低延迟和高清体验。
    VR益智游戏《PathCraft》将于1月19日登陆Meta Quest 2平台
    VR游戏开发商Vertigo Games和Devil Cow Studio宣布VR益智游戏《PathCraft》将于1月19日登陆Meta Quest 2平台。
    
    图源:G-LYFE
    在《PathCraft》中,玩家将进行一场积木冒险,通过搭建合适的路径,帮助游戏中的“小机器人”成功抵达终点,在通关之后,往后的关卡难度会越来越复杂。
    
    图源:G-LYFE
    Imagination推出新款光追GPU IP,适用于高端VR一体机
    1 月 11 日,半导体知识产权(IP)供应商 Imagination Technologies 举办线上新品发布会,正式推出新一代面向移动端的高性能 GPU IP——IMG DXT。
    本次发布会上,Imagination 公司副总裁兼中国区总经理刘国军先生介绍了公司的产品业务布局,在中国的最新进展及相关策略,表达了 Imagination 对于中国市场的重视。中国区技术总监艾克先生详细介绍了本次发布会新品 IMG DXT,据称,这款光追 GPU 将为移动设备用户带来先进的图形技术。
    
    最高72 GTexels/s 和 2.5 TFLOP FP32 算力  Imagination推出IMG DXT
    会上,Imagination 公布了 IMG DXT 的三款配置,包括 DXT-8-256,DXT-48-1536 和 DXT-72-2304,分别针对主流,高端和旗舰移动设备,移动设备制造商能够根据自己的设计目标将光追技术集成到它们的系统级芯片(SoC)中。
    该系列的旗舰产品 DXT-72-2304 能够提供超高端移动设备所需的性能,具有 72 GTexels/s 和 2.5 TFLOP FP32 算力。与上一代产品相比,其最大单核性能提升了 50%。DXT 核的单位面积性能密度比 IMG CXT GPU 高出 20%,同时大幅降低了功耗。
    更多配置参数可参考:
    
    图源:VR陀螺
    IMG DXT 可以从节省面积的 0.5 RAC(光线加速集群)配置扩展到高性能的 4 RAC 设计,涵盖从混合实现方案中的简单阴影到 3A 大作中的高级光追画面等各类应用。
    基于 GPU IP 产品的三款配置,主流的设备制造商可以选择节省面积的半尺寸光线加速集群(RAC)配置,而追求高端性能的 OEM 可以选择单、双或四 RAC 的配置。
    据称,DXT的 Photon 架构是目前唯一达到光追系统(RTLS)4 级的光追设计,这意味着它能够以业内效率最高的方式提供领先的视觉效果。无论 RAC 如何配置,Imagination 的光追解决方案都能达到 4 级,与相同移动配置下的 CXT 相比,DXT 能够将提供可用光追的面积成本降低 40%。
    
    图源:VR陀螺
    目前,移动光追的市场体量还很小,主流移动设备厂商在定制化 GPU 的应用上依旧处于未大规模开发阶段。IMG DXT 致力于使光追成为一项主流技术,激发移动游戏开发商和原设备制造商(OEM)对这项技术的兴趣与投资。
    Imagination:“DXT在VR中应该是非常好的GPU”
    在本次发布会上, Imagination 着重介绍了 IMG DXT 在手机移动端的应用。对此 ,VR陀螺提出了基于 XR 行业的相关疑问,因为比起手机、PC 等二维平面的显示,目前的 VR 似乎更需要像光追这样可以实现高画质的技术加持,去提升内容体验的沉浸感。
    
    图源:VR陀螺
    Imagination 技术产品管理高级总监 Stephen Barton 告诉 VR陀螺:“我们认为目前 VR 主要有两种常见的应用场景。首先第一种是非常轻量级的 VR 应用,该应用场景下,厂商会使用尽可能低功耗的设备去达成一个基础的 VR 效果,这种场景我们会推荐使用我们以前的 BXT 系列的产品。”
    “第二种场景是强沉浸式的,想要给用户带来比较好的 VR 体验的头戴式 VR 一体机。该场景下,确实可以使用我们的 DXT IP,DXT 本身的设计就包括了 VR 在内的多个使用场景,所以不仅仅是手机端,也包括了其他的移动设备,也就包括了 VR 一体机。”
    
    图源:VR陀螺
    “DXT 应用在 VR 的设备当中应该是非常好用的一款 GPU,因为我们支持了在 VR 设备当中所需要用到的这一些各种 API 接口,还有 OpenGL 以及 Vulkan 的技术。另外还有很多 VR 相关的扩展应用,也都是我们的 DXT GPU 所能够去支持的。”
    “除此以外,我们也建议VR开发时可以考虑采用DXT,我们的 GPU 当中所蕴含的 FSR 的技术,也就是我们今天所讲到的片段着色率的这项技术,去尽可能的降低在 VR 设备端的这一些画面运算的开销,去替代掉原有的 VR 设备当中比较常见的 Multi-view 的技术,可以带来进一步节省功耗和达到类似的显示效果的。”
    Imagination 首席营销官 David Harold 还补充了 Imagination 与 VR 合作伙伴方面的工作。他表示:“这些合作我们已经展开了很多,在解决 VR 的设备在显示上的各种变形和重影等问题,我们也有着非常丰富的经验,很多时候我们跟客户去合作,是由我们帮助他们去解决这些问题的。”
    从支持FSR到遵循RISC-V 协议,IMG DXT多技术加持
    作为一款主打光追技术,面向移动端的高性能 GPU IP, IMG DXT 通过集成 Vulkan? 的片段着色率(FSR)技术,升级使用更高性能的RISCV固件调度器;双倍提升二维纹理处理能力和减少数据任务调度间隙等多方面技术加持,综合提升产品的画面渲染效果降低功耗。
    (一)Vulkan?的片段着色率(FSR)技术
    GPU 中的片段着色器将场景中的颜色绘制到帧缓冲器上。FSR 是一种可以在几乎不降低图像质量的前提下减少片段着色器运行次数的技术,能够降低占用的带宽与功耗。开发者可以控制FSR的使用力度,最极端的情况下甚至可以对一个4x4的片段区域只执行一次着色器代码,从而使工作负载减少近94%,实现同等的功耗和带宽节省。
    IMG DXT 支持 Vulkan 的片段着色率(FSR)技术,可以为开发者带来性能上的裕量。FSR 在尽可能不影响视觉质量的前提下减少处理的片段数量并大幅提高图形性能,同时通过减少投射到场景中的光线提高光追的效率,这意味着可以在更小的硅片面积上实现逼真的灯光和阴影。
    
    图源:VR陀螺
    (二)2D双速率纹理处理
    许多先进的游戏依靠大量纹理取样实现高级过滤效果,IMG DXT GPU 的纹理处理单元(TPU)内置一个已获得专利的创新特殊模式,能够为这些后处理效果创建一条“快速通道”,在使双线性滤波性能几乎翻倍的同时,最大程度地减少面积的增加并降低整体功耗。
    据介绍,IMG DXT 可以加速诸如游戏后处理和计算图像学应用中的滤镜效果,同时更高的吞吐量也有助于实现更快、更低功耗的降噪算法,提高光追画面的质量。
    (三)提高纹理和计算性能
    IMG DXT GPU 搭载全新的着色器处理单元(SPU)。SPU是一个硅片,包含一个用于计算任务的算术逻辑单元(ALU)和一个用于像素着色、几何处理和光栅化逻辑的纹理处理单元(TPU)。
    凭借全新三重通用着色器集群(USC)设计(3个ALU/TPU单元),DXT GPU 将每个 SPU 的高端计算和纹理(ALU/TPU)性能提升 50% 以上,而以前的架构只侧重于双 USC 设计(2个ALU/TPU单元)。这个改进后的模块使 Imagination 能够创造出最高性能的高端移动 GPU--DXT-72-2304,这款 GPU 在 1GHz 时钟频率下具有 72GTexels/s 和 2.5TFLOP FP32 性能。
    (四)高级软件支持
    Imagination 继续通过其获奖产品 PowerVR SDK 和开发者工具为自己的 GPU 产品带来最佳性能。DDK 可提供全堆栈光追功能,包括对 Vulkan RT 的支持。
    为了最大程度地提高带宽效率,DXT 支持更多压缩技术,其中就包括 Khronos ASTC HDR,这项技术能够扩大纹理在明暗区域之间的动态范围,同时保留细节。
    
    图源:VR陀螺
    (五)遵循 RISC-V 协议
    IMG 持续投入 RISC-V 的研发,将其成果应用于其产品线中。DXT 中使用的遵循 RISC-V 协议的固件处理器,可以实现 40% 的固件性能改善,并且该固件已经在其汽车 GPU BXS 系列产品中得到验证。IMG DXT 还受益于 RISC-V 的电源域特征,把重点放在降低空闲功率关闭不使用的 GPU 部分和优化随机工作负载性能上。
    
    图源:VR陀螺
    目前,VR 一体机的 GPU 与诸多智能手机类似,依旧停留在由主流芯片厂商提供的 SoC 中,没有定制化 GPU 植入。伴随着高分辨率,高清晰度近眼显示需求的增强,相信未来类似于 IMG DXT 这样的光追高性能 GPU 也会慢慢拓展到 VR 一体机中。