黄仁勋：“OpenUSD将引发协作3D和工业数字化时代”

    文/VR陀螺 豌豆
    苹果Vision Pro的面世宣称空间计算时代已经来临，围绕虚拟世界建设的讨论也越来越多。 
    无论是社交应用和工业数字孪生等场景，都可以在虚拟世界先搭建好所需的3D空间及资产，将日常工作生活中的各种交互操作和实验“映射”到虚拟世界中，以此获得更多获取灵感和创造的方式。对虚拟世界的需求，本质上也是对计算机图形学应用场景的更高要求。
     理想化的虚拟世界应该是开放的，并非某个企业独有的，且能够让用户、平台、开发者将自己的3D资产应用到虚拟世界中。但现阶段难以实现，几乎每家公司都有着自己的操作系统、3D工具和数据格式，彼此不兼容，互通难度大，这也带来了繁重的跨平台工作流程以及高额成本。
     因此3D虚拟世界的建设更需要一个开放式标准来兼容各种格式的3D资产，并简化工作流程和规范化3D生态系统。  
     英伟达Omniverse发力：OpenUSD再迈一步  北京时间8月8日，英伟达创始人兼CEO黄仁勋现身SIGGRAPH 2023计算机图形大会，并发表主题演讲。 
    
    图源：英伟达 
    AI是目前最受关注的前沿技术之一，也是本次英伟达主题演讲的核心，围绕生成式AI，演讲期间重点介绍了多项软硬件的发布或更新，包括：NVIDIA GH200 Grace Hopper Superchip平台、NVIDIA AI Workbench、NVIDIA RTX及L40S、基于OpenUSD的NVIDIA Omniverse重大升级等。 
    就在数日前，英伟达与皮克斯、Adobe、苹果、Autodesk等行业领导者共同组建OpenUSD联盟（AOUSD），以支持OpenUSD的发展。 黄仁勋表示：“图形和AI密不可分，图形需要AI，AI也需要图形。
    AI将来能在虚拟世界中学习技能，也能帮助创建虚拟世界。” 而在图形处理、硬件性能、软件生态等领域都有丰富积累的英伟达，将重心放在了构建元宇宙虚拟世界的基础平台Omniverse，并将其与生成式AI进行融合。 
    本次更新的版本将为开发人员和工业企业提供新的基础应用程序和服务，以利用OpenUSD框架和生成式AI来优化和增强其3D管道。帮助开发者在同一平台进行跨工具构建、模拟和协作。 
    
    图源：英伟达 
    为了进一步推动OpenUSD的应用，英伟达推出了4个新的Omniverse Cloud API，向开发者提供更无缝地实施和部署OpenUSD管道和应用程序： ChatUSD：大型语言模型（LLM）代理，可帮助开发人员和艺术家处理OpenUSD数据和场景，用于从文本生成Python-USD代码脚本并回答USD知识问题。 
    RunUSD：可以用来检查上传文件与OpenUSD版本的兼容性，并使用Omniverse Cloud生成将OpenUSD文件转换为完全路径跟踪的渲染图像。 DeepSearch：大型语言模型（LLM）代理，可通过未标记资产的海量数据库进行快速语义搜索。 
    USD-GDN Publisher：可使企业和软件开发商能够从基于Omniverse的应用程序（例如USD Composer）向Omniverse云图形交付网络（GDN）发布高保真、且基于OpenUSD的体验，以及实时流式传输到网络浏览器和移动设备。 
    
    图源：英伟达 
    另外，OpenUSD的支持还进一步扩展了Omniverse的生态系统，英伟达还与多家合作伙伴提供更多技术服务。 为了扩大在Adobe Substance 3D、生成式AI和OpenUSD的合作，Adobe和英伟达宣布计划将Adobe Firefly（Adobe的创意生成式AI模型系列）作为Omniverse中的API提供。
     例如英伟达与Shutterstock合作，利用NVIDIA Picasso服务，开发用于视觉设计的生成式AI模型，新一代的AI能够快速生成自定义的360度、8K分辨率、高动态范围成像（HDRi）环境地图。 
    
    图源：英伟达
     Omniverse现在可以构建与其他基于OpenUSD的空间计算平台（例如ARKit和RealityKit）兼容的内容、体验和应用程序。对Khronos Group的OpenXR开放标准的新支持将Omniverse的应用扩展到HTC VIVE、Magic Leap和Varjo等硬件厂商的更多XR设备。
     目前最新的Omniverse版本已提供测试版，可供免费下载，并将很快在Omniverse Enterprise 版本中推出。 SIGGRAPH 2023大会上，黄仁勋高调提及AI，从硬件到软件无一不与AI相辅相成。
    他总结了本次大会内容：“计算正在经历一场巨大的转变。通用计算正在向加速计算过渡，而生成式AI正在推动平台转型并实现令人惊叹的新应用。
    ” OpenUSD的能力上限还能进一步突破。   为3D虚拟世界创建“通用语言”   就在8月初，皮克斯、Adobe、苹果、Autodesk和英伟达，与Linux基金会旗下的联合开发基金会（JDF）宣布成立OpenUSD联盟（AOUSD），以促进USD（通用场景描述）技术的标准化、开发、迭代和发展。 
    
    图源：AOUSD 
    据介绍，AOUSD寻求通过推进开放式通用场景描述OpenUSD功能来标准化3D生态系统。团队将深化3D工具和数据的互操作性，赋能开发者和内容创作者描述、创作、模拟大型3D项目，从而建立范围不断扩大的3D产品与服务。 
    在讨论OpenUSD的重要性之前，需要对场景描述（Scene Description）有一定的理解，其所涉及的3D场景数据，包括：物体模型的大小和位置、材质纹理、光照、运动等数据都可以用在图像、动画、游戏、电影等场景的内容创作。
     制作3D内容需要进行3D建模、将物体对象布置在场景中，然后完成渲染等操作，但不同的物体对象通常有自己的场景描述，其他程序无法对其进行编辑。而USD格式能让主流的3D工具进行兼容，Autodesk的Maya、Adobe的Substance 3D和Nvidia的Omniverse平台都能够支持USD格式。
     OpenUSD是怎样的技术，又是如何吸引多家科技巨头加入AOUSD的，还得从著名动画制作公司皮克斯开始说起。 皮克斯是美国一家著名的数字动画电影工作室，旗下作品包括《玩具总动员》《海底总动员》《超人特攻隊》《料理鼠王》《飞屋环游记》等，均取得了非常大的成就。 
    
    《玩具总动员》（图源：皮克斯） 
    在制作动画电影《玩具总动员》和《虫虫危机》时皮克斯注意到，每个镜头都是由一个单一的线性程序文件来描述的。 
    从那时起，皮克斯开始从其专有动画系统Marionette着手研究，并经历了数次迭代，包括Presto、TidScene，技术进步改善了电影制作中的流程，但仍面临着有多个相互竞争的系统来创建合成场景描述的困境。
    最终皮克斯在2012年启动USD项目，将Presto和TidScene的优势整合起来，提供了一个新的场景图。USD是皮克斯开发的第四代“组合场景描述”。 
    总的来说，皮克斯创建的USD是一项高性能3D场景描述技术，可为各种工具、数据和工作流带来强大的互操作性。 USD让开发者能够描述3D场景中的不同对象，并在不同的硬件设备上再现场景，也能让设计师进行实时协作。
    皮克斯在2016年的SIGGRAPH大会上将USD作为开源软件发布，选择开源是为了提高可移植性，同时也希望围绕USD格式兼容的工具可进行标准化。 
    
    “厨房”的3D资产（图源：OpenUSD） 
    皮克斯首席技术官兼AOUSD主席Steve May曾表示：“希望看到OpenUSD在皮克斯、动画和视觉效果之外的领域取得更广泛意义上成功。我们确实需要更多地依赖社区支持。而且我对它在电影业和动画业之外的广泛使用感到震惊。” 
    
    支持USD格式的产品（图源：OpenUSD）
     OpenUSD既能为虚拟世界创建标准，也能为内容创作者带来更高质高效的创作环境。据悉目前已有将近50个工具支持原生兼容OpenUSD，并获得了来自一百多家公司的近170位USD论坛贡献者的支持。
    汽车、医疗保健、制造和其他行业都开始采用USD技术并融入到自己的产品中。作为计算机图形行业的一大领军企业，英伟达也是其合作伙伴之一。 
    3D内容创建的标准化及系统化的进程将进一步加速。  “OpenUSD将引发协作3D和工业数字化时代”  OpenUSD有望成为未来3D内容开发的标准格式之一，但目前的首要任务还是扩大联盟影响力，吸引各行各业的更多企业加入的同时，进一步优化功能。 
    
    Omniverse USD Composer中的实时渲染（图源：英伟达） 
    且现阶段无论是政府、企业还是个人对3D的需求都在逐渐增大，在元宇宙概念的带动下，有高仿真、高精度需求的数字孪生、智慧城市等场景逐步扩张。 
    头豹研究院数据指出：2021年，中国3D建模软件市场空间达到103.4亿元，行业处于快速增长阶段，预计到2026年，市场规模将达到195.7亿元。 另一方面，苹果在3D内容创作方面的动向也值得关注。
    苹果Vision Pro有着强大的硬件配置，但它的最大优势就是其背后的苹果开发者生态，硬件做得再好，但没有好的内容也难以延长产品寿命。
     如果OpenUSD能够得到进一步应用，便能为苹果Vision Pro开发者带来更多便利。例如开发者可以在一个平台就能调用其他软件的功能；开发者不用多次重复购买3D资产等等。
     当然，USD也不是唯一的开源3D文件格式，主流的开源3D模型格式中，还有OBJ、glTF、GLB、VRM等等，均为不同效果的3D对象而设计，不同格式文件之间的互操作性也成为了广大开发者忧虑的问题。 
    
    图源：网络 
    不止有AOUSD联盟，其他科技巨头也在推进3D虚拟世界的标准化建设，例如，创建OpenXR标准的Khronos Group推动Metaverse Standards Forum（元宇宙标准论坛）成立，参与者包括Adobe、Autodesk、Epic Games、Unity、Meta、微软、英伟达、OTOY、高通和索尼等公司。 
    今年6月，谷歌与三星和高通达成合作，并公布了开发XR设备的计划，有消息指出谷歌将负责XR设备的生态系统，三星来进行XR产品的规划和研发，而高通则负责开发专用XR芯片。
     国内也在积极解决XR行业的碎片化发展问题，2021年，中国移动牵头，联合产业伙伴发起并成立了GSXR工作组，共同推进XR互联互通，并于2022年正式发布GSXR互通标准。 正如黄仁勋在SIGGRAPH 2023大会上所说：“正如HTML引发了2D互联网的重大计算革命一样，OpenUSD将引发协作3D和工业数字化时代。
    ” HTML在互联网时代有着深远影响，花费多年时间才将文本、图片、音频、视频等内容统一到网络平台，而3D虚拟世界有着庞大的数字资产，要实现通用标准下的无缝连接并不容易，OpenUSD可能要花费更长的时间才能做到真正的标准化，但一切都值得期待。