英伟达发布AI虚拟形象平台NVIDIA Omniverse Avatar

    看日报是个好习惯。
    NVIDIA发布用于创建AI虚拟形象的平台：NVIDIA Omniverse Avatar
    美国加利福尼亚州圣克拉拉——GTC大会——2021年11月9日——NVIDIA于今日发布用于生成交互式AI虚拟形象的技术平台——NVIDIA Omniverse Avatar。
    
    图源：NVIDIA
    Omniverse Avatar能够连接NVIDIA在语音AI、计算机视觉、自然语言理解、推荐引擎和模拟方面的技术。在该平台上创建的虚拟形象是具有光线追踪3D图像效果的交互式角色，可以看到、说话、谈论各种主题，以及合理地理解表达意图。 
    Omniverse Avatar为AI助手的创建开辟了道路，而且可以根据各个行业的需求轻松定制。AI助手可以帮助处理数十亿次日常客户服务互动，比如餐厅订单，银行交易，个人预约和预订等，带来更多商机并提升客户满意度。 
    NVIDIA创始人兼首席执行官黄仁勋表示：“智能虚拟助手的前景一片光明。Omniverse Avatar将我们的基础图像、模拟和AI技术结合在一起，打造出一些复杂的实时应用。协作机器人和虚拟助手的案例令人难以置信，影响深远。” Omniverse Avatar是用于3D工作流程的虚拟世界模拟和协作平台——NVIDIA Omniverse?的一部分，Omniverse公测版用户现已超过7万人。 
    在NVIDIA GTC主题演讲中，黄仁勋分享了使用Omniverse Avatar的多个例子，包括用于客户支持的Project Tokkio、用于永久在线车载智能服务的NVIDIA DRIVE Concierge以及用于视频会议的Project Maxine。 
    在第一个Project Tokkio演示中，黄仁勋展示了NVIDIA的同事们与一个黄仁勋的卡通虚拟形象进行互动——就生物学和气候科学等话题开展对话。 
    在第二个Project Tokkio演示中，黄仁勋着重介绍了餐厅自助服务亭中的一个客户服务虚拟形象。演示中，有两名顾客正在订购素食汉堡、薯条和饮料，该虚拟形象看到了他们、与他们交谈并理解了他们。这些演示由NVIDIA AI软件和目前全球较大的可定制语言模型——Megatron 530B驱动。 
    在DRIVE Concierge AI平台演示中，中央仪表盘屏幕上的数字助理帮助驾驶者选择了最佳驾驶模式以准时到达目的地，然后按照驾驶者的要求，设置在汽车续航里程下降到100英里以下时进行提醒。 
    另外，黄仁勋还展示了Project Maxine如何为虚拟协作和内容创作应用增加先进的视频和音频功能。演示中，一个讲英语的人在嘈杂的咖啡馆里进行视频通话，但是其他人可以清楚地听到她所说的话，没有背景噪音。当她讲话时，她的话被实时转录并翻译成德语、法语和西班牙语，并且声音和语调与原话完全相同。
    Omniverse Avatar主要组成部分 Omniverse Avatar 所使用的语音AI、计算机视觉、自然语言理解、推荐引擎、面部动画和图像元素，通过以下技术实现： 
    ●其语音识别基于NVIDIA Riva。这个软件开发工具包可以识别多种语言的语音。Riva还可通过文本语音转换功能生成接近真人的语音反馈。●其自然语言理解基于Megatron 530B大型语言模型。该模型可以识别、理解和生成人类语言。Megatron 530B是一个预训练模型，它可以在很少或没有训练的情况下完成句子、回答主题广泛的问题、总结长而复杂的故事、翻译成其他语言，并应对许多它未接受过专门训练的情景。
    ●其推荐引擎由NVIDIA Merlin?提供。该框架使企业可以建立能够处理大量数据的深度学习推荐系统，以提出更明智的建议。●其感知功能来自用于视频分析的计算机视觉框架——NVIDIA Metropolis。
    ●其虚拟形象动画由AI赋能的2D和3D面部动画和渲染技术——NVIDIA Video2Face和Audio2Face?驱动。 这些技术被集成在一个应用，并使用NVIDIA统一计算框架进行实时处理。这些技术被打包成可扩展、自定义微服务后，能够通过NVIDIA Fleet Command?在多个地点安全地部署、管理和协调。
    NVIDIA发布用于训练AI的Omniverse Replicator合成数据生成引擎
    美国加利福尼亚州圣克拉拉——GTC大会——2021年11月9日——NVIDIA于今日发布NVIDIA Omniverse Replicator，这款性能强大的合成数据生成引擎能够生成用于训练深度神经网络的物理模拟合成数据。
    
    图源：NVIDIA
    NVIDIA发布了两个用于生成合成数据的应用，这两个应用是使用该引擎实现的首批成果。它们分别是用于承载自动驾驶汽车数字孪生的虚拟世界——NVIDIA DRIVE Sim?和用于可操纵机器人数字孪生的虚拟世界——NVIDIA Isaac Sim?。
    这两个Replicator应用使开发者能够以人类无法做到的方式引导AI模型、填补现实世界的数据空白，并标记真值数据。在这些虚拟世界中产生的数据可以涵盖各类不同场景，包括在现实世界中无法经常经历或安全体验的罕见和危险情况。
    使用这些数据构建的自动驾驶汽车和机器人可以在一系列虚拟环境中掌握技能，然后再应用到物理世界中。
    NVIDIA模拟技术和Omniverse工程副总裁Rev Lebaredian表示：“通过Omniverse Replicator，我们能够创建多样化、大规模、精确的数据集来构建高质量、高性能和安全的数据集，这对于AI来说至关重要。我们已自主构建了两个特定领域数据生成引擎，可以想象的是，许多企业都会使用Omniverse Replicator建立自己的引擎。”
    真实世界数据是昂贵、费力、需要人工标记的，它容易出错且不完整，而Omniverse Replicator扩展了这些数据，该引擎能够创建大量、多样化的精确物理数据以满足自动驾驶汽车和机器人开发者的需求。它还能生成人类难以或无法标记的真值数据，如速度、深度、被遮挡的物体、恶劣的天气条件、追踪各传感器上的物体移动等。
    Omniverse Replicator已成为NVIDIA DRIVE自动驾驶汽车团队和Isaac机器人团队的重要数据生成引擎。该引擎将于明年上线，帮助开发者构建特定领域数据生成引擎。
    Omniverse Replicator是用于3D工作流程的虚拟世界模拟和协作平台NVIDIA Omniverse的一部分，可在官网进一步了解用于DRIVE Sim和Isaac Sim的Omniverse Replicator。
    Unity 以16．25 亿美元收购《指环王》、《猩球崛起》视效团队 Weta Digital
    2021 年 11 月 9 日 –  Unity （NYSE： U） 宣布已就工具、管线、技术和工程设计人才的收购事宜与 Weta Digital 签署一份最终协议。本次收购的最终目的是将 Weta 众多先进的独家视觉特效（VFX）工具送到全世界数百万创作者和美术师的手中。在集成到 Unity 平台之后，这些工具将为实现新一代实时 3D 创意内容和塑造元宇宙的未来提供极大帮助。
    
    图源：网络
    Weta Digital 将加入 Unity 创作解决方案部门并持续完善 Weta Digital 所拥有的数十种专利图形和 VFX 工具，包括 Manuka、Lumberjack、Loki、Squid、Barbershop、HighDef 和 CityBuilder，以及众多其他工具。这些美术师工具未来将通过易于使用的基于云的工作流程提供给创作者，与 Unity 在实时领域的深厚专业知识一起助力他们实现精彩的创意。
    曾多次荣获奥斯卡奖项的 Weta Digital VFX 团队将作为独立实体 WetaFX 继续运营，并有望成为 Unity 在媒体与娱乐领域的最大客户。WetaFX 仍由 Sir Peter Jackson 持有多数股权并由 CEO Prem Akkaraju 领导。
    “Weta Digital 的工具为我们创造了无限的可能，让我们能将原本存在于想象中的奇妙世界和生物呈现到世人眼前。”Weta Digital 联合创始人兼主席 Sir Peter Jackson 说道。“Unity 和 Weta Digital 联手为所有行业的美术师铺就了一条道路，让他们可以利用这些令人惊艳的强大创意工具完成创作。为有抱负的创意工作者提供 Weta Digital 的技术绝对是一个颠覆性的改变，而 Unity 正是将这一愿景变为现实的理想企业。”
    “能为普通创作者提供这些行业领先的工具，并将 Sir Peter Jackson 的天才创意和 Weta 令人赞叹的工程设计才华带给世界各地的美术师，我们感到非常兴奋。”Unity 总裁兼首席执行官 John Riccitiello 说道。“从《阿凡达》、《指环王》到《神奇女侠》，Weta Digital 的工具和技术帮助创造了世界最精彩电影中的绝美人物和场景，而在融合 Unity 的强大优势之后，这些工具和技术将帮助新一代创作者构建、转换和分发令人震撼的实时 3D（RT3D）内容。”
    Weta Digital 是视觉特效和动画领域首屈一指的创造者和创新者，一直在全力实现至真至美的艺术视觉特效和打造高质量的超现实角色、物品和世界，并成功帮助创作了一批获奖无数的电影和电视剧，其中包括《阿凡达》、《黑寡妇》、《权力的游戏》、《指环王》、《猩球崛起》、《自杀小队》等优秀作品。Weta Digital 能有如此超高水平的表现，由 VFX 美术师和工程师组成的创意团队功不可没。这个创意团队帮助构建了极其复杂的美术管线，开发了用于执行高级面部捕捉和控制、解剖建模、高级模拟和移动物体形变塑造、程序式毛发建模的工具集，并通过 20 多年间在成千上万次的拍摄中获得数百个属性开创、发展和完善了多项其他技术。
    “在为创意工作者提供顶尖的工具和技术方面，Unity 是独一无二的，而 Weta Digital 备受赞誉的高端美术管线和工具则是业内最出色的。这笔收购让我们有机会将这些资源提供给更广大的美术师群体，这是前所未有的成就。”Weta Digital CEO Prem Akkaraju 说道。“Weta 的目标一直是启发和激励新一代创意工作者，很高兴 Unity 能继续完成这一使命。我相信未来会有越来越多的内容达到媲美《阿凡达》和《权力的游戏》的水准，而 Unity 正是带领我们让梦想成真的最合适的公司。”
    通过这项交易，Unity 将获得：
    ●Weta 世界一流的工程设计人才，这个由 275 位工程师组成的卓越团队因设计、构建和维护 Weta Digital 工具和核心管线而享誉业内；
    ●数十种业内领先的工具，Manuka、Gazebo、Barbershop、Lumberjack、Loki、Squid、Koru 在内的卓越工具将全部无缝集成到 Weta 堪称行业标杆的制作管线中；
    ●支持可互操作式3D 美术创作的基础数据平台，方便数以万计的美术师无缝协作；
    ●囊括成千上万优质资源的资源库，未来在 WetaFX 团队持续创作优秀 VFX 的过程中，它会不断丰富、壮大。
    “Weta Digital 的数十种工具全部建立在相同且统一的管线上，完美体现了其高超水平。分开来看，每种工具本身都非常强大，而作为一个完整平台，它们将极大提升我们的能力，让美术师能够更轻松地实现创意并以前所未有的方式进行协作。”Unity 创作解决方案高级副总裁兼总经理 Marc Whitten 介绍道。“我们非常高兴能与 WetaFX 进行紧密合作，利用这些工具不断推突破美术效果的极限。此外，在为内容创作者完善管线的过程中，我们还会将这些工具开放给 VFX、娱乐以及游戏和其他行业的美术师。”
    Unity 和 Weta Digital 将为越来越多的游戏开发者、美术师和潜在的数百万创作者提供非常先进的内容创作工具和基于云的软件即服务 （SaaS） 订阅模式。通过将这些高保真工具和资源移动到云端，Unity 和 Weta Digital 将为创作者提供新的机会，让他们在使用熟悉且喜爱的创作界面的同时，能够利用异常强大的美术工具、程序式构建模块和可扩展内容。创作者将有能力完善流程和简化制作，实现趋于完美且稳定的可预期结果，并最终成功在元宇宙中构建他们自己的天地。
    根据协议条款，Unity 将以现金和股票组合的形式出资 16．25 亿美元收购 Weta Digital。于 2020 年年初出任 Weta Digital CEO 并打造了 Weta 云端商业服务的 Prem Akkaraju 将继续担任 WetaFX 的首席执行官。Weta 首席技术官 Joe Marks 将加入 Unity 并担任 Weta Digital 的首席技术官。这笔拟议收购预计将在 Unity 2021 财年的第四季度完成，并受惯例交割条件约束。
    三星发布下一代手机内存芯片，称可用于“元宇宙”
    日前，三星正式发布了其为移动设备打造的下一代 RAM 产品，据称该技术可用于智能手机，也可用于服务器、汽车和“元宇宙”。虽然三星的新闻稿中没有提到其新的 LPDDR5X RAM 芯片如何帮助人们进入“数字现实”，但该技术应该有助于使设备运行得更快、使用寿命更长。
    撇开元宇宙、人工智能和 5G 等流行术语不谈，三星承诺这款芯片在速度和功耗方面有一些真正的改进：它表示，其最新的 RAM 处理速度将比上一代 LPDDR5 快 1．3 倍，并且比上一代功耗降低 20％。据三星称，其中一些改进可以归功于它制造芯片时使用的 14nm 工艺制程。
    
    图源：theverge
    尽管大多数用户对三星提及的元宇宙持怀疑态度，但更低的功耗和更好的性能实际上可以帮助带有内置处理器的 AR 和 VR 头显或驱动这些设备需要连接的手机。
    最后，三星并未透露其 LPDDR5X RAM 芯片何时会上市提供给制造商，但外媒推测，LPDDR5X RAM 芯片将在 2023 年左右出现在设备上。就像普通电源的DDR5正在走向台式电脑一样，你不太可能立即注意到使用 LPDDR5 和 LPDDR5X 内存的设备之间的巨大差距。
    然而，正是这些改进帮助我们的设备在每一代中变得越来越好，即使三星使用了含糊的关于元宇宙的噱头来销售它。
    Resolution Games 设立AR部门，以专注AR内容的开发
    11月9日，VR 工作室 Resolution Games CEO 汤米·帕姆（Tommy Palm）宣布，公司会开设新的 AR 部门，并表示其团队正在开发三款 AR 游戏，所开发的游戏具体是针对手持式 AR 设备还是沉浸式 AR 头显，或是兼容两者目前尚不清楚。
    
    图源：网络
    为支持新的AR部门，Resolution Games 表示公司正招聘 AR 制作人、高级程序员，以及一些其他 AR 相关工作的岗位。
    该消息在高通公司AWE的演讲中发布，在该演讲中，高通宣布推出其AR平台 Snapdragon Spaces，该平台包含一系列 AR 开发工具，Resolution Games 将会使用该平台。
    目前，Resolution Games 已推出《Demeo》、《Blaston》、《愤怒的小鸟》AR版、《Bait！》、《Wonderglade》、《Narrows》、《Acron：松鼠的攻击》、《cook－out：A Sandwich Tale》等知名VR／AR游戏。
    今年早些时候，该工作室宣布已在 C 轮融资中筹集2500万美元资金，这些资金将用于构建VR／AR游戏服务。
    ?ActiveLook推出用于AR运动眼镜的＂NexT＂技术平台
    11月10日，法国AR公司ActiveLook和AR智能眼镜技术供应商MICROOLED宣布推出其新一代的＂NexT＂技术平台。该公司旨在通过NexT使用其微型化和隐形的AR技术来显示基本的运动性能数据，据称对佩戴者的视野没有任何阻碍。
    
    图源：ActiveLook
    据该公司称，ActiveLook NexT提供了完整的硬件和一个开放的API，将使公司能够生产轻量级的眼镜（30－34克）。ActiveLook的技术旨在改善运动选手的练习和表现，能够实时显示有用的基本数据，如速度、心率和方向。该公司表示，结合专门的软件，其小型化的隐形微型显示器技术可以集成到眼镜中，而不影响设计或人体工程学，因此不会妨碍佩戴者的视线。
    ActiveLook模块的核心是基于一个单色AMOLED显示屏，分辨率为304 x 256像素，功耗低于1毫瓦。据该公司称，ActiveLook的电池续航时间超过12小时，重量仅为6克，无论环境光线条件如何，都能提供可读的显示。ActiveLook设备可通过BLE（低功耗蓝牙）与智能手机、智能手表和一些更具体的传感器（心率传感器、功率传感器等）连接。
    
    图源：ActiveLook
    ActiveLook特别瞄准了体育市场，在这个市场上，AR技术作为一种导航辅助工具和运动员的体能报告技术可为用户带来更多便捷性，比如自行车手、跑步者、滑雪者和铁人三项运动员。
    ActiveLook将在本周加州圣克拉拉的增强世界博览会（AWE）上展示其NexT技术平台，该平台将从2022年第一季度开始发售。
    8th Wall 推出全新 Reality Engine，以帮助跨平台启动 WebAR 体验  
    11月10日外媒消息，8th Wall 宣布推出全新的 Reality Engine，该引擎将使 WebAR 体验能够立即在所有设备上运行，包括 iOS 或 Android 智能手机、平板电脑、计算机以及 AR 和 VR 设备。
    Reality Engine 重构了 8th Wall 的原始 AR 引擎，通过对引擎的 Metaversal Deployment 进行优化以轻松适应不同的设备。这将使开发人员在构建一次模型的情况下，即可在任何设备上运行。它还将扩大对 AR 内容的访问，这些内容设计将用于营销、培训、员工协作等等。
    8th Wall 的全新引擎将使用 AR 技术将网络体验从 2D 转变为 3D，以帮助将元宇宙引入更多的基础建设和用户数量。另外，基于该引擎的功能，它甚至可以改变包括可穿戴设备在内的下一代设备产品 web 的设计。
    
    图源：vrscout
    在官方新闻稿中，8th Wall 的首席执行官兼创始人 Erik Murphy－Chutorian 表示：“这是新的web 的开始，就像 2D 网站需要从 PC 适应移动，沉浸式网站也需要对用于体验它们的不同设备做出调整。随着我们 Reality Engine 的推出，开发人员可以一次构建 WebAR 体验，并立即兼容最流行的移动端、桌面端和头戴式设备。”
    为了使这一切成为可能，Metaversal Deployment 使用了五个核心功能：
    Reality Application Runtime – 8th Wall 屡获殊荣的增强现实应用程序框架已经重新构建，以适应各种设备类型。空间化 UI –当在 VR 或 AR 设备上访问体验时，将 2D Web UI 元素自动转换到空间控制面板上。交互映射——－通用的手势映射，以处理跨设备的输入，包括控制器和手部跟踪。环境映射——当在计算机和 VR 设备上访问体验时，即时应用环境以在空间中构建 3D 内容。 响应式缩放 – 通过使 3D 内容舒适且易于访问来适应用户体验，同时确保开发人员的视觉在不同设备上保持一致。
    
    图源：vrscout
    在同一份新闻稿中，8th Wall 的产品副总裁 Tom Emrich 谈到了 Reality Engine 将为 AR 做什么，他说：“Web 正在不断发展，变得越来越具有空间感和沉浸感，我们相信我们的 Reality Engine 能为开发人员提供他们需要为互联网的下一次迭代（Metaverse）创建内容所需的工具。”
    去年 10 月，8th Wall 和 8i 展示了他们如何使用逼真的 3D 全息图改变人们的交流方式。Emrich 说，使用 Reality Engine，开发人员将改变用户上网的方式，使 WebAR 项目轻松成为“我们今天日常生活中不可或缺的一部分”。
    
    图源：vrscout
    根据 2021 年 9 月发布的一份报告显示，2019 年使用计算机或移动设备访问网络的人数为 39．7 亿人，平均每天上网 170 分钟。当然，社交媒体的使用和电子商务也出现了大幅增长。
    很明显，在线流量是巨大的，AR 引擎将带来进一步的数字变革。从今天开始，开发人员就可以在 8th Wall 上开始使用全新的 Reality Engine 创建 WebAR World Effects 项目。新用户可以注册 8th Wall 平台的账户，以获得 14 天免费试用时间。
    目前，8th Wall 已被用于为耐克、保时捷、索尼影业、汉堡王、通用磨坊、英国天然气、喜力、麦当劳、瑞士航空公司、丰田、红牛、阿迪达斯、COACH 等知名品牌创建 WebAR 体验。
     11月14日开始可通过Horizon Venues在Quest中观看NBA比赛
    NBA 2021－22赛季正在如火如荼地进行中，从11月14日开始，Oculus Quest用户将可以获得选定的NBA联盟通行证游戏的“前排座位”，将比赛带到VR中。
    
    图源：Oculus
    通过Quest的Horizon Venues可以在设备中体验球赛现场的氛围，还可以在赛前、赛中、赛后与其他NBA球迷一同互动。不仅如此，还将有NBA冠军Richard Jefferson、Adam Amin等体育播报员的独家解说。
    下面是11月的比赛日程，更多的比赛将陆续展开：（PT：太平洋时区）
    11月14日 ／／ 金州勇士队对阵夏洛特黄蜂队 ／／ 下午4：00 PT
    11月21日 ／／ 丹佛掘金队对菲尼克斯太阳队 ／／ 下午5：00 PT
    11月29日 ／／ 夏洛特黄蜂队对芝加哥公牛队 ／／ 下午5：00 PT
    ＊需要注意的是，该游戏存在地理限制：只在美国和在特定游戏中的两支球队的50英里半径以外的地方允许观看。
    苹果多项新专利曝光，未来HMD或将包含遮挡检测、深度感知等功能
    美国专利和商标局今天正式公布了苹果公司一系列共46项新授权专利。在其中，包括一项苹果公司的零售店模块墙系统专利，以及一项与VR内容的遮挡检测和深度感知有关的HMD专利。
    苹果公司这项＂遮挡检测＂专利涉及未来头戴式设备的深度感知。该专利涵盖了确定从一个图像到下一个图像的像素深度类别变化的设备、系统和方法。例如，深度类别的变化可能包括确定一个给定的像素从前景变为背景，或反之亦然。该技术是基于使用识别第一幅图像中像素深度类别的掩码创建直方图或其他模型。直方图或模型被用来评估第一帧和第二帧中的像素，并识别其深度类别的变化。这项技术的一个用途是确定遮挡的变化。
    
    图源：patentlyapple
    苹果公司的专利图7A－7C用一只手从一艘船的图像上经过来说明两个物体之间遮挡事件的例子。
    想了解更多专利细节，可查阅苹果公司的授权专利11，170，578。
    苹果第二项关于Apple Store模块化墙面系统的授权专利涉及一种用于展示苹果产品的系统。该系统包括一堵墙，其中有一个凹槽和一个界定该凹槽的显示结构。显示结构穿过墙壁的前表面，包括一个框架，该框架有一个顶板、一个底板和两个侧板，顶板和底板比侧板长。
    该系统还包括设置在显示结构内的多个模块化显示单元。每个模块显示单元从底部面板延伸到顶部面板。至少第一个模块显示单元包括一个向显示结构的正面外部开放的框架，而第二个模块显示单元不会向显示结构的正面外部开放。该系统进一步包括设置在多个显示单元内的多个显示元件。
    
    图源：patentlyapple
    苹果公司的专利图2是Apple Store模块化墙面系统的分解图；图39涉及一个单元显示Apple TV，墙上有实际的电视；图42说明了一个耳机模块（现实世界商店的例子）；图43说明了一个显示苹果手表运动带的模块（现实世界商店的例子）；图47说明了一个墙面单元，包括包含苹果iPhone配件的拉出式抽屉（现实世界商店的例子）。
    考虑到这是一项被授予的延续性专利（11，166，572），应该注意到的是苹果为这项发明增加了18项新的专利权利要求，想了解更多专利详情可点击此处查看。
     第一时间了解XR资讯