评测丨一键成为虚拟偶像？索尼mocopi会是新的动捕黑科技吗？

文/VR陀螺 豌豆
    此前，一名游戏动捕演员“曦曦鱼SAKANA”走出幕后，在b站发布了多条关于不同风格游戏角色的动作捕捉视频，因其传神的动作与表情获得了观众的高度认可，不少观众纷纷表示“仿佛看到了xx角色本人”。 
    
    来源：b站@曦曦鱼SAKANA 
    今年8月28日发布第一条视频以来，截至目前，“曦曦鱼SAKANA”在b站的总播放数已达到了5620万。不只是她，还有许多动捕演员同样在b站上活跃着，向人们分享参与动捕拍摄的日常与心得，展示这个时代下的动捕技术力。 
    
    来源：b站@mobiusP 
    在游戏、影视等领域，动捕技术已不算罕见，而角色背后的动捕演员这一身份近些年才逐渐被大众所了解。然而不同的场景对动捕的精度要求不一，专业的动捕演员需要身着特定的动捕服，在特定的场地里完成动作捕捉。 使用专业设备的成本非常高，据悉市面上的一些专业动捕品牌例如OptiTrack、Vicon和Xsens等解决方案大多在几千美元到几万美元不等。一套专业的动捕方案包含设备本身（传感器、服装、基站、电脑等），以及定制的软件，再加上维护成本，对普通人来说难以承受。 除了定价高昂的专业级方案，是否还有“普通人友好”的动捕设备？答案是肯定的，就在今年10月，索尼中国正式上市销售mocopi（国行售价2499元），正巧11月19日也是该产品公布一周年的关键时间节点，接下来陀螺君将带来便携动作捕捉产品mocopi的产品评测。 
     “纽扣式”传感器mocopi，总重量仅48g  
    虚拟化身已是部分人在互联网上进行社交的一项身份名片。以《VRChat》为例，玩家们普遍热衷于在虚拟空间还原现实世界的各种体验。
    再看现有的动捕技术，主流的方案包括光学式动捕方案和惯性式动捕方案等等，惯性式动捕方案，以其超低廉成本和简便成熟的处理流程，上手更为简单。（相关阅读：《让虚拟化身的“肢体语言”更真实？全身动捕的IK优化是关键》） 自2022年底索尼宣布要推出这款面向消费者的名为mocopi的便携式动作捕捉设备以来，便得到较高的关注度，只用总重量48g的6个跟踪传感器就能完成全身动捕，据称能为虚拟主播、内容创作者，及科技游戏爱好者提供新思路、新启发和新应用场景，拓展内容呈现的可能性。在索尼品牌的加持下，这款便携式动捕设备具体表现如何？
    
    图源：索尼
     颜值能打，6枚传感器总重量仅48g 
    开箱后，首先映入眼帘的是鲜亮色彩的“多巴胺色系”包装，包装盒最底层则是与传感器相配的绑带，长度形态不一。
    
    图源：VR陀螺
    取出充当传感器收纳和充电底座的mocopi黑色收纳盒并打开，包装盒颜色与传感器颜色相对应，单个传感器大小与瓶盖相近（直径为3.2cm、重量为8g），传感器背后印有独立的编码，方便蓝牙配对。
    mocopi充电时需要将传感器固定在收纳盒（磁吸），通过金属触点充电。据悉，传感器满电状态下支持长达约10小时续航，且能不限场地自由使用。
    
    图源：VR陀螺
    mocopi需要与智能手机（支持iOS/Android）搭配使用，安装好手机端App后，即可通过蓝牙配对的方式与mocopi进行连接（第一次连接时需要单独确认6枚传感器的蓝牙连接），连接成功后将传感器安装在绑带上（强力磁吸卡扣固定）再将传感器分别佩戴在头部、两手的手腕、腰部和两脚的脚踝处。 
    
    图源：索尼 
    据官方介绍，mocopi“纽扣式”的轻便设计，能随时随地轻松实现高精度的动作捕捉，通过实时捕获6个传感器的动作数据来驱动App中的3D虚拟形象。  即开即用，20分钟内一键绑定虚拟形象 
    提到全身动捕追踪器，可能不少人第一时间会想到HTC VIVE追踪器，它能为游戏玩家带来实时准确的追踪效果。但mocopi显然不是应用于捕捉游戏玩家的动作上，更多的是面向直播、录制虚拟人物视频以及更加休闲的VRChat动捕。
    虽然同为索尼出品，但mocopi是相对独立的一款产品，目前并不支持PS VR头显和PS5。
    
    图源：VR陀螺
    绑定并按手机端App中的视频指引和图示佩戴mocopi传感器后，提前确认好手机的位置，最好是方便自己点击录制的区域。此外还需要身体站直，在响铃后往前迈出一步，以完成进一步校准。
    包括首次使用的配对注册、穿戴传感器和校准调整的时间，总耗时不过20分钟，单个传感器重量较轻，无负重感和不适感。
    
    站立校准（图源：VR陀螺）
    此时，手机屏幕将进入待录制界面，屏幕中间是索尼官方提供的二次元风格虚拟人物“Raynos酱”。不得不说，初次佩戴mocopi并在虚拟空间内看到自己驱动的虚拟形象，确实会让人感到兴奋。
    
    图源：VR陀螺
    再来确认屏幕上方的UI，分别是“虚拟人物”“背景”“镜像”“麦克风”“媒体库”，屏幕下方可以更换表情/手势，捏合调整虚拟形象大小，还能调整虚拟形象移动/旋转（操作界面的UI在录制时会自动隐藏）。接下来将实际佩戴mocopi进行简单的动捕效果测试。
     mocopi体验：新手友好但功能有限的便携式动捕设备 
    mocopi评测结果：
    优势——轻便，几乎无感、续航时间长、适合基础动作捕捉，支持多种场景应用，借助手机即可录制运动数据
    劣势——价格较高、追踪不够稳定（长时间使用需在手机反复校准）、目前动捕精度不够高、延迟较严重、会受到其他蓝牙设备干扰
    在佩戴mocopi实际测试的过程中，陀螺君尝试录制多个动作以体验基础功能，按下屏幕下方中间的红点，倒计时3秒后开始录制，以下为动捕录制效果：
    全身运动、表情、手部动作测试（来源：VR陀螺） 
    
    固定相机模式，测试HUMAN虚拟人物走路效果（来源：VR陀螺）
    需要说明的是，mocopi采用惯性动捕技术，而惯性传感器（IMU）的测量精度会受地磁场受干扰，在进行动作捕捉时，如果要完成复杂的动作就容易让虚拟人物出现奇怪的姿势。
    但即便是双手手臂在身体前后交叉挥动，相较于光学动捕技术，mocopi不会受到遮挡、光线等影响，也不会出现追踪丢失的情况。只是mocopi似乎对信号干扰很敏感，时不时会弹出横幅“与传感器的通信不稳定”，但似乎影响不大。
    mocopi最直观的缺点就是追踪效果不够稳定，例如走路时能明显看出来虚拟人物的脚容易打滑，位置容易偏移；蹲下、坐下和躺下时，会出现追踪异常的情况等；虚拟人物的手肘和膝盖动作无法准确捕捉。
    
    图源：VR陀螺
    为了满足VTuber这类虚拟主播的直播需求，mocopi手机端App的麦克风功能支持录制语音，并做到与虚拟人物口型同步，但体验下来延迟较为明显，口型的变化种类不算太多，能满足一般场景使用，且语音识别功能对音量有要求，如果说话太小声则识别不出来或口型不准确。
    
    图源：VR陀螺
    在mocopi手机端App中可以设置多种背景，包括默认背景、纯色背景和AR背景。纯色背景方便抠出人像编辑到其他场景，包括影像图片以及直播间画面等等，AR背景则可以将虚拟人物放置在现实环境中。
    视频录制结束后可生成mp4文件，也能捕获并保存BVH动作数据以及实时发送动作数据至PC端，省去了传统动捕方案复杂的操作流程，相关文件可在媒体库查看。
    如果用mocopi来玩游戏会有怎样的效果，陀螺君尝试着结合Nintendo Switch体验了一把《舞力全开2022》。
    来源：VR陀螺
    不仅仅是《舞力全开》，若要录制《Beat Saber》等游戏的游玩片段还可以使用绿色背景，将素材进行后期合成，完成二次创作，效果会更佳。
    mocopi的另一大卖点就是支持《VRChat》动捕，索尼的意图非常明显，其目标用户群体直指《VRChat》的核心用户，一是他们特别注重沉浸感的体验，二是市面上有着不同价位的轻便型动捕设备，大多数《VRChat》用户也愿意购买这些外设来加强游戏的沉浸感。
    使用mocopi连接《VRChat》的步骤也相对简单，在手机端App上修改外部设备连接设定，将传输格式改为“OSC Trackers”，将IP地址更改为VR头显或PC的地址，并确认端口为“9000”，确认设置后就可以开始录制，并佩戴好头显。同样的，也需要在《VRChat》设置汇中打开OSC即完成设置。
    
    来源：YouTube@TribegreywolfVR
    但多数用户反映，目前使用mocopi的《VRChat》体验并不算太好：不仅需要同时佩戴mocopi的6枚传感器和VR头显，手上还要握住控制器，VR设备也能完成头部、双手动作的捕捉，这三处传感器没有得到有效利用。
    
    图源：索尼
    另外mocopi还为主要的3D开发软件，如Unity、MotionBuilder和UE虚幻引擎等，合作推出了“mocopi”插件，提供了更多的应用开发机会。
    而且除了Raynos酱，mocopi手机端App还为用户提供了使用自定义3D虚拟人物的平台，点击“虚拟人物”板块即可启动由环球数码创意控股集团合作提供的3D虚拟人“拟影平台”，让用户下载虚拟形象，也可以自己上传VRM模型使用自制虚拟形象。
    总体看来，相近价位的同类型产品中，mocopi已经能完成绝大部分动作的捕捉，它也获得了不少VR用户的关注。
    
    对比其他市面上常见的动捕设备（图源：SlimeVR）
    然而在捕捉精准度等方面mocopi还有很大的改进空间，其他便携式动捕设备例如SlimeVR、HaritoraX等综合其他VTuber和视频博主的评测来看似乎更具性价比。
    目前mocopi已足够应对日常录制时长较短的视频（长时间录制则需要不断重新校准，比较麻烦），但实际上mocopi穿模的问题仍然存在，当然这也与虚拟人物和实物的接触和骨骼绑定问题有关，而且延迟问题较为严重（最高仅60Hz刷新率），个别动作捕捉不够准确，包括双手抱胸、蹲下、手臂抬高过肩等，期待后续能进一步改进。
    好在索尼正积极关注用户反馈，针对上述《VRChat》用户曾评价“mocopi不适用于《VRChat》”的问题做出回应，表示正在推出“优先下半身动捕”的测试模式，支持将手腕处的传感器安装在膝盖附近，并重新配备新的腿部专用绑带（12月1日起作为可选配件销售）。
    当然，mocopi如果能持续保持稳定的优化，它还有着非常大的应用前景，陀螺君认为除了上述提到的娱乐游戏场景，无论是内容开发者还是动画制作者，甚至是喜爱运动健身的用户都有机会使用mocopi来利用自己录制的动作数据。
     结语 
    实际上mocopi在推出之际，索尼就已开始着手搭建其生态体系。
    索尼宣布与HIKKY合作推出“unlink”丰富元宇宙虚拟活动；与虚拟主播MCN机构hololive合作；与DONUTS合作加强《Tokimeki VR》直播软件效果；与StretchSense合作，第三方动捕手套可以兼容mocopi；与bilibili“幻星派对”和百度希壤元宇宙达成合作……
    一方面通过多方联动丰富产品的使用场景，另一方面又体现出背靠索尼这个集成了众多优秀资源的企业，mocopi作为该公司元宇宙布局的关键产品，能够进一步发挥品牌优势。
    
    图源：StretchSense
    作为一家大型的跨国综合企业，索尼从硬件方面深入挖掘元宇宙的潜力：
    2022年11月，索尼发布便携动作捕捉产品mocopi，降低虚拟内容制作门槛；2023年3月，索尼发布PS VR2，这是继第一代PS VR后时隔7年推出的第二款VR头显；2023年4月，索尼发布27英寸空间现实显示屏ELF-SR2，以展示强沉浸感的裸眼3D内容……
    除了硬件产品以外，索尼中国研究院推出了结合3D内容生成和动作捕捉技术的“虚拟舞蹈实验室”，和以触觉反馈技术助力演唱会等欣赏体验的“沉浸式触觉剧场”等不同的解决方案。另外，索尼自己也发起了虚拟偶像计划“VEE”培养了大批虚拟主播，几乎是从全方位渗透至各种元宇宙相关项目。
    
    图源：索尼
    索尼集团现任董事长兼CEO吉田宪一郎曾在采访中提到自己对元宇宙的看法，他认为：“元宇宙是一个人们可以共享时间和空间的实时网络空间，其中还包含社交元素。现在，网络已经扩展到互动娱乐领域，与实时呈现CG的游戏技术相融合。”
    “娱乐的精髓在于 ‘临场感’，索尼的首要任务是创建一个以娱乐为核心的元宇宙。除了索尼的游戏、音乐、图片和动漫等多元化娱乐业务外，而索尼在包括Micro  OLED在内的显示技术、眼球跟踪等传感技术和3D音频技术方面都有优势。”
    索尼选择在这个时间段推出mocopi动捕设备，与时下计算机视觉技术的技术进步，以及对高质量3D内容需求增加的大趋势相符，加上近两年元宇宙受到非常高的关注度，海内外的科技公司都在该领域有所布局。mocopi等轻薄、便携的动捕设备有机会为更多普通消费者打开拓展创意的渠道。