动作捕捉融合VR/Mocap Fusion VR
使用自定义头像和 VR 硬件创建全身动作捕捉。包括面部识别、口型同步、眼动追踪等。使用内置自动化功能将整个动作捕捉场景直接导出到 Blender – 从录制到渲染只需几分钟!
Motion Capture Fusion [VR]是一款沉浸式房间规模动捕沙箱,适合希望使用传统 VR 硬件创建和导出动捕动画或创建实时内容的艺术家和动画师。只需一个 VR HMD 和两个控制器,用户就可以在自己的化身上创建动作捕捉。高级用户可以创建更详细的动作捕捉,包括全身跟踪,并可以与其他传感器(例如 Apple iPhone Truedepth 传感器和 Oculus Quest 2光学手指跟踪)结合使用,将化身连接到同步输入。这种多传感器的融合可以在一次拍摄中结合多层动作捕捉;包括:全身跟踪、面部捕捉、口型同步、视线跟踪、光学手指跟踪。
强调
- 使用自定义头像、场景和道具记录动作捕捉。
- 添加自定义着色器、纹理、表情、动态骨骼物理等。
- Vive pro Eye、Vive 唇部追踪和 Iphone ARkit 面罩支持。
- HTC Vive、Valve Index、Oculus Rift、Oculus Quest2、一些 WMR 耳机。
- 可以在没有 VR 的情况下使用,仅使用跟踪器,或仅使用 iPhone 头部跟踪。
- 将多个化身添加到场景中,构建故事板,对其他预先录制的化身做出反应。
- 摄像机动作捕捉和变焦,玩家充当VR中的电影摄影师。
- 用于航拍拍摄的垂直起降和固定翼飞行模拟飞行器平台。
支持的输出格式
- 导出为SFM (.dmx)。
- 导出到Blender (.blend)。
- 导出到Unity (.anim)。
Live-Link(现场制作)和现场录音插件
- Live Link 插件可用于虚幻引擎 (实时头像同步、实时录制)。
- Live Link 插件可用于Blender (实时头像同步、实时录制)。
- Live Link 插件可用于Unity (实时头像同步)。
包括自定义头像并在整个制作工作流程中使用头像。这消除了重新定位的需要,并确保动作捕捉数据始终适合 1:1,而不会导致最终结果出现任何偏移。Mocap Fusion的独特功能之一是它能够导出动作捕捉数据并在 Blender 中重建场景,使其可在几分钟内进行最终渲染。兼容的耳机(VR HMD)
- 阀门索引
- HTC Vive (和 Vive Pro Eye)。
- Oculus Quest (1 和 2)。
可选的跟踪硬件
- SteamVR Vive 追踪器。
- iPhone Truedepth 传感器(面部识别和眼球追踪)。
- Oculus Quest 2 (全光学手指追踪)。
能力
- 导出动作捕捉并立即在 Blender™ 中创建场景。
- HTC™ Vive 追踪器(最多 11 个可选点)全身追踪。
- 能够在 VR 中录制、播放、暂停、慢动作、擦除动作捕捉。
- 可定制的 IK 配置文件和头像参数。
- SteamVR Knuckles 支持单独的手指关节。
- Quest 2 光学手指跟踪应用程序用于单个手指关节和手指分离。
- Vive Pro 眨眼和注视跟踪支持。
- Sidekick IOS 面部捕捉应用程序(Truedepth 无标记 AR 面部跟踪)。
- 可以使用 APS_SDK 为动作捕捉构建用户可定制的世界、头像和道具。
- 与现有的 Unity3D™ 头像和环境兼容。
- 支持动捕头像上的自定义着色器。
- DynamicBone 支持为头像添加头发、衣服和身体物理模拟。
- 呼吸模拟添加胸部动画。
- 添加/记录/导出 VR 相机以实现逼真的相机动作捕捉(例如 VR 摄影师效果)。
- 优化将动作捕捉 (.bvh) 数据导出到 Daz 3D。
- 放置“流媒体”摄像机,将头像直播到 OBS 或作为桌面覆盖。
- 麦克风录音,具有唇形同步视位和可记录的颌骨旋转。
- 故事板模式,将动作捕捉体验保存为页面,以便稍后重播或编辑。
- 动画视频播放器,显示故事和脚本,编排动作。
- 用于自然处理卡宾枪的双手武器 IK 解算器。
- 可记录的 VTOL 平台,用于动画直升机飞行模拟(例如新闻直升机)。
- VR 摄像机和 VR 自拍相机可能与跟踪器刚性连接。
- VR道具和枪械可能与追踪器紧密相连。
- 幽灵曲线用于可视化场景中多个化身的未来位置。
游戏
体验取决于用户的电脑和所使用的跟踪硬件。推荐的SteamVR耳机是 Valve Index 或 HTC Vive。 Quest HMD 也可能产生合理的结果。也可以在没有 HMD 的情况下使用该软件(例如直播时)。仅当使用脚部和臀部追踪器(以及可选的肘部、膝盖、胸部)时,全身追踪才可用。用户在使用身体追踪器时可以获得更真实的追踪结果。身体追踪器是可选的,并且支持站立动作捕捉。通过启用面部捕捉或使用 Vive Pro Eye 进行凝视和眨眼跟踪,可以在兼容的头像上实现进一步的真实感。
历史
最初,这是一种直观的方式,供用户在沉浸式 VR 环境中创建虚拟培训视频和演示,以增加真实感,然后导出动画进行渲染。该项目已提供给社区进行 Beta 测试,此后收到了反馈和许多功能请求,这有助于增加该软件对不同创建者的实用性。
系统需求
最低配置:
- 需要 64 位处理器和操作系统
- 操作系统: Windows 10
- 处理器: Intel Core i7
- 内存: 4 GB RAM
- 显卡: Nvidia GTX 1070
- 存储空间: 需要 5 GB 可用空间
- 支持 VR: SteamVR
- 附注事项: Use low performance settings in app for best results.
推荐配置:
- 需要 64 位处理器和操作系统
- 操作系统: Windows 10
- 处理器: I9-9900K
- 内存: 8 GB RAM
- 显卡: Nvidia GTX 1080
- 存储空间: 需要 5 GB 可用空间
- 支持 VR: SteamVR