VisionProTeleop

VisionProTeleop

用于在机器人研究中使用 Apple Vision Pro 的完整生态系统 — — 从 真实世界的远程操作 到 仿真远程操作 以及 自主视角数据集记录。将 Vision Pro 中的手/头跟踪信息流式传输,将视频/音频/仿真数据发送回去,并将所有内容记录到云端。

如需详细说明,请查看这篇简短的 论文。

最近更新的 App Store 版本的 Tracking Streamer 需要 Python 库 avp_stream 2.50.0 以上。如果 Python 库过时，则 VisionOS 端会显示警告消息。您可以通过运行 pip install --upgrade avp_stream 来升级该库。

• 概述
• 安装
• 外部网络（远程）模式
  • 如何工作
  • 使用
  • 注意事项
• 用例 1：真实世界远程操作
  • 视频和音频流
  • 视频配置示例
  • 音频配置示例
• 用例 2：仿真远程操作
  • MuJoCo 流
  • Isaac Lab 流
  • 在 AR 中定位仿真
  • 手部跟踪坐标系
• 用例 3：自主视角视频数据集录制
  • 在 AVP 上安装 USB 摄像头
  • 摄像头校准
• 录制与云存储
  • 自动云同步
  • 伴侣 iOS 应用：追踪管理器
  • 公共数据集共享
• 应用程序设置和定制
• API 参考
  • 手部跟踪数据
    • 预测性手部跟踪
  • [