XR 世界导览 #020

visionOS 1.1/Xcode 15.3/PICO 5.9.0 更新了！

本期封面

本期封面来自 Nikita Belousov 所设计的 visionOS ARC browser concept，在这个设计中，充分考虑到了 visionOS 处于三维空间的要点，将 Arc 浏览器的 Space 和 Pined Site 分别给予了纵深感。

BigNews

visionOS 1.1 和 Xcode 15.3 发布了！

关键词：visionOS、Xcode

经过了一个多月的 beta 版本测试，visionOS 终于在本周发布了正式的 1.1 版本。接下来，让我们挑一些有意思的点一个一个来说～

先来说一个各种更新说明上都没有提及，但确实非常有用的更新：visionOS 1.1 解决了在弱光环境下无法屏幕录制的问题。在此之前，如果你的房间很暗，你甚至无法进行录屏（除非你开启旅行模式才能绕过），Reddit 上的网友也深深吐槽了这一点。

而在 visionOS 1.1 中，即便在几乎纯黑的房间，我们依旧可以进行屏幕录制。

除了解决屏幕录制的问题，在新版本的系统中，如果你要录制 Persona，你可以选择不再自己握持着 Apple Vision Pro 进行录制了。

而是可以在 Accessibility 中选择 Hand-Free 的方式，将 Apple Vision Pro 放置在一个地方，或者让别人来帮忙握持进行录制。

可能有人会问，这有什么意义呢？大概率，这体现了 Apple 对于自家产品的一贯定位：要让各种各样的人都能使用。就像 Equal Accessibility 的视频中演示的那样，即便是一个没有双手的用户，也可以很好的使用 Apple Vision Pro。了解了这一点，就能理解为什么 Apple Vision Pro 在这里专门给出了一个 Hands-Free Capture 的选项了。

接下来就是对 Persona 本身质量的提升了，当然这一点是见仁见智的，来可以看看 NewAppleTimes 的对比，你会觉得 Persona 提升了吗？

从官方的更新说明来看，这次更新主要针对了头发、妆容、颈部、嘴巴的外观。顺带一提，这次更新也带来了 EyeSight、Mac Virtual Display（就是将 Mac 投屏到 Apple Vision Pro 的功能）的外观和稳定性提升，同时也更新了虚拟键盘的可靠性。

另外，此次更新后，除了 Settings、Photos、Safari、App Store、Messages，其他所有的官方 App 都可以被删除了。（这个逻辑更像是 iOS 上的逻辑在之前没来得及做）

另外，Apple 的老传统，跟着 visionOS 更新的，还有 Xcode 15.3，这个版本中并没有涉及到太多和 visionOS 开发相关的内容，可能唯一相关的，就是这个隐藏在 Editor > Canvas > Export Preview Screenshot 的小功能，通过这个，你可以直接在 Xcode 的 Preview 中导出自己的 App 的截图了。

总体来说，visionOS 1.1 和 Xcode 15.3 作为一个小版本更新，并没有带来非常丰满的更新内容，更多的还是一些基本功能的优化。

PICO 更新了 5.9 系统，带来了 PICO 互联以及 Avatar SDK

关键词：PICO、Unity、Avatar SDK

时隔大半年，PICO 终于迎来了一次新的系统升级—— 5.9.0（上次升级 5.8.0 还是在 23 年的 10 月）。在用户侧，PICO 带来了一个重大 Feature：PICO 互联。这是 PICO 将原本的串流助手全新升级后的产品。

借助 PICO 互联，Windows 和 Mac 的用户都可以直接在 PICO 中（像是 Apple Vision Pro 上的 Mac Virtual Display 一样，将电脑屏幕上的内容镜像到 PICO 上），并在 Mac 上，PICO 互联还支持在 Mac 连接的多个屏幕之间切换：

目前看来，PICO 互联在稳定性、清晰度还是足够可用的（最高支持 4K 分辨率（3840*2160），屏幕比例为 16:9 的屏幕），只不过现在由于 PICO 系统本身的多任务机制还不是很完善，当打开 PICO 互联时，无法打开其他 App 同屏操作，希望在后续的版本能够有所改进。

不过，得益于 PICO 互联的 “自动连接本电脑” 设置，当你戴上 PICO 时，你的电脑就会自动投屏到 PICO 上，这个体验感觉还是非常不错。

除此之外，PICO 在视频播放、手势识别都进行了一定程度的更新。

视频播放方面，PICO 主要针对自带的视频播放器提高了识别准确度，当你在 PICO 的文件管理器中打开各种 3D、180°、360° 视频的时候，PICO 会自动帮你识别到视频的格式并以正确的格式播放出来。另外，新的臻画模式，在播放 4K 视频的时候，视频的锐利度会有一定的提升。

手势识别方面， PICO 主要针对一些边界 case 进行了优化：

而在开发者这边，PICO 这次推出的 PICO Unity Integration SDK 2.5.0 版本中，终于提供了对 XRI 这个框架以及 Hands 的支持。

编者的话

早在 23 年 6 月的 002-Unity XR Interaction Toolkit 发布 2.3 版本中，我们就介绍过 XRI 以及 Hands，当时还在还在说这个功能需要平台去支持，接近一年后的今天，PICO 终于支持了（官方文档在这里），莫名有一种还愿的感觉 🫣

同时，PDC 工具也支持了对手势的预览：

另一方面，开发者这边新推出的 Avatar SDK，也算是 PICO 填补上了虚拟人这块儿的一个开发者空白。在此之前，开发者在 PICO 平台上只能自建或者使用类似 Ready Player Me 这样的三方 SDK 来为用户创建虚拟人形象。PICO 早前也已经为用户提供了可以编辑自己的 Avatar 的功能（点击我的 -> 编辑虚拟形象就可以进入这个界面）：

只不过在此之前，开发者是没有接口获取到这些 Avatar 的，此次 Avatar SDK 就是将这些 Avtar（包括全身的骨骼模型）提供给开发者的。借助 Avatar SDK，开发者可以直接像获取其他 PICO 平台服务（例如账号）一样获取到这些 Avatar，在应用内部也可以弹出类似的 UI 来让玩家添加或者编辑 Avatar：

如果你想了解 Avatar SDK 具体怎么使用，可以来看看官方在 Github 上提供的示例工程。

Idea

MagicRoom：给你的房间加点魔法

关键词：黑客帝国、visionOS

MagicRoom 是一款能够让你给现实世界加上一层 “空间滤镜” 的 visionOS App，借助 visionOS 上提供的 Scene Recontruction 的能力，MagicRoom 可以让你的周围看起来像是铺上了一层带有颜色的网格：

又或者是像是黑客帝国一样的数字雨：

尽管现在只有上面的这两个 “滤镜” 的效果，不过相信在未来，类似的滤镜在 MagicRoom 中会越来越多（终于，限制最终效果的，只有我们的想象力了😆）

在 Spatial Station、ImmersiShare 和 Share Spatial 中分享你的空间视频！

关键词：空间视频、分享

感谢网友在云端的推荐

在 Apple Vision Pro 上观看空间视频，真的有一种回到过去那个特定时刻的感觉。现在，通过观看世界各地朋友分享的空间视频，可以让我们足不出户感受世界各地有趣的活动，看到美丽的风景。如果你也有记录下了生活中奇妙的一刻，不妨也来分享你的空间视频吧！目前分享空间视频的方法有 3 种：

Spatial Station 是一款已经上线的应用，其拥有比较完善的用户系统，且已经有较多用户上传的空间视频。在首页还做了最新上传、当前热门、热门趋势等几个分块。但是目前的主要问题是用户上传的视频质量良莠不齐（比如存在一些有剧烈抖动会导致观看者头晕的影片、还有一些视差不突出没有特别三维感的影片）。

另外一款应用 ImmersiShare 也允许大家进行空间视频的分享。这个应用比较特殊，大家分享的视频其实是上传到开发者自己的 iCloud 上然后进行共享的，因此视频的加载速度会受到网络的影响。

除了在应用中进行空间视频分享、观看，我们还可以在 Share Spatial 这个网站上可以看到空间视频、空间照片、甚至全景图片。甚至还有一些艺术家分享他们创作的全景图片，非常震撼。现在 Share Spatial 也已经在测试他们自己的 App 了，之后大家就可以在 Apple Vision Pro 上更方便的进行分享、观看了。

Tool

在 Mac 上快速搜索 visionOS 的应用

关键词：Raycast、vision.directory

在 019 期我们推荐的 vision.directory 最近也在 Raycast 这款广受好评的 mac 启动器上增加了一个插件，让你能直接通过 Raycast 搜索 visionOS App。

Video

GazeTrak：利用声音来进行眼球追踪？

关键词：声纳技术、眼动追踪

眼动追踪是 XR 的一项关键技术，可以用于聚焦于用户注视的范围实现注视点渲染，从而降低系统的渲染压力，同时还可以用于一些 UX 的设计，比如现在 Apple Vision Pro 中的整体系统交互。

虽然将系统的交互完全交给眼动追踪还是会造成一些问题，比如对于需要频繁、快速来回切换实现的交互就会导致用户迅速的疲劳，同时较难平衡提供给开发者 API 来解锁更多可能性与用户隐私之间的问题。

然而想要利用摄像头实现精确的眼动追踪是一个很大的挑战。最近来自纽约康奈尔大学的研究人员公开了一种利用类似声纳技术取代相机来进行眼球跟踪的技术：GazeTrak。这项技术主要利用到 8 个微型扬声器，每个都可以发出频率高于 18 kHz 的声音。

因为这些信号都超出了大多数人的听力范围，所以人不会有感知，同时也不会受到噪声的干扰

研究团队表示，声纳技术应该具有几个优点：与基于摄像头的系统相比，GazeTrak 可以以低功耗进行运行，并且由于这项技术不需要持续数据记录，因此可以为用户提供更多的隐私。当然，它还可以降低 VR 耳机的制造成本和重量。而 GazeTrak 的主要缺点是由于每个人的眼球形状不同，需要集足够的数据进行模型的训练。

Article

visionOS 上的第一个 1000 款应用

关键词：visionOS、AppStore

在 visionOS 上的第一个1000 款应用中，作者统计了目前 AppStore 上的 1217 款应用，并给出了这些应用的类型、定价相关方面的一些简单分析。

可以看到，和其他 XR 设备相比，visionOS 上的应用还是以效率和工具居多，这充分凸显了 Apple Vision Pro 和其他应用的不同之处——这不是一台游戏机，而是一台空间计算设备。

Apple Vision Pro 在医疗健康领域有很大的可能性

关键词：Apple Vision Pro、医疗健康

利用 XR 来帮助医生护士进行手术一直是一个美好的设想，但是因为各种原因，XR 技术从未完整的应用于真实的手术环境中，直到最近，根据 Daily Mail Online 的报道，在伦敦的一台真实手术台上，与外科医生一起工作的护士佩戴了 Apple Vision Pro 来帮助准备、跟踪手术并辅助其选择正确的手术工具。

不难发现，Apple Vision Pro 正在推动各个领域的发展。本周 Apple 也分享了一些来自医疗健康社区开发者开发的 visionOS 专属应用。利用 Apple Vision Pro 这个全新的平台，简化过往复杂的医疗流程，或者三维可视化医学影像都变得不再遥不可及。

比如，myMako 让外科医生能够以 3D 、直观和动态的方式轻松分享复杂膝关节手术的计划细节和见解。

CyranoHealth 则通过模拟医疗设备使用场景，帮助护士等一线工作人员熟悉新型、复杂的医疗设备（例如医用输液泵）的使用技能，从而减少工作的焦虑。

Epic Systems 则允许医生在 Apple Vision Pro 中进行手势绘图、与患者沟通以及病情分析等工作，这为未来的医疗应用开辟了新的协作和生产力工作流程。

除了帮助医生完成各项任务，我们也可以利用 Vision Pro 关注自己的身心健康，比如 Cedars-Sinai 的 Xaia 应用程序可以为用户提供智能对话式心理健康支持，用户还可以进行深呼吸练习和冥想。

当然还有很多医疗健康领域的应用，比如 Visage Ease VP 是为了改善患者护理，帮助低效的肿瘤委员会进行医疗数据的审查；Falcon Vue 目标是赋予医生查看所有医学成像数据的能力； Insight heart 让我们可以以 3D 的形式了解我们的心脏，并探索各种心脏状况。Cinematic Reality 让外科医生、医学生和患者可以在现实环境中查看通过医学扫描获得的医学影像图像。

同时 Nature 杂志也表示 Apple Vision Pro 在医疗健康领域有很大的可能性。例如 Apple Vision Pro 先进的眼动追踪技术可能可以检测到晕动症、中风或痴呆的早期迹象。同时外科医生可以通过佩戴 Apple Vision Pro 增强其对于患者信息的认知，比如在手术过程中看到患者的血管结构，从而可以进行更精确的操作。

Create With Swift-Make it Spatial：高质量的 Swift 和 visionOS 开发教程文章

关键词：Swift、visionOS、Spatial、Accessbility

Create With Swift 是一个由 imaginary.institute 的开发者和设计师维护的网站，这里会分享很多如何使用 Swift 进行 App 开发的开发和设计心得。目前整个网站主要分为两个大板块：

Make it Accessible：主要分享辅助功能相关的设计和开发文章
Make it Spatial：主要分享 visionOS 相关的设计和开发文章

得益于设计和开发的通力合作，整个网站上的内容都非常简练且有用，并且经常会配以非常好看的插图，例如这篇讲解 visionOS 上 Icon 设计的文章，就使用了一个灵动的 Gif 来表示 Spatial Icon 的感觉，非常有趣且好看：

Small News

Apple Vision Pro 中拟真的环境不只是全景视频

关键词：Apple Vision Pro、Environment

Environment 是 Apple Vision Pro 上为数不多的官方 Fully Immersive 体验。所有第一次使用 Apple Vision Pro 的朋友都被场景的精细程度、环境中环绕的空间音频所震撼。很多人都以为这是全景图或全景视频，但其实这可能是 Apple 精心建模的场景！不信？请看魔法揭秘：