主要观点:
- 开发 visionOS 应用 Juno 时,用户询问是否支持 360°和 180°视频,答案为否,但作者尝试通过周末研究来实现,发现实现难度大且并非重大损失。
- 展示 360°视频的方法是创建空心球体并将视频拉伸覆盖在球体内部,用户置于球体中心。
- 在 RealityKit 中,只能用图像或视频作为纹理,而 Web 视图中的视频无法直接作为纹理应用,所以无法在球体上展示 360°视频。
- 尝试通过 JavaScript 截取 Web 视图中的视频帧并绘制在球体上,但存在诸多技术难题,如截取视频帧时播放中的视频会缺失等,最快的方法也只能达到约 14 帧/秒,未达到视频播放水平。
- 谷歌/YouTube 不允许获取直接的视频 URL 以避免广告跳过,且 iOS 设备除非获得特殊授权否则无法播放 VP9 视频(4K 及以上),苹果最新芯片添加了 AV1 硬件解码器但 Vision Pro 搭载的 M2 没有,测试显示播放 8K 360°视频在无硬件解码器时很卡顿。
- 4K 视频在 360°环境下看起来效果不佳,理想的是 8K,但第一代 Vision Pro 实现 8K 360°YouTube 播放可能性不大。
关键信息:
- 介绍了展示 360°视频的原理和在 RealityKit 中的限制。
- 列举了多种截取 Web 视图视频帧的方法及测试时间。
- 阐述了视频编码格式的发展及不同格式在 iOS 设备上的播放情况。
- 对比了 4K 和 8K 在 360°环境下的视觉效果及播放难度。
重要细节:
- 详细说明了各种截取视频帧方法的代码实现及耗时情况。
- 展示了 4K 电视和 4K 360°视频在视觉效果上的差异图片。
- 提及其他参与讨论和提供帮助的人员。
**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用
。你还可以使用@
来通知其他用户。