E3PO 简介

E3PO 是一款专为 360°视频流模拟和评估而设计的开放平台。其主要目标是支持目前提出的多种 360°视频流方法的模拟，包括基于投影、平铺或转码的不同策略。E3PO 的独特之处在于其允许用户自由定制 360°视频的投影方式，切割方式，运动预测算法，并应用不同的流媒体传输策略，从而为用户提供了高度可定制的实验环境。最重要的是，E3PO 生成实际的视觉序列，可在每次模拟中展示在用户屏幕上。

E3PO 的多功能性使其成为研究人员和开发人员探索不同 360°视频传输方法的理想选择。它支持多种方案，包括基于投影、基于瓦片或基于转码的方式。用户可以自定义投影类型、瓦片大小、运动预测算法以及流传输策略，为他们提供了一个灵活的实验环境

https://github.com/bytedance/E3PO

E3PO 的特性

1. 多种投影方式支持： E3PO 允许用户选择标准或自定义的投影方式，使其适应不同的 360°视频流方案。

2. 灵活的视频分割选项： 用户可以选择将视频分割成相等大小的瓦片或根据需要自适应大小，以满足不同的场景需求。

3. 自定义运动预测算法： E3PO 提供自定义运动预测算法的功能，使用户能够优化视频流的传输性能。

4. 流媒体策略： 用户可以根据需求选择点播或转码等流媒体策略，以满足不同应用场景的需求。

5. 可评估性能： E3PO 生成实际的视觉序列，使用户能够客观比较使用相同视频内容和相同运动轨迹的不同 360°视频流方法的性能。

E3PO 的应用

E3PO 适用于以下场景：

• 360°视频流方法比较： 用户可以使用 E3PO 比较不同的 360°视频流方法，通过模拟和评估不同的策略，找到最适合其需求的方法。

• 性能优化实验： 研究人员和开发人员可以利用 E3PO 进行性能优化实验，定制化 360°视频传输方案，以提高整体性能。

• 流媒体方案研究： E3PO 为研究新的流媒体方案提供了一个实验平台，使用户能够评估新策略的性能。

E3PO 项目示例：创新的 360°视频传输方案

项目目标

在这个项目示例中，我们将设计一个创新的 360°视频传输方案，充分利用 E3PO 平台的灵活性和可定制性。我们的目标是提高 360°视频的传输效率和用户体验。

详细描述

在这个项目中，我们首先选择适当的投影方式，并根据实际需求定制瓦片大小。通过 E3PO 的自定义运动预测算法，我们优化视频流的传输性能，确保在用户头显设备中呈现出高质量的 360°视频。

我们还利用 E3PO 的流传输策略功能，根据应用场景选择点播或转码方式。点播方式适用于实时性要求不高的场景，而转码方式则可以在保证画质的同时降低带宽占用。

E3PO 框架详解

E3PO 的框架设计旨在实现 360°视频流的模拟与评估，主要由三个关键模块组成：视频预处理器、流模拟器和系统评估器。下面将详细介绍每个模块的功能及相互关系。

1. 视频预处理器

视频预处理器是 E3PO 框架的第一个关键模块，其任务是对 360°全景视频进行预处理。在这个阶段，根据用户指定的投影和平铺参数，视频预处理器将 360°全景视频切割成小的视频分块，为后续的流模拟做准备。这一步的关键是根据用户的需求对视频进行适当的分割，以满足不同的模拟场景。

2. 流模拟器

流模拟器是 E3PO 框架的核心模块，负责模拟流媒体方法的操作。在视频预处理器生成的视频分块基础上，流模拟器读取提供的头部运动轨迹。通过模拟详细的流操作，包括传输的时机和传输哪个视频分块，流模拟器生成了 360°视频流的模拟结果。这个模块的关键在于准确模拟流的传输行为，使得评估结果更接近实际场景。

3. 系统评估器

系统评估器是 E3PO 框架的第三个关键模块，其任务是对模拟结果进行评估。系统评估器合成用户屏幕上显示的视频序列，并计算各种评估指标。这些指标可以涵盖多个方面，包括但不限于图像质量、传输时延、流畅度等。通过系统评估器，用户可以获取关于 360°视频流模拟性能的全面反馈。

框架互动关系

这三个模块之间存在紧密的互动关系。视频预处理器生成的视频分块为流模拟器提供了输入数据，而流模拟器通过模拟流的传输过程生成模拟结果，最终由系统评估器进行全面评估。这种流畅的工作流程使得 E3PO 框架能够有效地模拟并评估 360°视频流的性能。

总体而言，E3PO 的框架设计考虑了 360°视频流模拟与评估的全过程，从预处理、模拟到评估，形成了一个完整的闭环系统。这种设计使得用户能够全面了解不同 360°视频流方法的性能表现，为研究和应用提供了有力的支持。

E3PO 快速上手

E3PO 是一个强大的 360°视频流模拟和评估工具，以下是快速上手的步骤。

步骤 1: 下载 E3PO 代码

首先，通过以下命令在本地克隆 E3PO 代码：

git clone https://github.com/bytedance/E3PO.git

步骤 2: 准备视频源

将你的 360°视频文件重命名为 sample.mp4，并将其放置在 /e3po/source/video/ 目录下。默认情况下，E3PO 假设视频为 8K、30 fps，采用等距矩形投影（ERP），并使用视频的前 10 秒。如果你的视频不符合这些默认参数，需要参考 BasicTutorial 进行调整。

步骤 3: 准备运动轨迹文件

准备一个运动轨迹文件（类似于从 360VidStr 下载的文件），重命名并将其放置在 /e3po/source/motion_trace/ 目录下，文件名为 motion_trace.log。

步骤 4: 运行模拟流程

为了模拟流式处理过程，需要按照以下顺序执行三个 Python 脚本：

1. 运行视频预处理器脚本：

python ./e3po/make_preprocessing.py -opt approaches/custom_eac/custom_eac.yml

2. 运行流式处理模拟器脚本：

python ./e3po/make_decision.py -opt approaches/custom_eac/custom_eac.yml

3. 运行系统评估器脚本：

python ./e3po/make_evaluation.py -opt approaches/custom_eac/custom_eac.yml

这三个脚本的运行顺序模拟了视频的预处理、流式处理和最终系统评估过程。相关的结果文件会存储在相应的目录中。

示例方法

E3PO 提供了八种简单但典型的方法，具体说明如下表：

以上步骤和示例方法将帮助你快速上手 E3PO 平台，模拟和评估不同 360°视频流方法的性能。

运行 E3PO 的体验与反馈

在运行 E3PO 过程中，用户能够深入了解其功能和性能。这包括平台的易用性、运行稳定性、模拟结果的准确性等方面。用户可以通过提供运行 E3PO 的体验和反馈，分享使用过程中的优势和不足之处，有助于其他开发者更好地了解该平台。

E3PO 的优势与不足

优势：

• 高度定制性： E3PO 提供高度可定制的 360°视频流模拟环境，适应各种应用需求。

• 客观评估： 通过生成实际的视觉序列，E3PO 允许用户客观比较不同方法的性能。

• 多场景应用： E3PO 适用于 360°视频流方法比较、性能优化实验以及流媒体方案研究等多种场景。

不足：

• 学习曲线： 由于其高度定制性，E3PO 的学习曲线可能较陡峭，需要用户一定的 360°视频流领域知识。

其他 VR/360° 视频传输相关的内容

除了上述体验和项目示例之外，我们还鼓励用户分享其他与 VR/360°视频传输相关的内容。这可以包括对当前行业趋势的观察、对新技术的评估、对用户体验的改进等方面的内容。

总结

E3PO 作为 360°视频传输模拟的平台，为研究人员和开发人员提供了丰富的实验环境。通过分享对其运行体验、基于其的项目设计以及其他相关内容的认识，我们可以共同推动 VR/360°视频传输技术的发展。通过这个开源项目，我们有机会在这个领域做出更多的创新和贡献。